Разногласия между confusables.txt Unicode и нормализацией NFKC

Основное разногласие между confusables.txt Unicode и нормализацией NFKC заключается в их разных целях и подходах к обработке текста. confusables.txt содержит список символов, которые визуально похожи друг на друга, но имеют разные кодовые точки Unicode, предназначенный для обнаружения потенциальных атак с использованием гомографов. NFKC (Normalization Form Compatibility Composition) фокусируется на канонической эквивалентности, преобразуя символы в их совместимые составные формы. Конфликт возникает при обработке 31 символа, которые визуально идентичны или очень похожи, но не нормализуются NFKC к одному представлению, что создает уязвимости в системах идентификации и обработке текста.

---

Содержание

• Основы Unicode и нормализации
• Что такое confusables.txt Unicode и его назначение
• Принципы работы нормализации NFKC
• 31 символ: Разногласия между confusables.txt и NFKC
• Последствия для обработки текста
• Рекомендации по безопасной обработке текста

---

Основы Unicode и нормализации

Стандарт Unicode представляет собой универсальный стандарт для кодирования текста, который обеспечивает уникальную кодовую точку для каждого символа из практически всех существующих письменностей мира. Современная таблица юникод содержит более 140 тысяч символов, охватывающих не только основные алфавиты мира, но и специальные символы, эмодзи, математические знаки и многое другое. Эта обширная экосистема символов создает как возможности для многоязычного представления информации, так и сложные проблемы для обработки текста.

Нормализация Unicode — это процесс преобразования текста в стандартную форму, которая позволяет сравнивать строки, не беспокоясь о их различном внутреннем представлении. Стандарт определяет несколько форм нормализации: NFC (Normalization Form C), NFD (Normalization Form D), NFKC (Normalization Form KC) и NFKD (Normalization Form KD). Каждая из этих форм имеет свою цель и использует разные алгоритмы преобразования символов.

Особое значение имеет нормализация NFKC, которая преобразует символы в их совместимые составные формы. Например, символ “ffi” (ligature) будет преобразован в последовательность “ffi”. Этот процесс важен для обеспечения совместимости между разными системами и приложениями, а также для предотвращения проблем при сравнении строк.

Кодировка юникод реализует эти принципы через различные форматы представления, включая UTF-8, UTF-16 и UTF-32, каждый из которых имеет свои особенности и области применения. UTF-8 стал де-факто стандартом для веб-приложений благодаря своей эффективности и обратной совместимости с ASCII.

---

Что такое confusables.txt Unicode и его назначение

confusables.txt — это специальный файл, включенный в состав стандарта Unicode, который содержит список символов, которые визуально похожи друг на друга, но имеют разные кодовые точки. Этот файл был разработан для обеспечения безопасности систем обработки текста, особенно в контексте предотвращения атак с использованием гомографов (homograph attacks).

Основное назначение confusables.txt — обнаруживать потенциальные угрозы безопасности, когда злоумышленники используют визуально идентичные, но технически разные символы для маскировки вредоносного контента. Например, кириллическая “а” (U+0430) и латинская “a” (U+0061) выглядят практически одинаково, но имеют разные кодовые точки, что позволяет создавать доменные имена, имитирующие известные бренды или сервисы.

Структура confusables.txt организована по парам символов, которые могут вызывать путаницу. Для каждого символа перечислены все “запутывающие” аналоги из других письменностей. Эта база данных регулярно обновляется вместе с основным стандартом Unicode по мере появления новых символов и обнаружения новых угроз безопасности.

Особое внимание в confusables.txt уделяется символам, которые могут использоваться в атаках, связанных с:

• Доменными именами IDN (Internationalized Domain Names)
• Аутентификацией и авторизацией
• Сравнением строк для безопасности
• Криптографическими операциями

В отличие от методов нормализации, которые фокусируются на технической эквивалентности, confusables.txt решает чисто визуальные проблемы безопасности, обеспечивая дополнительный уровень защиты для систем, работающих с многоязычным текстом.

---

Принципы работы нормализации NFKC

Нормализация NFKC (Normalization Form Compatibility Composition) — это один из четырех форматов нормизации Unicode, разработанный для обеспечения совместимости символов. В отличие от других форм нормализации, NFKC применяет более агрессивные правила преобразования, заменяя символы на их совместимые составные формы.

Процесс нормализации NFKC состоит из двух основных этапов:

1. Декомпозиция (Compatibility Decomposition): На этом этапе символы, которые имеют несколько эквивалентных представлений, преобразуются в составные формы. Например, символ “²” (U+00B2) разбивается на последовательность “2” (U+0032). А символ “ffi” (ligature) преобразуется в “ffi”.

2. Композиция (Canonical Composition): На втором этапе декомпозированные символы объединяются в составные формы, где это возможно. Например, последовательность “e” и “´” (акцент) может быть объединена в символ “é” (U+00E9).

Ключевое отличие NFKC от других форм нормализации заключается в том, что она обрабатывает не только канонически эквивалентные символы, но и символы, которые являются совместимыми, но не канонически эквивалентными. Это делает NFKC наиболее агрессивной формой нормализации, которая может значительно изменять внешний вид текста.

Примеры преобразований в NFKC:

• “fi” → “fi” (замена лигатуры)
• “²” → “2” (замена числового индекса)
• “ffi” → “ffi” (замена лигатуры)
• “fl” → “fl” (замена лигатуры)

NFKC особенно полезна в системах, где требуется строгая нормализация для сравнения строк, например, в базах данных или при проверке уникальности идентификаторов. Однако эта агрессивная нормализация может приводить к потере визуальной информации, что создает проблемы для пользовательского интерфейса и отображения текста.

Важно понимать, что NFKC не является универсальным решением для всех задач нормализации. Выбор между различными формами нормализации зависит от конкретных требований приложения и необходимости сохранения визуальной информации или технической эквивалентности.

---

31 символ: Разногласия между confusables.txt и NFKC

Основное разногласие между confusables.txt Unicode и нормализацией NFKC проявляется в обработке 31 символа, которые визуально идентичны или очень похожи, но не нормализуются NFKC к одному представлению. Эти символы создают особые проблемы для систем безопасности и обработки текста.

Эти 31 символ включают в себя символы из разных письменностей, которые визуально неотличимы, но технически различны. Классический пример — кириллическая “а” (U+0430) и латинская “a” (U+0061). Хотя они выглядят одинаково, NFKC не преобразует их в единую форму, что позволяет злоумышленникам использовать их для создания атак с гомографами.

Вот некоторые из наиболее важных символов, где confusables.txt и NFKC расходятся:

1. Кириллические и латинские символы:

• Кириллическая “а” (U+0430) vs латинская “a” (U+0061)
• Кириллическая “е” (U+0435) vs латинская “e” (U+0065)
• Кириллическая “о” (U+043E) vs латинская “o” (U+006F)
• Кириллическая “с” (U+0441) vs латинская “c” (U+0063)
• Кириллическая “р” (U+0440) vs латинская “p” (U+0070)

2. Греческие символы, похожие на латинские:

• Греческая Омикрон (U+03BF) vs латинская “o” (U+006F)
• Греческая Эпсилон (U+03B5) vs латинская “e” (U+0065)

3. Цифры и специальные символы:

• Цифра “0” (U+0030) vs греческая Омикрон (U+03BF)
• Цифра “1” (U+0031) vs латинская “l” (U+006C)

4. Другие визуально идентичные символы:

• Латинская “i” (U+0069) vs точка с запятой (U+061B) в арабском письме
• Латинская “m” (U+006D) vs арабский символ “م” (U+0645)

Проблема заключается в том, что NFKC фокусируется на технической эквивалентности и совместимости, но не учитывает визуальную идентичность символов из разных письменностей. confusables.txt, наоборот, содержит именно те символы, которые визуально неотличимы, но имеют разные кодовые точки.

Это разногласие создает уязвимости в системах, которые полагаются только на NFKC для нормализации текста. Например, система проверки доменных имен может пропустить атаку, где кириллические символы используются для имитации латинского доменного имени.

Решение этой проблемы требует комбинированного подхода, который использует как NFKC для технической нормализации, так и проверку confusables.txt для обнаружения визуально похожих символов из разных письменностей. Такой подход обеспечивает как совместимость, так и безопасность текстовой обработки.

---

Последствия для обработки текста

Разногласия между confusables.txt Unicode и нормализацией NFKC по 31 символу имеют серьезные последствия для обработки текста, затрагивая безопасность, совместимость и функциональность различных систем. Эти последствия проявляются в нескольких ключевых областях.

Уязвимости в системах идентификации

Одна из наиболее серьезных проблем возникает в системах идентификации и аутентификации. Поскольку NFKC не нормализует визуально идентичные символы из разных письменностей, злоумышленники могут использовать это для обхода систем безопасности. Например:

• Логины и пароли: Пользователь может создать логин с использованием кириллических символов, который будет визуально идентичен логину с латинскими символами. Это позволяет злоумышленнику получить доступ к чужому аккаунту, зная только латинскую версию логина.

• Имена пользователей и профили: Система может позволить создать два практически идентичных профиля с использованием разных наборов символов, что создает проблемы для модерации и управления пользователями.

Проблемы с доменными именами IDN

Интернационализированные доменные имена (IDN) особенно уязвимы к проблемам, связанным с разногласиями между confusables.txt и NFKC. Согласно RFC 5891, нормализация NFKC сама по себе недостаточна для обеспечения безопасности доменных имен:

• Спуфинг доменов: Злоумышленники могут регистрировать доменные имена, визуально идентичные известным брендам, но использующие символы из других письменностей. Например, домен “gооglе.com” (с кириллической “о”) может быть использован для фишинг-атак.

• Проблемы с разрешением: Разные системы могут по-разному обрабатывать визуально идентичные символы, что приводит к проблемам с разрешением доменных имен и доступом к сайтам.

Ошибки в сравнении строк

Различия в обработке визуально идентичных символов приводят к ошибкам при сравнении строк в различных приложениях:

• Поиск и фильтрация: Система поиска может не находить документы, содержащие визуально идентичные, но технически разные символы.

• Сортировка и индексация: Алгоритмы сортировки могут некорректно обрабатывать визуально идентичные символы из разных письменностей, приводя к неожиданным результатам.

• Валидация данных: Формы валидации могут пропускать ввод с использованием “неправильных” символов, которые визуально идентичны разрешенным.

Уязвимости в криптографических протоколах

Криптографические системы, которые полагаются на строковые операции, уязвимы к атакам, использующим визуально идентичные символы:

• Проверка цифровых подписей: Подпись, созданная с использованием одного набора символов, может не проходить проверку при использовании визуально идентичных символов.

• Ключи шифрования: Система может генерировать разные ключи шифрования для визуально идентичных строк, что приводит к проблемам совместимости.

Проблемы с отображением текста

Несмотря на техническую природу проблемы, она также имеет визуальные последствия:

• Некорректное отображение: Текст, содержащий визуально идентичные символы из разных письменностей, может отображаться по-разному в разных приложениях и системах.

• Пользовательская путаница: Пользователи могут не понимать разницу между визуально идентичными символами, что приводит к ошибкам и путанице.

Проблемы с миграцией данных

При миграции данных между разными системами и платформами могут возникать проблемы с обработкой визуально идентичных символов:

• Потеря данных: Данные, содержащие символы, которые не обрабатываются одинаково в разных системах, могут быть потеряны или повреждены.

• Некорректное преобразование: Автоматические системы преобразования могут некорректно обрабатывать визуально идентичные символы, приводя к потере информации.

Эти последствия подчеркивают необходимость комплексного подхода к обработке текста, который сочетает как техническую нормализацию (NFKC), так и проверку на визуально идентичные символы (confusables.txt) для обеспечения безопасности и совместимости.

---

Рекомендации по безопасной обработке текста

Для решения проблем, связанных с разногласиями между confusables.txt Unicode и нормализацией NFKC, необходим комплексный подход к обработке текста. Этот подход должен сочетать техническую нормализацию с проверкой на визуально идентичные символы для обеспечения безопасности и совместимости.

Комбинированный подход нормализации

Наиболее эффективным решением является комбинирование NFKC с проверкой confusables.txt. Такой подход обеспечивает как техническую совместимость, так и защиту от атак с использованием гомографов:

1. Применение NFKC как первого шага: Используйте NFKC для базовой нормализации текста, обеспечения канонического представления и совместимости между разными системами.

2. Проверка confusables.txt после NFKC: После нормализации с помощью NFKC примените проверку по списку confusables.txt для обнаружения визуально идентичных символов из разных письменностей.

3. Обработка конфликтных символов: Для 31 символа, где confusables.txt и NFKC расходятся, разработайте специальные правила обработки, которые обеспечивают безопасность без потери функциональности.

Реализация безопасной обработки текста

При разработке систем обработки текста следует учитывать следующие рекомендации:

1. Используйте библиотеки Unicode: В качестве основы используйте проверенные библиотеки обработки Unicode, такие как ICU (International Components for Unicode), которые обеспечивают надежную реализацию всех форм нормализации и проверку confusables.

2. Разработайте политику обработки символов: Определите четкую политику обработки символов для вашего приложения, учитывающую как технические, так и визуальные аспекты безопасности.

3. Реализуйте многоуровневую проверку: Создайте систему проверки с несколькими уровнями, включая базовую нормализацию, проверку на визуальные аналоги и специализированные проверки для критически важных операций.

Защита доменных имен IDN

Для систем, работающих с интернационализированными доменными именами (IDN), особенно важны дополнительные меры защиты:

1. Реализация IDNA2008: Следуйте рекомендациям RFC 5891 по реализации IDNA2008, который включает как NFKC, так и проверку confusables.

2. Черный список доменов: Создайте черный список доменов, содержащих потенциально проблемные символы, особенно в доменных зонах высокого риска.

3. Визуальная проверка: Для критически важных операций реализуйте визуальную проверку доменных имен, чтобы пользователи могли видеть разницу между визуально идентичными символами.

Защита пользовательского ввода

Для систем, которые принимают пользовательский ввод, следует реализовать следующие меры защиты:

1. Ограничение набора символов: Определите разрешенный набор символов для различных полей ввода и ограничьте использование символов из других письменностей, где это возможно.

2. Визуальная обратная связь: Предоставляйте визуальную обратную связь о вводимых символах, чтобы пользователи могли видеть, какие именно символы они используют.

3. Проверка на лету: Реализуйте проверку ввода на лету с использованием как NFKC, так и confusables.txt для предотвращения потенциально вредоносного ввода.

Тестирование и валидация

Для обеспечения надежности систем обработки текста необходимы тщательное тестирование и валидация:

1. Тестирование с использованием наборов тестовых данных: Создайте наборы тестовых данных, содержащих визуально идентичные символы из разных письменностей, и регулярно проверяйте работу системы с этими данными.

2. Пентестирование: Проводите регулярное тестирование на проникновение с использованием атак, основанных на визуально идентичных символах.

3. Мониторинг и логирование: Реализуйте мониторинг и логирование всех операций с текстом для обнаружения потенциальных атак и аномалий.

Обновление и поддержка

Стандарт Unicode постоянно развивается, поэтому системы обработки текста должны регулярно обновляться:

1. Регулярное обновление библиотек: Обновляйте библиотеки обработки Unicode для использования последних версий confusables.txt и других компонентов стандарта.

2. Мониторинг изменений: Следите за изменениями в стандарте Unicode и обновляйте свои системы в соответствии с новыми рекомендациями.

3. Обратная связь в Unicode:积极参与 в сообществе Unicode, предоставляя обратную связь о проблемах и предложениях по улучшению стандарта.

Эти рекомендации помогут создать безопасные и надежные системы обработки текста, которые учитывают как технические аспекты нормализации, так и визуальные аспекты безопасности.

---

Источники

1. Unicode Consortium — Информация о стандарте Unicode, нормализации и безопасности текста: https://www.unicode.org/reports/tr36/
2. RFC 5891 (IDNA2008) — Стандарт интернационализации доменных имен и рекомендации по комбинированию NFKC с проверкой confusables: https://tools.ietf.org/html/rfc5891
3. Unicode Normalization Forms — Официальная документация по формам нормализации Unicode: https://www.unicode.org/reports/tr15/
4. Unicode Security Mechanisms — Документация по механизмам безопасности Unicode и обработке конфузаблов: https://unicode.org/reports/tr36/

---

Заключение

Разногласия между confusables.txt Unicode и нормализацией NFKC по 31 символу представляют собой сложную проблему в области обработки текста, затрагивающую безопасность, совместимость и функциональность различных систем. Эти символы, которые визуально идентичны, но технически различны, создают уязвимости, особенно в системах идентификации, доменных именах IDN и криптографических протоколах.

Основная проблема заключается в том, что NFKC фокусируется на технической эквивалентности и совместимости, но не учитывает визуальную идентичность символов из разных письменностей. confusables.txt, наоборот, содержит именно те символы, которые визуально неотличимы, но имеют разные кодовые точки.

Решение этой проблемы требует комбинированного подхода, который использует как NFKC для технической нормализации, так и проверку confusables.txt для обнаружения визуально похожих символов из разных письменностей. Такой подход обеспечивает как совместимость, так и безопасность текстовой обработки.

Важно понимать, что эта проблема не имеет простого решения и требует постоянного внимания и обновления по мере развития стандарта Unicode и появления новых угроз безопасности. Регулярное обновление библиотек, тщательное тестирование и реализация многоуровневой защиты помогут создать надежные системы обработки текста, которые учитывают как технические, так и визуальные аспекты безопасности.