Статья 2. Unicode Character Database (UCD): файлы и структура¶

Что такое UCD?¶

Unicode Character Database (UCD) — набор машиночитаемых текстовых файлов, которые определяют свойства каждого символа Unicode. Именно из этих файлов формируются:

• таблицы в стандартных библиотеках (unicodedata в Python, ICU, glibc);
• правила сортировки, нормализации, разбиения на строки/слова;
• регулярные выражения с Unicode-свойствами.

Для JS-разработчиков: движки JavaScript (V8, SpiderMonkey) используют данные UCD под капотом — именно из этих файлов берутся свойства для Unicode property escapes в regex (/\p{Script=Latin}/u, /\p{Lu}/u) и для API Intl (Collator, Segmenter, NumberFormat). Разработчик JS не парсит UCD вручную, но понимание структуры файлов помогает разобраться, откуда берутся свойства символов в этих API.

Где взять:

https://unicode.org/Public/UCD/latest/ucd/

Скачать ключевые файлы локально:

cd 02-ucd-files/data
wget https://unicode.org/Public/UCD/latest/ucd/UnicodeData.txt
wget https://unicode.org/Public/UCD/latest/ucd/Blocks.txt
wget https://unicode.org/Public/UCD/latest/ucd/Scripts.txt
wget https://unicode.org/Public/UCD/latest/ucd/PropList.txt
wget https://unicode.org/Public/UCD/latest/ucd/DerivedCoreProperties.txt
wget https://unicode.org/Public/UCD/latest/ucd/SpecialCasing.txt
wget https://unicode.org/Public/UCA/latest/allkeys.txt

1. UnicodeData.txt — главный файл¶

Файл: UnicodeData.txt

Самый важный файл UCD. Каждая строка — один символ или начало диапазона. Формат: 15 полей, разделённых ;.

Формат строки¶

0041;LATIN CAPITAL LETTER A;Lu;0;L;;;;;N;;;;0061;

Разбор строки по шагам¶

Возьмём реальный символ — U+00E9, é (LATIN SMALL LETTER E WITH ACUTE). Найдём его в UnicodeData.txt:

00E9;LATIN SMALL LETTER E WITH ACUTE;Ll;0;L;0065 0301;;;;N;;;00C9;;00C9

Разберём каждое непустое поле:

Поля 7–9 (числовые значения) пусты — символ не является цифрой. Поля 11–12 устарели.

Перекрёстные ссылки с другими файлами UCD для того же символа U+00E9:

• DerivedCoreProperties.txt — здесь U+00E9 входит в свойство Alphabetic (потому что категория Ll), Lowercase, ID_Start, ID_Continue
• PropList.txt — нет особых свойств (не White_Space, не Dash и т. д.)
• SpecialCasing.txt — не упоминается (для é нет особых правил смены регистра)
• CaseFolding.txt: 00E9; C; 00E9; — совпадает сам с собой (уже строчной)

Итог: один символ U+00E9 описан в нескольких файлах UCD. UnicodeData.txt даёт базовые свойства, остальные файлы дополняют картину.

Диапазоны¶

Большинство строк UnicodeData.txt описывают ровно один символ. Но для некоторых блоков это было бы неэффективно: CJK-иероглифов десятки тысяч, и перечислять каждый отдельной строкой с одинаковыми свойствами нет смысла. Поэтому для таких блоков используется запись диапазоном — два маркера: первая и последняя кодовая точка.

4E00;<CJK Ideograph, First>;Lo;0;L;;;;;N;;;;;
9FFF;<CJK Ideograph, Last>;Lo;0;L;;;;;N;;;;;

Имена <..., First> и <..., Last> — это служебные метки, а не реальные имена символов. Они означают: все кодовые точки от 4E00 до 9FFF включительно имеют те же свойства, что указаны в этих строках. В данном случае — категория Lo (Letter, Other), Bidi Class L, без декомпозиции.

Имена конкретных символов внутри диапазона при этом конструируются по правилу: берётся базовое имя группы и добавляется кодовая точка. Например:

• U+4E00 → CJK UNIFIED IDEOGRAPH-4E00
• U+9FFF → CJK UNIFIED IDEOGRAPH-9FFF
• U+5B57 (字) → CJK UNIFIED IDEOGRAPH-5B57

Это можно проверить прямо в Python:

import unicodedata
print(unicodedata.name('\u4e00'))  # CJK UNIFIED IDEOGRAPH-4E00
print(unicodedata.name('\u5b57'))  # CJK UNIFIED IDEOGRAPH-5B57
print(unicodedata.name('\u9fff'))  # CJK UNIFIED IDEOGRAPH-9FFF

Какие блоки используют диапазоны?

В UnicodeData.txt таких групп несколько:

Важно: суррогатные кодовые точки (D800..DFFF) — это не символы Unicode. Это технические значения, зарезервированные для механизма суррогатных пар UTF-16. Они никогда не должны встречаться в корректно закодированном тексте UTF-8.

Практическое следствие: если вы парсите UnicodeData.txt вручную, нельзя просто читать строки по одной — нужно обнаруживать пары <..., First> / <..., Last> и разворачивать диапазон. Иначе в вашей базе окажутся только два символа вместо тысяч.

2. Blocks.txt — блоки Unicode¶

Файл: Blocks.txt

Простой файл: диапазон и имя блока.

# Blocks-17.0.0.txt

0000..007F; Basic Latin
0080..00FF; Latin-1 Supplement
0400..04FF; Cyrillic
1F600..1F64F; Emoticons

Используется для функций типа «в каком блоке символ?»

3. Scripts.txt — скрипты (письменности)¶

Файл: Scripts.txt

# Scripts-17.0.0.txt
0041..005A    ; Latin    # L&  [26] LATIN CAPITAL LETTER A..Z
0061..007A    ; Latin    # L&  [26] LATIN SMALL LETTER A..Z
0400..0481    ; Cyrillic # L& [130] CYRILLIC CAPITAL LETTER IE..
0030..0039    ; Common   # Nd  [10] DIGIT ZERO..DIGIT NINE

Заметьте: цифры 0..9 относятся к скрипту Common (используются всеми письменностями).

4. PropList.txt — бинарные свойства¶

Файл: PropList.txt

Перечисляет символы, обладающие тем или иным булевым свойством:

0009..000D    ; White_Space   # Cc  [5] <control-0009>..<control-000D>
0020          ; White_Space   # Zs       SPACE
00AD          ; Soft_Hyphen   # Cf       SOFT HYPHEN
0021..0023    ; Terminal_Punctuation

В файле 40 свойств. Ниже полная таблица, сгруппированная по назначению.

Пробельные символы

Идентификаторы

Пунктуация и разделители

Буквы, цифры, письменности

Математика и синтаксис

Эмодзи и визуальные эффекты

Двунаправленный текст (BiDi)

Технические и служебные

5. DerivedCoreProperties.txt — производные свойства¶

Файл: DerivedCoreProperties.txt

Вычисляемые свойства, которые зависят от комбинации других:

Alphabetic  = Lu + Ll + Lt + Lm + Lo + Nl + Other_Alphabetic
Uppercase   = Lu + Other_Uppercase
Lowercase   = Ll + Other_Lowercase

6. SpecialCasing.txt — специальные правила регистра¶

Файл: SpecialCasing.txt

Для случаев, когда toUpperCase() не взаимно-однозначна:

# код; нижний; заголовочный; верхний; условие (locale)

00DF; 00DF; 0053 0073; 0053 0053;   # ß → SS (заглавная)
FB00; FB00; 0046 0066; 0046 0046;   # ff → FF
0130; 0069; 0130; 0130;             # İ (турецкое İ без условия)
0069; 0069; 0049; 0049 0307; tr;    # i → İ (с точкой, турецкий)

Эти правила объясняют, почему "ß".upper() == "SS" в Python.

7. CaseFolding.txt — сворачивание регистра (Case Folding)¶

Файл: CaseFolding.txt

Case folding — это нормализация для сравнения без учёта регистра. Отличается от toLowerCase():

0041; C; 0061;        # A → a (simple/common)
00DF; F; 0073 0073;   # ß → ss (full, т. е. один символ → два)
0049; T; 0131;        # I → ı (только в турецком, T=Turkic)

8. NormalizationTest.txt — тесты нормализации¶

Файл: NormalizationTest.txt

Файл для проверки реализации алгоритмов NFD/NFC/NFKD/NFKC. Каждая строка — 5 столбцов:

# исходная; NFC; NFD; NFKC; NFKD
00C0;00C0;0041 0300;00C0;0041 0300;

Удобно использовать при написании своей реализации нормализации.

9. allkeys.txt — весовая таблица DUCET (для коллации)¶

Файл: allkeys.txt

Таблица весов для Unicode Collation Algorithm (UCA). Подробно разобрана в статье 6, но формат такой:

0041  ; [.1C47.0020.0008] # LATIN CAPITAL LETTER A
006F  ; [.1D30.0020.0002] # LATIN SMALL LETTER O

Три уровня весов в [.L1.L2.L3]:

• L1 = Primary weight (основное различие: буква-буква);
• L2 = Secondary weight (диакритика);
• L3 = Tertiary weight (регистр).

10. EastAsianWidth.txt — ширина символов в терминале¶

Файл EastAsianWidth.txt определяет, сколько колонок символ занимает при выводе в терминале или моноширинном шрифте.

# EastAsianWidth.txt (фрагмент)
0000..001F;N   # Narrow — узкие (1 колонка)
1100..115F;W   # Wide — широкие (2 колонки, хангыль)
2E80..2EFF;W   # Wide — CJK радикалы
FF01..FF60;F   # Fullwidth — полноширинные символы
FF61..FFBE;H   # Halfwidth — полуширинные

Почему это важно на практике¶

s = "中文"
print(len(s))   # 2 — две кодовые точки

# Но в терминале каждый иероглиф занимает 2 колонки:
import unicodedata

def display_width(s: str) -> int:
    """Ширина строки в терминале (в колонках)."""
    width = 0
    for ch in s:
        eaw = unicodedata.east_asian_width(ch)
        width += 2 if eaw in ('W', 'F') else 1
    return width

print(display_width("中文"))    # 4, а не 2
print(display_width("Hello"))  # 5
print(display_width("Мир"))    # 3
print(display_width("ａｂｃ")) # 6 — fullwidth латиница

Без учёта EastAsianWidth таблицы в консоли и progress bar'ы будут «съезжать» при наличии CJK-символов. Стандартная библиотека Python предоставляет unicodedata.east_asian_width(), а модуль wcwidth (pip install wcwidth) реализует полный алгоритм ширины, включая combining marks (которые имеют ширину 0).