C++ • Кодування тексту

Тема 6 • Додаткове пояснення

Одна літера
не завжди один байт

Unicode, UTF-8, UTF-16 та UTF-32

A → 1 байт

Ж → 2 байти

€ → 3 байти

🐟 → 4 байти

Саме так ці символи зберігаються в UTF-8.

256 значень не вистачає для всього тексту

У цій темі байт має 8 бітів. Кожен біт може дорівнювати 0 або 1, тому байт має 2⁸ = 256 різних значень.

В одному однобайтовому кодуванні можна передбачити латиницю, кирилицю та службові знаки разом. Але 256 значень замало, щоб одночасно представити всі потрібні писемності, математичні знаки й емодзі.

Число 2¹⁶ = 65 536 показує кількість різних 16-бітних комбінацій. Воно саме по собі не означає кількості символів Unicode чи місткості UTF-16.

Unicode дає код, UTF визначає запис

Unicode задає числові коди символів. Наприклад, велика латинська A має код U+0041, а Ж має код U+0416. Запис U+ використовує шістнадцяткові цифри.

UTF-8, UTF-16 та UTF-32 є способами записати ці коди в даних. Усі три підтримують однаковий набір символів Unicode, але можуть витрачати різну кількість байтів.

У таблицях цієї сторінки рахуємо окремі коди Unicode, які також називають кодовими точками. Іноді один видимий знак складається з кількох кодів, наприклад літера з доданим знаком наголосу або складений емодзі. Тому видимі знаки, коди Unicode та байти не завжди мають однакову кількість.

Три способи записати той самий символ

СимволКод UnicodeUTF-8, байтівUTF-16, байтівUTF-32, байтів
AU+0041124
ЖU+0416224
€U+20AC324
🐟U+1F41F444
  • UTF-8: від 1 до 4 байтів на один код Unicode. Символи ASCII мають той самий однобайтовий запис, що й у ASCII.
  • UTF-16: 2 або 4 байти на один код Unicode. Усі українські літери займають по 2 байти. Для 🐟 потрібні дві 16-бітні одиниці, разом 4 байти. Такий запис називають сурогатною парою.
  • UTF-32: 4 байти на один код Unicode. Це не означає 4 байти на будь-який складений видимий знак.

Числа 8, 16 та 32 в назвах позначають розмір одиниці кодування в бітах, а не обов’язковий розмір кожного видимого символу.

UTF-8 не завжди найкомпактніший для будь-якого тексту. Наприклад, знак € займає 3 байти в UTF-8 і 2 в UTF-16.

Побач, як текст розкладається на байти

Введи короткий текст або обери приклад. Перемикай кодування та переглядай окремі коди Unicode.

Кожен блок є одним байтом у шістнадцятковому записі. Для UTF-16 і UTF-32 показано порядок BE: старший байт спочатку. Порядок LE інший, але кількість байтів та сама. Службову позначку BOM не додаємо.

Як порахувати байти без програми

Слово «Привіт»

Шість українських літер у звичайному записі займають 6 · 2 = 12 байтів у UTF-8, 12 байтів у UTF-16 та 24 байти у UTF-32.

Текст «Hello, Привіт!»

У ньому 8 символів ASCII: п’ять латинських літер, кома, пробіл і знак оклику. Ще 6 українських літер. Отже, в UTF-8 маємо 8 · 1 + 6 · 2 = 20 байтів.

Скільки символів містять 100 байтів UTF-8

Без вмісту точну відповідь визначити не можна. Це можуть бути 100 літер A, 50 літер Ж або 25 окремих 🐟. Рахуємо лише текстові дані, без BOM та інших службових даних.

Код рибки

🐟 має код U+1F41F, у десятковому записі 128031. У UTF-8 це байти F0 9F 90 9F. Код Unicode й послідовність байтів UTF-8 є різними записами, їх не слід змішувати.

Що це означає для C++

Звичайний char зберігає один байт C++. У UTF-8 українська літера займає два звичайні 8-бітні байти, тому один виклик cin >> c не прочитає її як повну літеру.

Тип wchar_t не є універсальним перемикачем Unicode. Його розмір і поведінка введення залежать від платформи та налаштувань. Тому попередні приклади з ASCII залишаються окремими простими прикладами, а робота з українським текстом потребує додаткових засобів.

Простий підрахунок за відомими кількостями

Для тексту лише з ASCII, українських літер і окремих 🐟 введіть кількість символів кожної групи. Програма обчислює кількість байтів UTF-8 за формулою. Вона не читає й не розпізнає сам текст. Для кожної кількості використовуйте цілі значення від 0 до 1000.

#include <iostream>
using namespace std;

int main() {
    int asciiCount, ukrainianCount, fishCount;
    cin >> asciiCount >> ukrainianCount >> fishCount;
    int bytes = asciiCount + 2 * ukrainianCount + 4 * fishCount;
    cout << bytes << "\n";
    return 0;
}

Для «Hello, Привіт!» вводимо 8 6 0, отримуємо 20.

Самостійна робота

У розрахунках не враховуйте BOM, завершальний нуль та перенесення рядка після тексту.

Базовий рівень

  1. Скільки байтів займає Q у UTF-32?
  2. Яке кодування компактніше для тексту з літер ASCII: UTF-16 чи UTF-8? Чому?
  3. Скільки байтів займає cat у UTF-8?

Середній рівень

  1. Обчисліть розмір «hello, світ!» у UTF-8.
  2. Текстові дані UTF-16 займають 200 байтів. Скільки кодів Unicode в них, якщо кожен записано однією 16-бітною одиницею?
  3. Поясніть, чому фіксовані 4 байти UTF-32 не завжди вигідні. Додатково: чим тип char32_t відрізняється від char?

Підвищений рівень

  1. Учень стверджує: «1000 байтів UTF-8 завжди містять 1000 символів». Наведіть контрприклад.
  2. Порівняйте розмір «Привіт, World!» у UTF-8, UTF-16 та UTF-32.
  3. Додатково: дослідіть, як початкові біти байтів UTF-8 задають довжину запису.
Підказка до підвищеного рівня

У UTF-8 початковий байт має вигляд 0xxxxxxx для одного байта, 110xxxxx для двох, 1110xxxx для трьох або 11110xxx для чотирьох. Байти продовження починаються з 10. Це схема довжини, а не повний перелік правил коректності UTF-8.

Домашня робота

  1. Для п’яти різних символів: латинської літери, української літери, цифри, знака пунктуації та окремого емодзі запишіть код Unicode, байти UTF-8, UTF-16BE й UTF-32BE та їхню кількість.
  2. У 3–5 реченнях поясніть різницю між однобайтовим і багатобайтовим записом тексту.
  3. Складіть власну задачу на підрахунок байтів у змішаному реченні й наведіть розв’язання.

Практичні пункти з початкової сторінки

Усі 17 пунктів збережено в початковому порядку. Це додаткова практика роботи із широкими символами, яку виконуйте після налаштування середовища з учителем. Готові програми для вчителя наведено нижче. Для пунктів 2–16 також спочатку вводьте n, потім n непробільних символів.

  1. Ввести з клавіатури n довільних символів. Скільки серед них цифр?
  2. Скільки серед них не цифр?
  3. Скільки англійських літер?
  4. Скільки літер загалом?
  5. Чи всі вони літери?
  6. Скільки не літер?
  7. Скільки літер і цифр разом?
  8. Скільки знаків пунктуації?
  9. Чи всі вони цифри?
  10. Скільки великих літер?
  11. Скільки малих літер?
  12. Скільки великих англійських літер?
  13. Скільки малих англійських літер?
  14. Перетворити всі на малі літери.
  15. Перетворити всі на великі літери.
  16. Вивести їх коди.
  17. Ввести n цілих чисел та вивести символи з такими кодами.

У готових програмах перевірки широких літер залежать від доступної локалі. Назва wchar_t сама по собі не гарантує підтримки всіх кодів Unicode: зокрема, у Windows одного wchar_t недостатньо для 🐟. У пункті 17 вводьте лише допустимі для налаштованого середовища коди; з emoji та складеними знаками ці програми не працюють універсально.

Матеріали для вчителя

Ці програми є окремим додатковим матеріалом. Для основного пояснення кодування їх вивчати не потрібно.

Що запам’ятати

  • Unicode задає коди, UTF визначає їхній запис.
  • UTF-8: 1–4 байти, UTF-16: 2 або 4, UTF-32: 4 на один код Unicode.
  • Розмір тексту залежить від його вмісту та кодування.
  • Один видимий знак може складатися з кількох кодів.

Джерело для вчителя: Unicode Consortium, UTF-8, UTF-16, UTF-32