256 значень не вистачає для всього тексту
У цій темі байт має 8 бітів. Кожен біт може дорівнювати 0 або 1, тому байт має 2⁸ = 256 різних значень.
В одному однобайтовому кодуванні можна передбачити латиницю, кирилицю та службові знаки разом. Але 256 значень замало, щоб одночасно представити всі потрібні писемності, математичні знаки й емодзі.
Число 2¹⁶ = 65 536 показує кількість різних 16-бітних комбінацій. Воно саме по собі не означає кількості символів Unicode чи місткості UTF-16.
Unicode дає код, UTF визначає запис
Unicode задає числові коди символів. Наприклад, велика латинська A має код U+0041, а Ж має код U+0416. Запис U+ використовує шістнадцяткові цифри.
UTF-8, UTF-16 та UTF-32 є способами записати ці коди в даних. Усі три підтримують однаковий набір символів Unicode, але можуть витрачати різну кількість байтів.
У таблицях цієї сторінки рахуємо окремі коди Unicode, які також називають кодовими точками. Іноді один видимий знак складається з кількох кодів, наприклад літера з доданим знаком наголосу або складений емодзі. Тому видимі знаки, коди Unicode та байти не завжди мають однакову кількість.
Три способи записати той самий символ
| Символ | Код Unicode | UTF-8, байтів | UTF-16, байтів | UTF-32, байтів |
|---|---|---|---|---|
| A | U+0041 | 1 | 2 | 4 |
| Ж | U+0416 | 2 | 2 | 4 |
| € | U+20AC | 3 | 2 | 4 |
| 🐟 | U+1F41F | 4 | 4 | 4 |
- UTF-8: від 1 до 4 байтів на один код Unicode. Символи ASCII мають той самий однобайтовий запис, що й у ASCII.
- UTF-16: 2 або 4 байти на один код Unicode. Усі українські літери займають по 2 байти. Для 🐟 потрібні дві 16-бітні одиниці, разом 4 байти. Такий запис називають сурогатною парою.
- UTF-32: 4 байти на один код Unicode. Це не означає 4 байти на будь-який складений видимий знак.
Числа 8, 16 та 32 в назвах позначають розмір одиниці кодування в бітах, а не обов’язковий розмір кожного видимого символу.
UTF-8 не завжди найкомпактніший для будь-якого тексту. Наприклад, знак € займає 3 байти в UTF-8 і 2 в UTF-16.
Побач, як текст розкладається на байти
Введи короткий текст або обери приклад. Перемикай кодування та переглядай окремі коди Unicode.
Кожен блок є одним байтом у шістнадцятковому записі. Для UTF-16 і UTF-32 показано порядок BE: старший байт спочатку. Порядок LE інший, але кількість байтів та сама. Службову позначку BOM не додаємо.
Як порахувати байти без програми
Слово «Привіт»
Шість українських літер у звичайному записі займають 6 · 2 = 12 байтів у UTF-8, 12 байтів у UTF-16 та 24 байти у UTF-32.
Текст «Hello, Привіт!»
У ньому 8 символів ASCII: п’ять латинських літер, кома, пробіл і знак оклику. Ще 6 українських літер. Отже, в UTF-8 маємо 8 · 1 + 6 · 2 = 20 байтів.
Скільки символів містять 100 байтів UTF-8
Без вмісту точну відповідь визначити не можна. Це можуть бути 100 літер A, 50 літер Ж або 25 окремих 🐟. Рахуємо лише текстові дані, без BOM та інших службових даних.
Код рибки
🐟 має код U+1F41F, у десятковому записі 128031. У UTF-8 це байти F0 9F 90 9F. Код Unicode й послідовність байтів UTF-8 є різними записами, їх не слід змішувати.
Що це означає для C++
Звичайний char зберігає один байт C++. У UTF-8 українська літера займає два звичайні 8-бітні байти, тому один виклик cin >> c не прочитає її як повну літеру.
Тип wchar_t не є універсальним перемикачем Unicode. Його розмір і поведінка введення залежать від платформи та налаштувань. Тому попередні приклади з ASCII залишаються окремими простими прикладами, а робота з українським текстом потребує додаткових засобів.
Простий підрахунок за відомими кількостями
Для тексту лише з ASCII, українських літер і окремих 🐟 введіть кількість символів кожної групи. Програма обчислює кількість байтів UTF-8 за формулою. Вона не читає й не розпізнає сам текст. Для кожної кількості використовуйте цілі значення від 0 до 1000.
#include <iostream>
using namespace std;
int main() {
int asciiCount, ukrainianCount, fishCount;
cin >> asciiCount >> ukrainianCount >> fishCount;
int bytes = asciiCount + 2 * ukrainianCount + 4 * fishCount;
cout << bytes << "\n";
return 0;
}Для «Hello, Привіт!» вводимо 8 6 0, отримуємо 20.
Самостійна робота
У розрахунках не враховуйте BOM, завершальний нуль та перенесення рядка після тексту.
Базовий рівень
- Скільки байтів займає Q у UTF-32?
- Яке кодування компактніше для тексту з літер ASCII: UTF-16 чи UTF-8? Чому?
- Скільки байтів займає cat у UTF-8?
Середній рівень
- Обчисліть розмір «hello, світ!» у UTF-8.
- Текстові дані UTF-16 займають 200 байтів. Скільки кодів Unicode в них, якщо кожен записано однією 16-бітною одиницею?
- Поясніть, чому фіксовані 4 байти UTF-32 не завжди вигідні. Додатково: чим тип char32_t відрізняється від char?
Підвищений рівень
- Учень стверджує: «1000 байтів UTF-8 завжди містять 1000 символів». Наведіть контрприклад.
- Порівняйте розмір «Привіт, World!» у UTF-8, UTF-16 та UTF-32.
- Додатково: дослідіть, як початкові біти байтів UTF-8 задають довжину запису.
Підказка до підвищеного рівня
У UTF-8 початковий байт має вигляд 0xxxxxxx для одного байта, 110xxxxx для двох, 1110xxxx для трьох або 11110xxx для чотирьох. Байти продовження починаються з 10. Це схема довжини, а не повний перелік правил коректності UTF-8.
Домашня робота
- Для п’яти різних символів: латинської літери, української літери, цифри, знака пунктуації та окремого емодзі запишіть код Unicode, байти UTF-8, UTF-16BE й UTF-32BE та їхню кількість.
- У 3–5 реченнях поясніть різницю між однобайтовим і багатобайтовим записом тексту.
- Складіть власну задачу на підрахунок байтів у змішаному реченні й наведіть розв’язання.
Практичні пункти з початкової сторінки
Усі 17 пунктів збережено в початковому порядку. Це додаткова практика роботи із широкими символами, яку виконуйте після налаштування середовища з учителем. Готові програми для вчителя наведено нижче. Для пунктів 2–16 також спочатку вводьте n, потім n непробільних символів.
- Ввести з клавіатури n довільних символів. Скільки серед них цифр?
- Скільки серед них не цифр?
- Скільки англійських літер?
- Скільки літер загалом?
- Чи всі вони літери?
- Скільки не літер?
- Скільки літер і цифр разом?
- Скільки знаків пунктуації?
- Чи всі вони цифри?
- Скільки великих літер?
- Скільки малих літер?
- Скільки великих англійських літер?
- Скільки малих англійських літер?
- Перетворити всі на малі літери.
- Перетворити всі на великі літери.
- Вивести їх коди.
- Ввести n цілих чисел та вивести символи з такими кодами.
У готових програмах перевірки широких літер залежать від доступної локалі. Назва wchar_t сама по собі не гарантує підтримки всіх кодів Unicode: зокрема, у Windows одного wchar_t недостатньо для 🐟. У пункті 17 вводьте лише допустимі для налаштованого середовища коди; з emoji та складеними знаками ці програми не працюють універсально.
Матеріали для вчителя
Ці програми є окремим додатковим матеріалом. Для основного пояснення кодування їх вивчати не потрібно.
Пункт 1: Скільки серед введених символів цифр?
#include <iostream>
#include <vector>
#include <cwctype>
#include <clocale>
using namespace std;
int main() {
setlocale(LC_ALL, "");
int n, count = 0;
wcout << L"Введіть n: ";
wcin >> n;
for (int i = 0; i < n; ++i) {
wchar_t c;
wcin >> c;
if (iswdigit(c)) count++;
}
wcout << L"Кількість цифр: " << count << endl;
return 0;
}
Пункт 2: Скільки серед введених символів не цифр?
#include <iostream>
#include <cwctype>
#include <clocale>
using namespace std;
int main() {
setlocale(LC_ALL, "");
int n, count = 0;
wcout << L"Введіть n: ";
wcin >> n;
for (int i = 0; i < n; ++i) {
wchar_t c;
wcin >> c;
if (!iswdigit(c)) count++;
}
wcout << L"Кількість не-цифр: " << count << endl;
return 0;
}
Пункт 3: Скільки англійських літер?
#include <iostream>
#include <clocale>
using namespace std;
int main() {
setlocale(LC_ALL, "");
int n, count = 0;
wcout << L"Введіть n: ";
wcin >> n;
for (int i = 0; i < n; ++i) {
wchar_t c;
wcin >> c;
if ((c >= L'a' && c <= L'z') || (c >= L'A' && c <= L'Z')) {
count++;
}
}
wcout << L"Кількість англійських літер: " << count << endl;
return 0;
}
Пункт 4: Скільки літер загалом (включаючи кирилицю)?
#include <iostream>
#include <cwctype>
#include <clocale>
using namespace std;
int main() {
setlocale(LC_ALL, "");
int n, count = 0;
wcout << L"Введіть n: ";
wcin >> n;
for (int i = 0; i < n; ++i) {
wchar_t c;
wcin >> c;
if (iswalpha(c)) count++;
}
wcout << L"Загальна кількість літер: " << count << endl;
return 0;
}
Пункт 5: Чи всі вони літери?
#include <iostream>
#include <cwctype>
#include <clocale>
using namespace std;
int main() {
setlocale(LC_ALL, "");
int n;
bool allLetters = true;
wcout << L"Введіть n: ";
wcin >> n;
for (int i = 0; i < n; ++i) {
wchar_t c;
wcin >> c;
if (!iswalpha(c)) allLetters = false;
}
if (allLetters) wcout << L"Усі введені символи є літерами." << endl;
else wcout << L"Не всі символи є літерами." << endl;
return 0;
}
Пункт 6: Скільки не літер?
#include <iostream>
#include <cwctype>
#include <clocale>
using namespace std;
int main() {
setlocale(LC_ALL, "");
int n, count = 0;
wcout << L"Введіть n: ";
wcin >> n;
for (int i = 0; i < n; ++i) {
wchar_t c;
wcin >> c;
if (!iswalpha(c)) count++;
}
wcout << L"Кількість символів, що не є літерами: " << count << endl;
return 0;
}
Пункт 7: Скільки літер і цифр разом?
#include <iostream>
#include <cwctype>
#include <clocale>
using namespace std;
int main() {
setlocale(LC_ALL, "");
int n, count = 0;
wcout << L"Введіть n: ";
wcin >> n;
for (int i = 0; i < n; ++i) {
wchar_t c;
wcin >> c;
if (iswalnum(c)) count++;
}
wcout << L"Кількість літер та цифр разом: " << count << endl;
return 0;
}
Пункт 8: Скільки знаків пунктуації?
#include <iostream>
#include <cwctype>
#include <clocale>
using namespace std;
int main() {
setlocale(LC_ALL, "");
int n, count = 0;
wcout << L"Введіть n: ";
wcin >> n;
for (int i = 0; i < n; ++i) {
wchar_t c;
wcin >> c;
if (iswpunct(c)) count++;
}
wcout << L"Кількість знаків пунктуації: " << count << endl;
return 0;
}
Пункт 9: Чи всі вони цифри?
#include <iostream>
#include <cwctype>
#include <clocale>
using namespace std;
int main() {
setlocale(LC_ALL, "");
int n;
bool allDigits = true;
wcout << L"Введіть n: ";
wcin >> n;
for (int i = 0; i < n; ++i) {
wchar_t c;
wcin >> c;
if (!iswdigit(c)) allDigits = false;
}
if (allDigits) wcout << L"Усі введені символи є цифрами." << endl;
else wcout << L"Не всі символи є цифрами." << endl;
return 0;
}
Пункт 10: Скільки великих літер?
#include <iostream>
#include <cwctype>
#include <clocale>
using namespace std;
int main() {
setlocale(LC_ALL, "");
int n, count = 0;
wcout << L"Введіть n: ";
wcin >> n;
for (int i = 0; i < n; ++i) {
wchar_t c;
wcin >> c;
if (iswupper(c)) count++;
}
wcout << L"Кількість великих літер: " << count << endl;
return 0;
}
Пункт 11: Скільки малих літер?
#include <iostream>
#include <cwctype>
#include <clocale>
using namespace std;
int main() {
setlocale(LC_ALL, "");
int n, count = 0;
wcout << L"Введіть n: ";
wcin >> n;
for (int i = 0; i < n; ++i) {
wchar_t c;
wcin >> c;
if (iswlower(c)) count++;
}
wcout << L"Кількість малих літер: " << count << endl;
return 0;
}
Пункт 12: Скільки великих англійських літер?
#include <iostream>
#include <clocale>
using namespace std;
int main() {
setlocale(LC_ALL, "");
int n, count = 0;
wcout << L"Введіть n: ";
wcin >> n;
for (int i = 0; i < n; ++i) {
wchar_t c;
wcin >> c;
if (c >= L'A' && c <= L'Z') count++;
}
wcout << L"Кількість великих англійських літер: " << count << endl;
return 0;
}
Пункт 13: Скільки малих англійських літер?
#include <iostream>
#include <clocale>
using namespace std;
int main() {
setlocale(LC_ALL, "");
int n, count = 0;
wcout << L"Введіть n: ";
wcin >> n;
for (int i = 0; i < n; ++i) {
wchar_t c;
wcin >> c;
if (c >= L'a' && c <= L'z') count++;
}
wcout << L"Кількість малих англійських літер: " << count << endl;
return 0;
}
Пункт 14: Перетворити всі на малі літери
#include <iostream>
#include <vector>
#include <cwctype>
#include <clocale>
using namespace std;
int main() {
setlocale(LC_ALL, "");
int n;
wcout << L"Введіть n: ";
wcin >> n;
vector<wchar_t> chars(n);
wcout << L"Введіть символи: ";
for (int i = 0; i < n; ++i) {
wcin >> chars[i];
chars[i] = towlower(chars[i]);
}
wcout << L"Результат у малих літерах: ";
for (wchar_t c : chars) {
wcout << c << L" ";
}
wcout << endl;
return 0;
}
Пункт 15: Перетворити всі на великі літери
#include <iostream>
#include <vector>
#include <cwctype>
#include <clocale>
using namespace std;
int main() {
setlocale(LC_ALL, "");
int n;
wcout << L"Введіть n: ";
wcin >> n;
vector<wchar_t> chars(n);
wcout << L"Введіть символи: ";
for (int i = 0; i < n; ++i) {
wcin >> chars[i];
chars[i] = towupper(chars[i]);
}
wcout << L"Результат у великих літерах: ";
for (wchar_t c : chars) {
wcout << c << L" ";
}
wcout << endl;
return 0;
}
Пункт 16: Вивести їх коди (Dec та Hex)
#include <iostream>
#include <vector>
#include <clocale>
using namespace std;
int main() {
setlocale(LC_ALL, "");
int n;
wcout << L"Введіть n: ";
wcin >> n;
vector<wchar_t> chars(n);
wcout << L"Введіть символи: ";
for (int i = 0; i < n; ++i) {
wcin >> chars[i];
}
wcout << L"Юнікод коди символів:" << endl;
for (wchar_t c : chars) {
wcout << c << L" -> Dec: " << static_cast<int>(c)
<< L", Hex: 0x" << hex << static_cast<int>(c) << dec << endl;
}
return 0;
}
Пункт 17: Ввести n цілих чисел та вивести символи з такими кодами
#include <iostream>
#include <vector>
#include <clocale>
using namespace std;
int main() {
setlocale(LC_ALL, "");
int n;
wcout << L"Введіть кількість кодів n: ";
wcin >> n;
vector<int> codes(n);
wcout << L"Введіть цілі числа (коди): ";
for (int i = 0; i < n; ++i) {
wcin >> codes[i];
}
wcout << L"Символи за відповідними кодами: ";
for (int code : codes) {
wcout << static_cast<wchar_t>(code) << L" ";
}
wcout << endl;
return 0;
}
Що запам’ятати
- Unicode задає коди, UTF визначає їхній запис.
- UTF-8: 1–4 байти, UTF-16: 2 або 4, UTF-32: 4 на один код Unicode.
- Розмір тексту залежить від його вмісту та кодування.
- Один видимий знак може складатися з кількох кодів.
Джерело для вчителя: Unicode Consortium, UTF-8, UTF-16, UTF-32