Оптимальне кодування

Код чи кодування може бути оптимальним лише за певних умов, за певними критеріями. Найбільш часто оцінюють оптимальність коду за показниками надійності передачі або за швидкістю передачі.

Поєднання двох умов в одному оптимальному коді не рекомендується, оскільки вони переважно є суперечливими. Наприклад, для збільшення швидкості передачі інформації необхідно усувати надлишковість, а для покращення показників надійності потрібно вводити надлишковість.

Одним з основних критеріїв, які характеризують код є середня довжина кодових слів, яка визначається за виразом:

p(a_i) – ймовірність появи і-ї букви первинного алфавіту

l(a_i) – її довжина в коді.

Оптимальними без надлишковими називаються коди, які представляються кодовими словами мінімальної середньої довжини l. Ці коди є практично з нульовою надлишковістю. Верхня і нижня границі l визначаються нерівністю

H/log₂m ≤ L ≤ (H/log₂m) + 1

Н – ентропія первинного алфавіту; m – кількість якісних ознак вторинного алфавіту.

У випадку по блокового кодування де кожен блок складається з М незалежних букв а₁, а₂, а₃… а_м. Мінімальна середня довжина кодового слова лежить в межах які позначаються виразом:

(H*M)/log₂m ≤ L_M ≤ ((H*M)/log₂m) + 1

З точки зору інформаційного навантаження на один символ повідомлення, блочне кодування є вигіднішим ніж одиночне по символьне.

Основні властивості оптимальних кодів

1. Мінімальна середня довжина кодового слова для оптимального коду забезпечується у тому випадку, коли надлишковість кожного кодового слова зводиться до мінімуму, а в ідеальному випадку зводиться до 0;

2. Кодові слова оптимального коду повинні будуватись з рівно ймовірних і взаємонезалежних символів.

З цих двох основних властивостей оптимальних кодів випливають принципи побудови оптимальних кодів:

1. принцип: вибір кожного кодового слова необхідно проводити так, щоб кількість вмістимо інформації була максимальною.

2. принцип: полягає в тому, що буквам вторинного алфавіту, які мають більшу ймовірність появи присвоюються короткі слова у вторинному алфавіті.

Для побудови кодів з мінімальною довжиною кодових слів можуть бути використані дві найбільш універсальні методики: перша базується на роботах вчених Шенона і Фано. Вона і отримала назву методики Шенона-Фано. Згідно з цією методики побудова оптимального ансамблю з повідомлень, які передаються, зводиться до наступних 6 кроків:

1. множина повідомлень розміщується, сортується у порядку спадання ймовірностей;

2. перший ансамбль символів розбивається на 2 групи таким чином, що сумарні ймовірності повідомлень обох груп були по можливості рівними.

Якщо рівної ймовірності у підгрупах досягти неможливо, тоді їх ділять таким чином, щоб у верхній підгрупі залишились символи, сумарна ймовірність яких менша сумарної ймовірності символів у нижній підгрупі.

3. першій групі присвоюється символ «0». другі1 – «1»;

4. кожну з утворених груп ділять на дві частини таким чином, щоб сумарні ймовірності нових утворених груп по можливості були рівні.

5. першим групам кожній із підгруп знову присвоюється нуль, а другим – одиниця. Таким чином отримують другі символи коду.

6. після цього кожне з 4-х груп ділиться на рівні, з точки зору сумарної ймовірності, частини до тих пір, поки в кожній с підгруп не залишиться по одній букві.

Другою універсальною є методика Хахмана і зводиться до процедури побудови кодового дерева. Ця процедура також включає 6 кроків.

1. N символів первинного алфавіту сортуються в порядку спадання ймовірностей.

2. останні n₀ символів, які вибираються з умови 2≤n₀≤m, де m кількість якісних ознак коду(для двійкового коду n₀ = 2). Об’єднують n₀ символів в деякий новий символ з ймовірністю, яка дорівнює сумі об’єднаних символів.

3. останні символи, із врахуванням утвореного символу на кроці 2, знову об’єднують і отримують новий допоміжний символ дотримуючись правил: на всіх етапах побудови кодового дерева, крім першого та останнього, додаткові символи об’єднують n=m, а на останньому 1 ≤n≤m, і в додатковий символ об’єднують тільки символи з найменшими ймовірностями.

4. процедура об’єднання продовжується до тих пір, поки ймовірність утвореного символу стане «1».

5. гілкам дерева, що виходять, прискорення та вузлів n-якісних ознак кодового алфавіту присвоюються в одному напрямку.

6. кодові комбінації представляють собою послідовність якісних ознак, які зустрічаються від кореня до вершини кодового дерева.

Побудовані за даними, універсальними або подібними методиками, коди з нерівномірними розподілами символів, які мають мінімальну середню довжину кодового слова називаються оптимальними нерівномірними кодами (ОНК).

Рівномірні коди можуть бути оптимальними лише за умови використання їх для передачі повідомлень з рівномірним розподілом символів первинного алфавіту. При цьому кількість символів первинного алфавіту повинна бути рівною цілому степеню кількості якісних ознак вторинного алфавіту. Для двійкових кодів – це цілому степеню двійки. Максимально ефективними будуть ОНК для яких :

l_cep = H

Для двійкових кодів повинна забезпечуватись наступна умова:

При цьому довжина коду l_i –го у вторинному алфавіті повинна задовольняти наступну рівність.

l_i = -log₂ p_i = log₂(1/p_i)

Ефективність ОНК оцінюють з використанням коефіцієнта статистичного стиснення, яке характеризує зменшення кількості двійкових знаків на символ повідомлення у випадку застосування ОНК у порівнянні із застосуванням методів нестатистичного кодування.

Цей коефіцієнт визначається із наступного співвідношення.

K_cc = H_max/l_cep = log₂N/()

Коефіцієнт за наступним виразом вказує ефективність використання статистичної надлишковості:

K_cc = H/l_cep

Ентропію обчислюють в залежності від випадків:

1. нерівномірних і взаємозалежних – за ф-ю Шенона;

2. нерівномірних і взаємозалежних символів – за формулою повної умовної ентропії