2.2. Побудова оптимального нерівномірного коду Хаффмена

Серед різних методів побудови оптимальних префіксних кодів найкращим уважається код Хаффмена, тому що він дозволяє одержати найменшу середню довжину кодових слів.

Попередній крок. Повідомлення x_i розташовуємо в порядку убування їхніх ймовірностей p(x_i);

Крок1. Робимо перший стиск повідомлень, тобто групуємо разом два повідомлення, що мають найменші ймовірності й обчислюємо їхню загальну ймовірність;

Крок2. Повідомлення нового ансамблю, отриманого в результаті першого стиску, знову розташовуємо в порядку убування ймовірностей;

Крок3. Робимо другий стиск. Снову групуємо разом два повідомлення, що мають найменші ймовірності й обчислюємо їхню загальну ймовірність;

І так далі, процес покрокового стиску повідомлень здійснюється доти поки в ансамблі не залишиться одне об'єднане повідомлення.

Крок завершальний. Проводимо лінії, які з'єднують повідомлення утворюючі послідовні допоміжні ансамблі. Виходить кодове дерево, у якому окремі повідомлення є кінцевими вузлами. Відповідні ним кодові слова одержуємо, якщо приписати різні символи двійкового алфавіту (0 або 1) галузям вихідним з кожного проміжного вузла.

Всі побудовані ОНК Хаффмена й розрахунок його інформаційних характеристик зручно оформити у вигляді таблиці. Для заданого варіанта повідомлень необхідно побудувати рівномірний код і кілька варіантів ОНК Хаффмена, побудувати кодові дерева, обчислити всі інформаційні характеристики й показники ефективності ОНК Хаффмена. (см. приклад ОНК Шеннона-Фано).

2.3. Обчислення інформаційних характеристик реальних каналів зв'язку

Однієї із центральних завдань теорії інформації, є визначення інформаційних втрат при передачі повідомлень по каналах зв'язку із шумами.

Інформаційний канал зв'язку вважається повністю заданим у трьох випадках:

1. Дано безумовні ймовірності джерела повідомлень p(a_i) і канальну матрицю з боку джерела виду p(b_j/ a_i);

2. Дано безумовні ймовірності приймача повідомлень p(b_j) і канальну матрицю з боку приймача виду p(a_i / b_j);

3. Дано канальну матрицю об'єднання виду p(a_i , b_j).

Розташовуючи даними кожного із цих трьох варіантів, можна обчислити всі інші інформаційні характеристики джерела, каналу зв'язку й приймача повідомлень.

Завдання. Дано: канальна матриця умовних ймовірностей

0.98	0.01	0.01
0.10	0.75	0.15
0.20	0.30	0.50

p(b_j/ a_i)=

Час передачі одного символу τ=0.02 сек, безумовні ймовірності появи сигналу на виході джерела повідомлення p(a₁)=0.7; p(a₂)=0.2; p(a₃)=0.1.

Обчислити всі інформаційні характеристики реального каналу зв'язку, включаючи

H(B), H(B/A), H(A), p(b_i), I(A,B), ΔI, C_n, якщо повідомлення складається з 400 символів.

Рішення.

1. Середня кількість інформації, стерпна одним символом визначає ентропія джерела повідомлення H(A):

H(A)= біт/символ

2. Середні втрати інформації при передачі одного символу визначає загальна умовна ентропія джерела H(B/A):

H(B/A)= [0.7(0.98log0.98+0.01log0.01+0.01log0.01)+0.2 (0.1log0.1+0.75log0.75+0.15log0.15)+0.1 (0.20log0.20+0.3log0.3+0.5log0.5)]=

=0.465 біт/символ

3. Загальні втрати інформації в каналі зв'язку при передачі повідомлення з 400 символів ΔI:

ΔI=k(B/A)=400*0.465=186 біт

4. Безумовні ймовірності появи сигналів на вході приймача p(b_j):

p(b₁)=

p(b₂)= ;

p(b₃)= .

Перевіримо, чи становлять імовірності p(b_j) повну групу, тобто

.

5. Середня кількість інформації, прийнята приймачем на один символ, визначається ентропією приймача H(B):

H(B)=

= -(0,726log0,726+0,187log0,187+0,087log0,087)=1.095 біт/символ.

6. Середня кількість інформації, отримана приймачем на один символ з урахуванням перешкод каналу зв'язку, I(A,B):

I(A,B)=H(B)-H(B/A)=1.095-0.465=0.63 біт/символ.

7. Загальна кількість інформації, отримана приймачем при передачі повідомлення з 400 символів з урахуванням перешкод каналу зв'язку

I^Σ=K*[H(B)- H(B/A)]=400*0.63=252 біт.

8. Пропускна здатність реального каналу зв'язку С_n дорівнює добутку кількості прийнятих у секунду сигналів n= на різницю прийнятої інформації й інформації ураженої шумами:

С_n=n[H(B)-H(B/A)]=50[1.095-0.465]=31.5 біт/сек.

Завдання вирішене.

У випадку, коли дані безумовні ймовірності приймача p(b_j) і канальна матриця з боку приймача виду p(a_i/b_j), спочатку обчислюються H(A/B), ΔI, H(B), потім по p(b_j) і p(a_i/b_j) обчислюються безумовні ймовірності джерела p(а_i), безумовна ентропія джерела H(A) і інші показники I(A,B), C_n, I^Σ .

У випадку опису перешкод каналу зв'язку канальною матрицею об'єднання виду p(a_i/b_j), можливостей для обчислення інформаційних характеристик ще більше. У завданні послідовно обчислюємо :

а) безумовні ймовірності джерела p(a_i):

p(a_i)= (i=1,2,…,m)...

б) безумовну ентропію джерела H(A):

H(A)= біт/символ

в) безумовні ймовірності приймача p(b_j):

p(b_j)= (i=1,2,…,m)...

г) безумовну ентропія приймача H(B):

H(B)= , біт/символ.

д) умовні ймовірності джерела p(b_j/a_i) або умовні ймовірності приймача p(a_i / b_j):

j=1,2,...m

p(b_j / a_i)= i=1,2,…m

j=1,2,...m

p(a_i/b_j)= i=1,2,…m

е) Середні втрати інформації при передачі або прийомі одного сигналу, які визначає загальна умовна ентропія джерела Н(В/А):

Н(В/А)= -

Або загальна умовна ентропія приймача повідомлень Н(А/ В):

Н(A/B)=

ж) Загальні втрати інформації в каналі зв'язку при передачі всіх повідомлень

ΔI=KH(B/A), біт

з) Середня кількість інформації, отримана приймачем на один символ з урахуванням перешкод каналу зв'язку, I(A,B):

I(A,B)=H(B) - H(B/A), біт/символ.

I(A,B)=H(A) - H(A/B), біт/символ.

и) Загальна кількість інформації, отримані приймачем при передачі всіх повідомлень із урахуванням перешкод каналу зв'язку I^Σ:

I^Σ=K[H(B) – H(B/A)], біт

або I^Σ=K[H(A) - H(A/B)], біт

к) Пропускна здатність реального каналу зв'язку С_n:

С_n=n[H(B) – H(B/A)], біт/сек

або С_n=n[H(A) – H(A/B)], біт/сек

де n= кількість символів за одну секунду.

Завдання вирішене.