17(34) Неравенство Макмиллана.

Пусть задано алфавитное кодирование со схемой Σ:

a₁→b^~₁

a₂→b^~₂

…………..

a_n→b^~_n

Пусть l(b^~_i)=l_i-длина слова b^~_I, i=1…r. Обозначим за q число букв в алфавите b.

Теорема (Неравенство Макмиллана): Если алфавитное кодирование со схемой Σ обладает свойством взаимной однозначности, то Σⁿ_i=11/q^l_i<=1(*)

Теорема: Если числа l₁,l₂,…,l_n удовлетворяет *, то ∃ алфавитное кодирование со схемой Σ: a₁→b^~₁, a₂→b^~₂, a_n→b^~_n, обладающее свойством префикса и удовлетворяющее равенствам: l(b^~’₁)=l₁

l(b^~’₂)=l₂

……………

l(b^~’_r)=l_r

Следствие: неравенство Макмиллана является необходимым и достаточным условием алфавитного кодирования, у которого схема обладает свойством префикса и длины элементарных кодов равны соответственно l₁,…,l_n.

Следствие: Если существует взаимно однозначное алфавитное кодирование с заданными длинами элементарных кодов, то существует также алфавитное кодирование со схемой, обладающей свойством префикса и с теми же длинами элементарных кодов.

Для доказательства сперва применим первое следствие, затем второе.

Задача: с помощью неравенства Макмиллана выяснить, может ли множество L быть набором длин кодовых слов однозначно декодируемого кода в q-значном алфавите.

1)L={1,2,2,3}, q=2

l₁ =1, l₂=2, l₃=2, l₄=3

Σⁿ_i=11/q^l_i<=1

Σⁿ_i=11/q^l_i=1/2¹+1/2²+1/2²+1/2³=1/2+1/4+1/4+1/8=9/8>1⇒множество L не может быть таким набором.

18(35) Коды с минимальной избыточностью. Примеры.

Пусть задан алфавит А={a₁,a₂,…,a_r} , и набор положительных вероятностей p₁,p₂,…,p_r : . Появление символов a₁,a₂,…,a_r в сообщениях (предполагается, что символы a₁,a₂,…,a_r появляются в сообщениях независимо). Далее пусть задан алфавит В={b₁,b₂,…,b_q}, , тогда можно построить целый ряд схем алфавитного кодирования: : a₁ -

а₂ -

a_r -

обладающих свойством взаимной однозначности. В частности всегда можно взять в качестве элементарных кодов ,…, различные слова в алфавите В, одинаковой длины – l, где l=]log_qr[, т.к мы имеем , при i=1..r, пусть l_i=l, тогда , возьмем =1. =>

q^l=r => l=log_qr, т.к , то l=]log_qr[.

Для каждой схемы можно ввести среднюю длину l_cр, определяющую для математического ожидания длину элементарного кода, т.е , l_i=l( ). Величина показывает во сколько раз увеличивается средняя длина слова при кодировании со схемой .

Пример:

r=4, q=2, p₁=0,40, p₂=0,25, p₃=0,20, p₄=0,15.

Рассмотрим 2 схемы алфавитного кодирования:

: а₁ – 00, а₂ – 01, а₃ – 10, а₄ – 11.

: а₁ – 1, а₂ – 01, а₃ – 000, а₄ – 001.

= 0,40*2+0,25*2+0,20*2+0,15*2=2

=0,40*1+0,25*2+0,20*3+0,15*3=1,95

Таким образом средняя длина может изменяться при переходе от одной схемы алфавитного кодирования к другой. Для этого для данного источника сообщений можно ввести величину l^*.

(35)Пусть l^*= , где нижняя грань берется по всем схемам , обеспечивающих свойства взаимной однозначности. Заметим, что ]log_qr[. При построении кодов, у которых величина близка к l^* можно не рассматривать коды с большим, чем ]log_qr[. Значит для таких схем ]log_qr[. Обозначим за р^*=min p_i т.к все p_i>0, при , то p^*>0 и для всех i. Значит имеется конечное число возможных значений , для которых ]log_qr[. => Величина l^* достигается на некоторой схеме и может быть определена, как l^*= .