5. Как, исходя из теоремы кодирования Шеннона, добиться безызбыточного кодирования?

Рассмотрим равномерное кодирование. Сразу отметим, что если в равномерных двоичных кодах длина N используется все n = 2^N возможных кодовых комбинаций, то такой код будет безызбыточным, ошибка любой кратности в какой – либо кодовой комбинации всегда приведет к ошибочному декодированию этой комбинации.

Таким образом, избыточность кода означает, что для представления знаков используется не все возможные двоичные комбинации. Тогда используемые для кодирования двоичные слова можно взять такими, чтобы вероятность получения невероятного знака была минимальна.

К неравномерным кодам относится знаменитый код Морзе. Это двоичный код с набором знаков “•, - “ и словами различной длины не более 5 знаков для кодирования букв и цифр. Точке соответствует краткая посылка тока, тире – длинная. Эти посылки тока разделяются паузами, такой же продолжительностью, что и точка. Три паузы отличаются конец буквы, пять пауз – конец слова.

В дискретном канале связи без помех возможно безизбыточное кодирование – передавая наиболее вероятные сообщения более короткими кодами, и наоборот. Основание системы кодирования может быть различным. При этом наиболее целесообразно использовать неравномерные коды.

Принцип построения оптимального кода Шеннона-Фано следующий:

1. Сообщения, входящие в ансамбль, располагаются в строку (в столбец) по мере убывания вероятностей.

2. Выбирается основание кода K.

3. Все сообщения ансамбля разбиваются на K групп с равными суммарными вероятностями внутри каждой группы. Всем сообщениям первой группы в качестве первого символа присваивается 0, сообщениям второй группы – символ 1, а сообщениям K-й группы – символ (K – 1); тем самым обеспечивается равная вероятность появления всех символов 0, 1,…, K на первой позиции в кодовых словах.

4. Каждая из групп делится на K подгрупп с равной суммарной вероятностью в каждой подгруппе. Всем сообщениям первых подгрупп в качестве второго символа присваивается 0, всем сообщениям вторых подгрупп – 1, а сообщениям K -х подгрупп – символ (K – 1).

5. Процесс продолжается до тех пор, пока в каждой подгруппе не окажется по одной комбинации.

Задачи:

Задача 1.

Доказать, что:

а) энтропия

б) максимум энтропии дискретных сообщений достигается при их равновероятности.

Решение:

а) Энтропия H будет ≥0, если ld(p_i) будет числом отрицательным. По свойствам логарифмов: логарифмы чисел меньших единиц по основанию большему единицы – отрицательны. Теперь необходимо доказать, что 0 < p_i < 1. Вероятность события А называется отношение числа исходов, благоприятных этому событию, к числу возможных исходов: - классическое определение вероятности. Из свойств вероятности: вероятность случайного события есть положительное число, заключенное между нулем и единицей (так как событие происходит при некоторых исходах, но не при всех). Следовательно

б) Нам необходимо доказать, что

Рассмотрим случай, когда n = 2; P_i = 1/n (так как в условии сказано, что вероятности сообщений одинаковы):

H = 2log₂ (2) = 2*1 = 2;

H = 2 m. e. H → max при P_i = 1/n

Задача 2.

Пусть дан следующий код, удовлетворяющий условию Фано:

О	К	Н	Д	Й	М	Ы	Э
00	01	100	101	1100	1101	1110	1111

1. построить соответствующее кодовое дерево;

2. расшифровать текст;

11110100100001101100111011000100101

Решение:

1)

2) 1111 – э; 01 – к; 00 – о; 100 – н; 00 – о; 1101 – м; 100 – н; 1110 – ы; 1100 – й; 01 – к; 00 – о; 101 – д. ЭКОНОМНЫЙ КОД.

Задача 3.

Задан ансамбль сообщений Х = {x₁, x₂, …, x₈}.

1. Найти энтропию при условии равновероятности сообщений.

2. Найти энтропию при условии разной вероятности сообщений (см. таблицу), предварительно определив недостающую вероятность.

xi	x1	x2	x3	x4	x5	x6	x7	x8
pi	0,19	0,16	0,16	0,15	0,12	0,11	0,06	?

3. С помощью процедуры Шеннона-Фано закодировать сообщения. Определить среднюю длину кодового слова и избыточность кода.

Решение:

1. H = ld(8) = 3 бит/знак

2. p₈ = 0,02

3. Проведем кодирование, разбивая исходное множество знаков на равновероятные подмножества:

xi	x1	x2	x3	x4	x5	x6	x7	x8
pi	0,19	0,16	0,16	0,15	0,12	0,11	0,06	0,02
кодировка	00	010	011	111	110	101	1001	1000
длина	2	3	3	3	3	3	4	4
В х Д	0,38	0,48	0,48	0,45	0,36	0,33	0,36	0,08

Найдем среднюю длину слова:

L = 0,38 + 0,48 + 0,48 + 0,45 + 0,36 + 0,33 + 0,36 + 0,08 = 2,92

Найдем избыточность:

L – H = 2,92 – 2,85 = 0,07

Задача 4.

Записать 16 – ти разрядный двоичный код для чисел: -2000; 1000.

Решение:

Метод вычитания:

При записи кода для «1000» - 9, 8, 7, 6, 5, 3 биты будут иметь значение – 1, записав в остальные – 0, получим

1000 = 0000001111101000

аналогично преобразуем «2000»

2000 = 0000011111010000

для получения кода отрицательного числа, необходимо инвертировать полученный код и прибавить к нему 1

-2000 = 1111100000110000

Задача 5.

Найти закон распределения плотности вероятности непрерывной случайной величины , обеспечивающий максимум относительной энтропии при заданном математическом ожидании А:

Решение:

По условию задачи необходимо найти закон распределения p(x), при котором функционал, равный энтропии, обращается в максимум, т.е.:

,

при условиях:

Используем метод неопределенных множителей Лагранжа.

Составляем функционал и приравниваем частную производную по р к нулю:

Тогда

Подставляя в условие , получаем связь между множителями Лагранжа в виде:

Задача 6.

Исходя из вероятности появления букв в русском алфавите, придумайте свою оптимальную «азбуку Морзе», закодировав пробел и буквы (всего 32 символа) последовательность точек и тире.

Решение:

	0,175		К	0,028	  	Ч	0,012	   
О	0,090		М	0,026	  	Й	0,010	   
Е Ё	0,072	 	Д	0,025	  	Х	0,009	   
А	0,062	 	П	0,023	   	Ж	0,007	   
И	0,062	 	У	0,021	   	Ю	0,006	   
Т	0,053	 	Я	0,018	   	Ш	0,006	   
Н	0,053	  	Ы	0,016	   	Ц	0,004	   
С	0,045	  	З	0,016	   	Щ	0,003	   
Р	0,040	  	Ь Ъ	0,014	   	Э	0,003	    
В	0,038	  	Б	0,014	   	Ф	0,002	    
Л	0,035	  	Г	0,013	   