Кодирование сложных сообщений

в) Дальнейшим возможным способом повышения скорости передачи информации является кодирование не каждого символа сообщения, а группы из двух символов, что позволяет получить новый набор из 9 групп {X_iX_j} и возможность деления на более близкие по суммарной вероятности подгруппы:

Сообщение Y_k = X_i *X_j Вероятность P_Yk = P_Xi *P_Xj

Y1 = X₁*X₁ 0,4225

Y2 = X₁*X₂ 0,1495

Y₃ = X₁*X₃ 0,0780

Y₄ = X₂* X₁ 0,1495

Y₅ = X₂*X₂ 0,0529

Y₆ = X₂*X₃ 0,0276

Y₇ = X₃*X₁ 0,0780

Y₈ = X₃*X₂ 0,0276

Y₉ = X₃*X₃ 0,0144

Д алее кс рс

Применим принцип кодирования Шеннона-Фано.

	Вероят -ность	1	2	3	4	5	6	1	2	3	4	5	6	Длитель-ность (i)
Y1	0,4225	I	}I					1	1					2
Y2	0,1495		}II					1	0					2
Y4	0,1495		I	}I				0	1	1				3
Y3	0,0780			}II				0	1	0				3
Y7	0,0780			}I				0	0	1				3
Y5	0,0529	II			}I			0	0	0	1			4
Y6	0,0276		II	II		}I		0	0	0	0	1		5
Y8	0,0276				II	II	}I	0	0	0	0	0	1	6
Y9	0,0144						}II	0	0	0	0	0	0	6

9

П ри этом, _ср. = P_i *_i = 2,67 дв.ед./сообщ.

i=1

H(X) - энтропия сообщения, состоящего из двух символов, определяется как

9

H(X) =  P(Y_i)*log₂P(Y_i)  2,53 бит/сообщ.

i=1

V(X) = C/_ср.* H(X) = 948 бит/с

K = 2,53=H(X)/2,67= _ср.= 0,948 < 1

Рассмотренная процедура кодирования, основанная на методе Шеннона-Фано, не всегда является однозначной, так как возможны различные варианты разбиения сообщения на подгруппы с близкими вероятностями (пример:{Y₁}и {Y₂÷Y₉}).

Рассмотрим последовательность кодирования {Y_i}по методу Хаффмена, гарантирующему однозначность разбиения на подгруппы и являющегося более рациональным при кодировании достаточно больших групп сообщений.

Метод Хаффмена – гарантирует однозначное построение кода с наименьшим для данного распределения {Pi} - _ср. – средним числом двоичных разбиений на сообщения.

1. Буквы алфавита сообщения выписывают в основной столбец в порядке убывания вероятностей.

2. Две последние буквы объединяются в одну вспомогательную, которой приписывается суммарная вероятность. И заново записывается в порядке убывания.

3. Процесс продолжается до получения единственной буквы.

	Вероят -ность	1	2	3	4	5	6	7	8	9
Y1	0,4225	0,4225	0,4225	0,4225	0,4225	0,4225	0,4225	0,5775	1,0000
Y2	0,1495	1495	1495	1495	1560	2720	0,3055	0,4225
Y4	0,1495	1495	1495	1495	1495	1560	0,2720
Y3	0,0780	0780	0780	1225	1495	1495
Y7	0,0780	0780	0780	0780	1225
Y5	0,0529	0529	0696	0780
Y6	0,0276	0420	0529
Y8	0,0276	0276
Y9	0,0144

4. Кодирование сообщений осуществляется по результатам построения «кодового дерева».

Y1 Y2 Y4 Y3 Y7 Y5 Y6 Y8 Y9

0 110 101 1111 1110 1000 100111 10010 100110

9

_ср. =  Pi*i = 2,55 дв. разр./сообщ.

i=1

H(Y)  2,53 бит

V  C/_ср.* H(Y)  993 бит/с

Далее КСРС

K_{отн.эфф.} = 0,993

V_равн. = 630;

V_Ш.Ф.^{прост.сообщ.} = 933;

V_Ш.Ф.^{двух сообщ.} = 948;

V_Хафф.^{двух сообщ.} = 993;

1,0000

Y_372489651

0,5775

Y_37248965

0,3055

0,4225

0,2720

1

Y₃₇₂₅

0

1 0

Y₁

0,1560

0,0696

Y₄₈₉₆₅

0,1495 0,1495

1. 0

   0,1225

Y₃₇

1 0

Y₂

Y₄

0,0529

0,0780

0,0780

1 0

Y₃

Y₇

Y₉

Y₆

Y₅

0,0276

0,0144

1 0

0,0276

0,0420

1. 0

Y₈

1 0