8

Одесская национальная академия связи им. А.С. Попова

Кафедра Теории электрической связи им. А.Г. Зюко

Индивидуальные задания по дисциплине “Теория информации” для студентов, обучающихся по направлению 6.050202 – Автоматизация и компьютерно-интегрированные технологии

2012/13 уч. год Составители: проф. Иващенко П.В., доц. Пляцек О.Е.

Индивидуальное задание №1

“Кодирование дискретного сообщения”

Исходные данные:

– сообщение – Фамилия и Имя студента, выполняющего задание (всего 10 букв, лишние убираются, недостающие дополняются из Отчества);

– таблица вероятностей букв в содержательных украинских и русских текстах (задание выполняется на украинском или русском языке по выбору студента).

Необходимо:

1. Составить алфавит из букв, которые используются для построения сообщения.

2. Для букв, которые вошли в алфавит, выписать их вероятности из таблицы вероятностей букв в содержательных русских (украинских) текстах и выполнить нормировку этих вероятностей.

3. Вычислить энтропию заданного сообщения.

4. Для полученного алфавита построить двоичные коды Шеннона-Фано и Хаффмана.

5. Вычислить средние длины кодовых комбинаций полученных кодов и сравнить их с длиной кодовой комбинации при равномерном кодировании.

6. Сравнить числовые значения энтропии и средних длин кодовых комбинаций полученных кодов. В каком соотношении должны находиться средняя длина неравномерного кода и длина равномерного кода? Чем объясняется отличие этих числовых значений?

7. Вычислить коэффициенты сжатия сообщения полученными кодами.

8. Сравнить характеристики полученных неравномерных кодов и сделать выводы.

Методические указания к выполнению задания №1

1. Информационные характеристики источника сообщений детально описаны в [2, лекции 1 и 2].

2. Эффективное кодирование кодом Шеннона-Фано и кодом Хаффмана описано в [2, лекция 3].

3. Вероятности букв в содержательных украинских и русских текстах приведены в табл. 2 и 3.

4. Для расчетов энтропии и средней длины кодовых комбинаций букв вероятности использованных букв “Фамилии и имя” и пробела между ними должны быть нормированы так, чтобы сумма вероятностей равнялась единице. Для этого необходимо вероятности использованных букв поделить на их сумму.

5. Средняя длина кодовых комбинаций вычисляется как математическое ожидание количества двоичных символов в кодовых комбинациях полученного неравномерного кода.

6. Значения двоичных логарифмов вычисляются через значения десятичных логарифмов или значения натуральных логарифмов .

Справочный материал к выполнению задания №1

Таблица 1 – Расчетные формулы

Номер	Название параметра	Расчётная формула
1	Количество кодовых комбинаций равномерного двоичного кода M	M = 2n
2	Длина равномерного двоичного кода n	n = log2M
3	Соотношение между объемом алфавита (количеством знаков) источника сообщений MА и количеством возможных кодовых комбинаций кода M
4	Энтропия источника сообщений А H(A)
5	Средняя длина кодовых комбинаций неравномерного кода
6	Коэффициент сжатия неравномерного кода 	 = n /
Пояснения: nk – длина k-й комбинации неравномерного кода; P(ak) – вероятность знака ak;

Таблица 2 – Распределение вероятностей букв в украинских текстах

Літера	Ймовірність	Літера	Ймовірність	Літера	Ймовірність	Літера	Ймовірність
Пропуск	0,122	Р	0,040	З	0,018	Ж	0,007
О	0,090	С	0,034	Й	0,017	Ц	0,006
А	0,074	Л	0,034	Б	0,016	Ю	0,006
И	0,059	К	0,032	Я	0,015	Ї	0,006
І	0,055	У	0,032	Г	0,013	Є	0,003
Н	0,053	Д	0,026	Ч	0,012	Ф	0,002
В	0,047	П	0,026	Ш	0,010
Т	0,044	М	0,023	Х	0,008
Е	0,041	Ь	0,021	Щ	0,008

Таблица 3 – Распределение вероятностей букв в русских текстах

Буква	Вероятность	Буква	Вероятность	Буква	Вероятность	Буква	Вероятность
Пропуск	0,175	Р	0,040	Я	0,018	Х	0,009
О	0,089	В	0,038	Ы	0,016	Ж	0,007
Е, Ё	0,072	Л	0,035	З	0,016	Ю	0,006
А	0,062	К	0,028	Ь, Ъ	0,014	Ш	0,006
И	0,062	М	0,026	Б	0,014	Ц	0,004
Т	0,053	Д	0,025	Г	0,013	Щ	0,003
Н	0,053	П	0,023	Ч	0,012	Э	0,003
С	0,045	У	0,021	Й	0,010	Ф	0,002