52. Кодирование источников без памяти: Код Хаффмана.

Таблица кодирования строится как процесс формирования дерева (дерево кодирования Хаффмана).

А также в порядке убывания вероятностей.

Этим символам ставятся в соответствие листья формируемого дерева. К листу направлена ветвь возле которой записываются вероятности листа. Две самые нижние ветви формируют вершины ветвления, к которой направляется ветвь с суммарной вероятностью далее формируется следующий уровень дерева в которой нижележащие вершины упорядочиваются и так до тех пор пока не будет 1.

После построения дерева ветви исходящие из каждой вершины ветвления. Снабжаются двоичным решением: верхняя ветвь 1, нижняя ветвь 0. Такой алгоритм построения дерева называется методом пузырька т.к. после каждого объединения двух вершин полученная вершина родитель поднимается. Для построения кода осуществляется переход от корня к каждому листу попутно в код заносятся попавшиеся двоичные решения.

Н а практике можно добиться увеличения эффективности сжатия переопределив алфавит источника следующим образом. Кроме единичных символов в алфавит поместить всевозможные пары символов алфавита. Если считать что символы статистически независимы то вероятности каждого парного элемента будут равны произведению отдельных вероятностей. Затем к полученному алфавиту применить метод Хаффмана. В результате получается код называемый кодом расширения.

53. Кодирование источников без памяти: Код Шеннона-Фано

Все кодируемые символы перечисляются в порядке уменьшения их вероятностей

X*m	Prob[X*m]	Код	Длина Lm	Prob[X*m] Lm
a	0.4	00	2	0.8
b	0.2	01	2	0.4
c	0.2	10	2	0.4
d	0.1	110	3	0.3
e	0.1	111	3	0.3
			Lср=2,2

Все символы делятся на m примерно равновероятностных групп.

Верхней группе ставится 0, а нижней 1. Затем обе группы снова разделяются на m подгрупп. Такое разделение продолжается до тех пор пока в таблице не исчезнут префиксно зависимые кодовые слова

Н=2,122

Оглавление

1. Передача информации между двумя оконечными устройствами. Тип соединения оконечных устройств 1

2. Основные определения: информация, сообщение, система связи, сигнал, алфавит. 2

5. Форматирование информации. Форматирование текстовых данных. Существующие стандарты. 2

6. Передача сообщений по каналу, искажения, краевые искажения, дробление 3

9. Дискретизация по методу «выборка-хранение». 3

10. Сигнал, как реализация процесса. Классификация процессов. 3

11. Детерминированные процессы. Гармонические и переходные непериодические процессы. 5

12. Полигармонические и непериодические процессы их спектральные характеристики. 6

13. Определение случайного процесса. Непрерывные и дискретные случайные процессы. 7

15. Числовые характеристики случайных процессов, их инженерно-физический смысл. 11

16.Законы распределения и основные характеристики случайных процессов 12

17. Автокорреляционная функция случайного процесса. Примеры автокорр. функций. 13

20. Стационарные и нестационарные случайные процессы. Стационарность в широком и узком смыслах. (2 стр) 17

21. Количество информации. Формула Хартли. 19

22. Формула Шеннона. 19

23. Энтропия источника сообщений. Свойства энтропии источника дискретных сообщений 19

24. Избыточность при передаче сообщений. Роль избыточности при передаче информации 21

25. Математические модели сигналов. Спектральное представление сигналов. 22

26. Ряд Фурье по произвольной ортогональной системе функций. 23

27. Ряд Фурье по основной тригонометрической системе функций. 23

28. Разложение периодических функций в ряд Фурье. Спектр амплитуд и спектр фаз. 24

29. Ряд Фурье в комплексной форме. Спектр фаз и спектр амплитуд. 25

30. Спектр мощности сигнала. Практическая ширина спектра. Равенство Парсеваля. (3 СТР!!!) 25

31. Спектральные характеристики непериодического сигнала. Прямое и обратное преобразования Фурье. 29

32. Оценивание спектральной плотности с помощью ДПФ 30

33. Дискретное преобразование Фурье (ДПФ). Гармонический анализ. 30

34. Примеры ортогональных базисов. Функции Уолша. 33

35. Модуляция. Зачем она нужна 34

36. Спектр АМ сигнала. Ширина полосы. 34

38. Амплитудная модуляция. 34

39-40. Балансовая модуляция. Спектр и ширина полосы пропускания 36

41. Угловая модуляция 36

42. Частотная модуляция. 36

43. Спектр колебаний с угловой модуляцией 37

44. Сравнение методов амплитудной и угловой модуляций 39

45. Шумы. Тепловой шум. Представление тепловых шумов. Мощность шума. Распределение тепловых шумов. 39

49. Спектральные характеристики случайных процессов. 40

51.Исправляющие или корректирующие коды. 41

52. Кодирование источников без памяти: Код Хаффмана. 42

53. Кодирование источников без памяти: Код Шеннона-Фано 43