Добавил:

Upload Опубликованный материал нарушает ваши авторские права? Сообщите нам.

Вуз:

Харьковский национальный университет радиоэлектроники

Предмет:

[НЕСОРТИРОВАННОЕ]

Файл:

Практическое занятие1

.doc

Скачиваний:

170

Добавлен:

14.04.2015

Размер:

428.54 Кб

Скачать

☆

Практическое занятие № 1

Информационные характеристики источников сообщений

Задача 1.

Источник сообщений выдает символы из ансамбля . знаков с вероятностями p(x1) = 0.4; p(x2) = 0.1; p(x3) = 0.2; p(x4) = 0.1; p(x5) = 0.3. (Сумма всех p(xi) = 1, как полной группы несовместных событий). Найти количество информации, содержащееся в каждом из символов источника при их независимом выборе (источник без памяти), Вычислить энтропию и избыточность источника.

Решение:

Количество информации, содержащееся в каждом из символов источника:

, [бит].

[бит],

[бит]

нтропия источника

Избыточность источника

Для определения избыточности определим

- количество символов.

Задача 2.

Определить максимальные значения энтропии Hmax(x), максимальное значение удельной энтропии H1max(x), значение удельной энтропии H1(x) для первичного пятиразрядного (=5) кода, если известно, что с учётом неравновероятности появления = 32 буквенных знаков текста энтропия источника сообщений H(x) = 4.36 бит/знак.

Решение.

В соответствии с уравнением

бит/знак.

При наличии кодера источника, в свою очередь, представляющего каждую из

букв алфавита источника кодовой группой из символов (разрядов), опреде-

ляют удельную энтропию H1(x), приходящуюся на один разряд кодовой группы:

где - длина кодовой группы (слова), а в обозначении удельной энтропии индексом 1 подчеркивается, что энтропия отнесена к одному разряду кодовой группы, а не к знаку источника сообщения.

бит/разряд.

Это означает, что кодер источника выдаёт разряды сообщения при кодировании буквенного алфавита источника первичным кодом с "недогрузкой" в информационном смысле на 13% по сравнению с потенциальными возможностями.

Задача 3

Память двоичного стационарного дискретного источника с символами «0» и «1» простирается лишь на 2 соседних символа и следовательно дискретная последовательность символов, выдаваемых источником, описывается простой цепью Маркова с матрицей переходных вероятностей

где - вероятность символа при условии, что ему предшествовал символ .

Полагая, что , найти условную энтропию источника и его избыточность.

Найти энтропию и избыточность двоичного источника без памяти, но с теми же значениями вероятностей передачи символов.

Решение

Прежде всего найдем безусловные вероятности передачи символов из соотношения

Тогда

Энтропия источника

Избыточность источника

Для источника без памяти при тех же безусловных вероятностях передачи символов

Задача 4

Передается текст из 6-ти букв, составленный из алфавита из 3-х букв – «а б о».

Задана взаимная вероятность появления символов

Вычислить

вероятности появления букв в передаваемом тексте, энтропию источника , условные вероятности , частную условную энтропию при фиксированном , условную энтропию .

Решение

Вычисляем безусловные вероятности состояний каждого ансамбля как суммы совместных вероятностей по строкам и столбцам этой матрицы:

Определим энтропии

Определяем условные вероятности

Условная энтропия при фиксированном

Определим условную энтропию

Задача 5

Передается текст, состоящий из алфавита «а б д к р прбел» с вероятностями


а
б
д
к
р
пробел
Всего букв в алфавите

Рассчитать собственную информацию сообщения , энтропию сообщения , максимальную энтропию сообщения и избыточность источника .

Решение


а
б
д
к
р
пробел

Энтропия сообщения

Максимальная энтропия сообщения

Избыточность источника

Задача 6

Передается текст, состоящий из алфавита «а б д к р пробел» с условными вероятностями их появления после буквы «а» и после буквы «б»


а
б
д
к
р
пробел

Рассчитать условную собственную информацию сообщения , условную энтропию при фиксированном , условную энтропию ансамбля при фиксированном ансамбле , максимальную условную энтропию и избыточность источника .

При этом безусловные вероятности


а
б
д
к
р
пробел
Всего букв в алфавите

Решение

Рассчитаем условную информацию


а	0	=2
б	=2	0
д	=4	0
к	0	0
р	0	0
пробел	=4	0

Рассчитаем условную энтропию при фиксированном

Рассчитаем условную энтропию ансамбля при ансамбле

Для этого необходимо найти переходные вероятности

Сравним с энтропией источника

Задача 7

Стационарный источник выдает за время с двоичными посылками длительности мс бит информации. За какое время и каким количеством двоичных посылок можно передать тот же объем информации, если соответствующей обработкой полностью устранить избыточность источника.