Задачи для самостоятельной работы

Задача 8.1. Определите энтропию русского алфавита: а) в случае равновероятного распределения букв, б) по таблице 1.1. Возьмите текст любой книги (1-2 страницы). Определите вероятности появления букв в том тексте и вычислите энтропию. Сравните её с предыдущими и объясните причину появления разницы. Составьте MatLab – программу вычисления энтропии в этих случаях. Сделайте выводы.

Задача 8.2. Из 100 обследованных пациентов 5 имели болезнь А. Система диагностики заболевания обнаружила признаки болезни А у 25 пациентов. Какова эффективность системы диагностики?

9. Оценка информационных характеристик дискретных источников

9.1. Условные и безусловные вероятности появления символов в виде стохастического вектора и матрицы дискретного источника

Процедуру вычисления условных и безусловных вероятностей при обработке статистических данных дискретного источника с памятью поясним на примере появления двух символов X и Y.

Обозначим:

N(X\X) – условная частота появления символа X (хотели получить символ X и получили);

N(Y\Y) – условная частота появления символа Y (хотели получить символ Y и получили);

N(Y\X) – условная частота появления символа Y (хотели получить символ Y, а получили X);

N(X\Y) – условная вероятность появления символа X (хотели получить символ Y, а получили Х).

Тогда безусловная частота появления символа Х

, (9.1)

где – количество раз, когда выпал символ X независимо от того, какой символ мы хотели получить; N – общее количество полученных символов.

Представление в виде стохастического вектора для двух символов X и Y имеет вид

[p(X); p(Y)].

Условные частоты появления символа Х определяются формулой:

(9.2)

Переходная матрица условных частот появления:

(9.3)

Пример 9.1. Исследуется дискретный постоянный источник сообщений с памятью.

Нужно выполнить следующее:

1. Снять статистические данные о количестве символов, вырабатываемых источником.

2. Вычислить частоты появления символов на выходе источника (безусловные и условные). Результаты представить в виде стохастического вектора и стохастической матрицы.

3. Выяснить, является ли источник марковским.

Снятые статистические данные источника

Решение. Определяем:

1) общее число переданных сообщений

.

2) частоты появления символов A, C, D

Стохастический вектор:

[p(A); p(C); p(D)]=[0,136;0,326;0,538].

3). Условные частоты появления символов A, C, D

Стохастическая матрица:

Суммы переходных вероятностей по строкам стохастической матрицы равны единице. Поэтому постоянный источник с паматью является марковским.

9.2. Информационные характеристики дискретного источника

К основным характеристикам дискретного источника относятся: энтропия, производительность (поток) информации и избыточность.

Энтропия дискретного источника определяет среднее количество информации, приходящееся на одно сообщение. Если сообщения независимы, то используется формула (8.1), в которой – вероятность появления i-го символа.

Энтропия является основной характеристикой источника сообщений. Чем больше энтропия источника, тем больше в среднем степень неожиданности передаваемых им сообщений, т.е. более неопределенным (до передачи сообщения) является ожидаемое сообщение. После приема сообщения (если оно принимается верно) всякая неопределенность снимается. Чем выше энтропия, тем труднее запомнить (записать) сообщение или передать его по каналу связи.

С понятием «энтропия» тесно связаны такие характеристики источника сообщений как его производительность и информационная избыточность .

Производительностью источника информации называется среднее количество информации, выдаваемой источником в единицу времени:

(9.4)

где – средняя длительность символа источника; – длительность i-го символа, n – число различных источников, – частота посылки символов (скорость источника).

Избыточность источника R_и зависит как от протяженности статистических связей между последовательно выбираемыми символами (паматью источника), так и от степени неравновероятности отдельных символов. Из-за корреляционных связей между символами и неравновероятностного их появления в реальных сообщениях, количество информации, переносимое одним символом, падает. Количественно эти потери информации характеризуют коэффициентом избыточности r_и:

(9.5)

где – максимальное количество информации, переносимое одним символом, когда символы независимы и равновероятны; – количество информации, переносимое одним символом в реальных условиях.

Избыточность измеряется от 0 до 1. Ее численное значение показывает, на какую часть можно сократить объем сообщений без потери информации за счет более рационального использования символов источника. Например, если r_и=0,4; то это означает, что после устранения избыточности объем сообщения уменьшится на 40%.

Чем меньше избыточность, тем рациональнее работает источник. Однако на практике не всегда следует стремиться к уменьшению избыточности до нуля. Некоторая избыточность бывает полезной для повышения достоверности при передаче сообщений в условиях помех. С этой целью при кодировании сообщений в кодовую последовательность специально вводят избыточные символы.

Пример 9.2. Средняя длительность символа источника равна 0,22 с.

Определить информационные (интегральные) характеристики дискретного источника сообщений из примера 9.1, количество информации в символах.

Решение. Основными характеристиками дискретного марковского источника являются энтропия, производительность и избыточность. Вычислим эти характеристики ( ).

1).Условные энтропии появления символов A, C, D:

Энтропия марковского источника:

2). Производительность

3). Избыточность

Количество информации в символах A, C, D – это мера снятия неопределенности (устранения разнообразия):

Пример 9.3. Алфавит источника состоит из букв х₁ и x₂, вероятности и длительности которых равны p( =0,75, p(x₂)=0,25; (x₁)=4 мс, =8 мс. Статистические связи между буквами отсутствуют. Определите энтропию источника, его производительность и избыточность.

Решение. Так как буквы независимы, то энтропия, средняя длина символа источника, производительность и избыточность соответственно равны