Экзаменационный билет №11

1. Количественное измерение информации. Энтропия дискретного источника и ее свойства. Энтропия двоичного источника.

Ряд задач теории информации относится к определению объема запоминающих устройств, предназначенных для хранения информации. Для решения таких задач нужно научиться измерять количественно объем информации, пропускную способность линии связи и их чувствительность к помехам. Т.О., теория информации представляет собой математическую теорию, посвященную измерению количества информации, преобразованию информации, передаче информации по линиям связи, изучению методов построения различных кодов, и пр.

Энтропия дискретного источника и ее свойства.

На практике встречаются системы, состояния которых непрерывно переходят одно в другое. Для таких систем распределение вероятностей характеризуется плотностью. Такие системы будем называть непрерывными системами.

Рассмотрим систему X, определяемую непрерывной случайной величиной X с плотностью распределения f(x).

Установим некоторый отрезок ∆x, в пределах которого состояния системы X будем считать неразличимыми, т.е. сведем непрерывную систему к дискретной. Это равносильно замене непрерывной кривой на ступенчатую. При этом каждый участок ∆x заменяется одной точкой-представителем xi .

Определим приближенно энтропию системы X рассматриваемой с точностью до дельта x

Свойства:

1) Энтропия — неотрицательное вещественное число. Н(A) ≥ 0 Прямое следствие того, что 0≤ pi≤ 1,i=1,...,N и свойств функции .

2) Энтропия равна 0, если с вероятностью, равной единице, всегда выбирается один и тот же символ.

3) Энтропия максимальна, если все символы источника сообщений появляются независимо и равновероятно.

; H - энтропия, p(a) вероятность символа.

4) Энтропия аддитивна (энтропия нескольких независимых источников равна сумме энтропий этих источников)

Энтропия двоичного источника.

Случай независимых равновероятных символов

Вероятности: P(a1)=P(a2)=P=0.5 , условные вероятности равны нулю. Энтропия такого источника максимальна:

Hmax=-0.5 * log(0.5)- 0.5 * log(0.5) = log(2) = 1 бит/символ

Таким образом, 1 бит - это максимальное среднее (ANAL) - количество информации, которое может переносить один символ источника двоичных сообщений.

Случай независимых неравновероятных символов

Вероятности: P(a1)=P ; P(a2)=1-P условные вероятности равны нулю. Энтропия такого источника равна: H(P)=-P * log(P) - (1-P) * log(1-P)

Эта зависимость показана ниже на рисунке. Максимум энтропии достигается при P=0.5. Поскольку H(p)< Hmax при P!=0.5, то производительность такого источника меньше максимальной.

Рис. Энтропия двоичного источника сообщений с неравновероятными символами

Случай коррелированных равновероятных символов

Вероятности: P(a1)=P(a2)=P=0.5 , условные вероятности равны отличны от нуля:

Условная энтропия с учетом соотношения

равна:

Где где - условная вероятность появления символа после символа

Например, если , то

При некоррелированных равновероятных символах двоичного источника энтропия равна 1 бит/симв. Следовательно, наличие статистических связей между символами приводит к уменьшению энтропии и увеличению избыточности источника.