1.1.3 Энтропия дискретного сообщения

Для определения меры неопределенности дискретного сообщения введем понятие энтропии, которое характеризует среднее количество информации, содержащееся в одном сообщении:

(1.11)

Мера информации (1.11) обладает двумя важными свойствами [1]:

1. H(X)0 - ограниченность снизу.

(по правилу Лопиталя).

2. Энтропия ограничена сверху.

Задача:Определить энтропию двоичного дискретного источника Х, заданного матрицей

P[0,1].

.

Пусть P=0.5; 1-p=0.5, тогда

Зависимость H(X) приведена на рис. 1.3.

Рис.1.3Зависимость энтропии от p

1.1.4 Условная энтропия дискретных сообщений

Рассмотрим процесс передачи сообщений от источника Хпо системе передачиР(рис.1.1).

В соответствии с условием 3, введенным в разделе 1.1.2 (см. выр.(1.10), имеем:

.

В этом выражении - количество информации, поступающее на входР.Частная взаимная информацияхарактеризует оставшееся количество информации при прохождении сообщения через системуР. Отсюдаопределяет величину информации, теряемую в системеР, приводит к введению понятия условной энтропии вида:

(1.12)

Выражение (1.12) характеризует среднее количество информации, теряющейся в системе Рпри передаче одного сообщения источникаХ.

Условная энтропия обладает следующими свойствами:

1. . Положительная величина как математическое ожидание положительной величины.

2. Ограниченность “сверху”:

Пример. j=1,2. H(X/Y)=? H(X/Y)=-

1.1.5 Энтропия объединенного сообщения

Необходимость определения энтропии объединенного источника может встретиться в задачах двух видов. К первому виду задач относится задача определения среднего количества информации, содержащейся в некоторой последовательности дискретных сообщений. Ко второму виду относится задача, заключающаяся в определении суммарного количества информации, поступающей от совокупности (параллельной) дискретных источников за фиксированный момент времени.

Энтропию объединенного источника определим на примере двух дискретных источников сообщений XиY:

. (1.13)

Эта мера имеет три свойства:

1. Ограниченность ”снизу” -

2. Аддитивность - H(XY)=H(X)+H(Y/X)=H(Y)+H(X/Y)для статистически зависимых источников.

3. Ограниченность “сверху” H(XY)H(X)+H(Y)(“=” - для статистически независимых источников).

1.1.6 Средняя взаимная информация дискретных источников сообщений

Среднее количество информации, содержащейся в одном сообщении источника Yотносительно сообщения источникаХ

(1.14)

называется средней взаимной информацией дискретных источников ХиY.

Свойства средней взаимной информации:

1. Симметричность - I(X;Y)=I(Y;X).

2. Положительность -I(X;Y)0.

3. I(X;Y) может быть выражена через энтропийные характеристики –

.

4. Ограниченность “сверху”:

при “=” канал (рис.1.1) не вносит искажений.

5. Аддитивность - I(X;YZ)=I(X;Y)+I(X;Z/Y).

Связь между I(X;Y)и ранее введенными энтропийными характеристиками может быть наглядно представлена в виде диаграммы Венна (рис.1.4).

Рис.1.4Диаграмма Венна