1.1 Дискретный источник

1.1.1 Определение меры оценки количества информации

Рассмотрим источник алфавита Х, выдающий последовательность сообщений x_iX, i=1,2,...,N.

Если источник производит выбор одного элементарного сообщения x_iиз множества сообщений алфавита Х, то выдаваемое им количество информации зависит от степени неожиданности, неопределенности появления сообщения x_iпри выборе. Если выбираемый элемент сообщения заранее известен получателю, то естественно полагать, что заключающаяся в нем информация равна нулю. При этом степень неожиданности выбора будет различной для разных выбираемых элементов. Поэтому каждому выбираемому элементу можно сопоставить вероятность его появления p(x_i).

Такой источник можно описать матрицей (1.1), где первая строка содержит последовательность всех элементов источника Х, а вторая - вероятности их появления.

X=. (1.1)

Естественно связать количество информации I(x_i), содержащееся в сообщении x_i, с вероятностью p(x_i) появления этого сообщения, т.е.

. (1.2)

Для получения количественной оценки информации примем три естественных аксиоматических условия:

1. Условие положительности.

I(x_i)0,

при этом для всех p(x_i)1;

для всех p(x_i)=1.

2. Условие монотонности.

I(x_i)>I(x_k) для всех p(x_i)<p(x_k).

3. Условие аддитивности.

. (1.3)

С учетом этих условий для случая равновероятности всех сообщений в 1928 г. ученый Р. Хартли предположил следующую меру в качестве оценки количества информации, содержащейся в сообщении x_i:

. (1.4)

Основание логарифма определяет масштаб и принципиального значения не имеет. Обычно а=2, и в качестве единицы количества информации принимают один бит(от англ. binary digit - двоичная единица).

Мера (1.4) не нашла широкого применения, так как рассчитана на слишком грубую модель источника информации, когда все сообщения равновероятны.

Для учета неравновероятности сообщений вводятся еще дополнительные требования.

4. Условие непрерывности.

I(x_i) должна быть непрерывной функцией вероятности p(x_i) с соблюдением условия

5. I(x) должна зависеть только от функции распределения вероятностей сообщений и не зависеть от конкретных значений вероятности отдельного сообщения.

6. I(x) не должна зависеть от пути выбора состояний в ансамбле. Этим требованиям удовлетворяет мера, предложенная Шенноном.

. (1.5)

. (1.6)

По выражению (1.5) определяется собственное количество информации, содержащееся в одном сообщении x_i дискретного источника Х.

По выражению (1.6) определяется среднееколичество информации, содержащееся в источнике Х. Эта мера чаще называется энтропией источника Х.

Мера Шеннона является обобщением меры Хартли. На самом деле, при равновероятности всех сообщений источника можно записать:

1.1.2 Частная взаимная информация дискретных источников сообщений

Рассмотрим [1] схему прохождения сообщений x_iот источника Х через дискретную системуP(рис. 1.1), которую будем называть дискретным каналом.

Рис.1.1Передача сообщений по дискретному каналу

Пусть дискретные сообщения источника Х заданы матрицей (1.1)

,

а дискретный канал Р задан матрицей переходных вероятностей вида:

, (1.7)

строки которой удовлетворяют условию полноты

k=. (1.8)

Апостериорные вероятности P(x_k/y_j) входных сообщений x_kпо результатам наблюдения выходных сообщений y_jопределяются поформулам Байеса

. (1.9)

Поставим задачу определения собственного количества информации, содержащейся в некотором выходном сообщении y_jотносительно одного из выходных сообщений x_k. Такая постановка задачи приводит к понятиючастной взаимной информации дискретных источников сообщений, которое может являться информационной характеристикой оценки качества передачи информации по системе Р.

Для определения меры частной взаимоинформации Шенноном приняты следующие условия:

1. I(x_k;y_j) - частная взаимная информация.

I(x_k;y_j)=0 для всех k, j, при которых множество дискретных сообщений x_kи y_jстатистически независимы.

2. I(x_k;y_j)=I(x_k), еслиY=F(X), где I(x_k) - собственное количество информации, содержащееся в сообщении x_k, поступающее на вход системы Р.

3. I(x_k;y_j) ==(1.10)

В выражении (1.10)

Для частной взаимной информации, определяемой по формуле (1.10), должны выполняться следующие требования:

1. Симметричность.

.

2. Ограниченность “сверху”.

(следует из монотонности функции log в выражении (1.10).

3. Аддитивность.

Рис.1.2К определению условия аддитивности