2.2. Свойства количества информации

1. Количество информации в сообщении обратно - пропорционально вероятности появления данного сообщения.

2. Свойство аддитивности - суммарное количество информации двух источников равно сумме информации источников.

3. Для события с одним исходом количество информации равно нулю.

4. Количество информации в дискретном сообщении растет в зависимости от увеличения объема алфавита -m.

Пример 1. Определить количество информации в сообщении из 8 двоичных символов (n = 8, m = 2), если вероятности равны: p_i0 = p_i1 = 1/2.

Количество информации равно:

I = n log m = 8 log₂ 2 = 8 бит.

Пример 2. Определить количество информации в сообщении из 8 двоичных символов (n = 8, m = 2), если вероятности равны:

p_i0 = 3/4; p_i1 = 1/4.

Количество информации равно:

2.3. Энтропия информации

Энтропия - содержательность, мера неопределенности информации.

Энтропия - математическое ожидание H(x) случайной величины I(x) определенной на ансамбле {Х, р(х)}, т. е. она характеризует среднее значение количества информации, приходящееся на один символ.

.

H(x_i)

H_max

1

0 0,5 1,0 P(x_i)

Найдем энтропию системы двух альтернативных событий с вероятностями p₁ и p₂. Энтропия равна

При m = 2 для равновероятных событий p_i = 1/2 энтропия равна 1. Изменение энтропии в зависимость от вероятности события приведено на рис. 5.2. Как видно, максимум энтропии соответствует равновероятным событиям.

Рис.

5.2. График энтропии для двух альтернативных событий

2.4. Свойства энтропии сообщений

1. Энтропия есть величина вещественная, ограниченная, не отрицательная, непрерывная на интервале 0  p  1.

не может быть положительным, а - отрицательным.

2. Энтропия максимальна для равновероятных событий.

3. Энтропия для детерминированных событий равна нулю.

4. Энтропия системы двух альтернативных событий изменяется от 0 до 1.

5. Энтропия численно совпадает со средним количеством информации, но понятия принципиально различны, так как :

H(x) - выражает среднюю неопределенность состояния источника и является его объективной характеристикой, она может быть вычислена априорно, т. е. до получения сообщения при наличии статистики сообщений.

I(x)- определяется апостериорно, т. е. после получения сообщения. С получением информации о состоянии системы энтропия снижается.

6. Сравнительно маловероятные исходы часто без большой ошибки можно опустить.

Энтропия сложных событий Условная энтропия.

Пусть и - два независимых опыта.

Очевидно, что неопределенность опыта больше неопределенности каждого из опытов и , т.к. здесь осуществляется сразу оба опыта, каждый из которых может иметь разные исходы.

Правило сложения энтропии.

(*) док-во на стр. 88-89

Предположим, что опыты и не независимы (например, последовательное извлечение шаров из ящика). В данном случае мы не можем ожидать, что выполнится (*), т.к. в случае когда результат второго опыта полностью определяется исходом первого (условная вероятностья0. Тогда имеем, что

док-во на стр. 90-91

- условная энтропия.

Об условной энтропии говорят, когда с приходом одного символа распределение вероятности последующих символов меняется.

Очень существенно, что во всех случаях условная энтропия заключается в пределах

где - безусловная энтропия,

т.е. предварительное выполнение опыта может лишь уменьшить степень

неопределенности , но никак не увеличить.

Аналогично

В качестве меры неопределенности используется дифференциальный закон распределения, получивший название дифференциальная энтропия.

x - непрерывная аналоговая величина.

Свойства дифференциальной энтропии.

1. Дифференциальная энтропия является относительной мерой неопределенности. Ее значение зависит от масштаба случайной величины x, а следовательно, и от выбора единицы ее измерения. Дифференциальная энтропия может принимать положительные, отрицательные и нулевые значения.

2. Дифференциальная энтропия не зависит от конкретных значений случайной величины x и, в частности, от изменения всех ее значений на постоянные.