4. Вероятность и энтропия. Свойства энтропии

При статистическом (вероятностном) подходе информация рассматривается как мера вероятности появления соответствующего сообщения. Пусть общее число всех возможных исходов равно N, из которых К не повторяются. Тогда вероятность какого-то i-того события.

, .

среднее количество информации при проведении одного опыта

(2) – формула Шеннона, - энтропия.

1. Энтропия измеряется в тех же единицах, что и количество информации (бит, нит, дит).

Знак “-” в формуле (2) означает, что энтропия всегда не отрицательна, т.е. .

2. Энтропия достигает максимума, если все события равновероятны.

3. Н=0, если вероятность одного из i-ых событий равна 1.

Т. о., энтропия является мерой неопределенности в поведении источника сообщений и характеризует способность этого источника выдавать информацию.

При увеличении числа возможных состояний системы энтропия увеличивается.

В общем случае, можно считать, что количество информации характеризует уменьшение энтропии в результате процесса познания.

Если неопределенность снимается полностью, то количество энтропии равно количеству информации, выданной источником.

В случае неполного разрешения ситуации, количество информации определяется разностью между начальным и конечным значением энтропии:

,

т.е. количество информации будет определяться разностью между начальным и конечным значением энтропии.

Реальные события, а также символы в реальных соотношениях не являются взаимно независимыми и равновероятными. Поэтому количество информации, которое реально переносит каждый отдельный символ, будет меньше максимального, теоретически возможного значения.

Потери количества информации характеризуется коэффициентом избыточности:

, .

Для каналов передачи информации используют характеристику, называемую скоростью передачи информации по каналам, она равна среднему количеству информации, которая может быть передана по каналу связи в единицу времени.

Среднее количество информации, выдаваемое источником сообщения в единицу времени, называется производительностью источника.

Максимальная скорость передачи информации по каналу, называется пропускной способностью канала.

5. Единицы измерения энтропии. Их физический смысл

При статистическом (вероятностном) подходе информация рассматривается как мера вероятности появления соответствующего сообщения. Пусть общее число всех возможных исходов равно N, из которых К не повторяются. Тогда вероятность какого-то i-того события.

, .

Хартли предложил оценивать количество информации:

.

Каждая реализация этого события несет некоторое количество информации ,

(1) - формула Хартли.

среднее количество информации при проведении одного опыта

(2) – формула Шеннона. - энтропия.

Энтропия измеряется в тех же единицах, что и количество информации (бит, нит, дит).

Знак “-” в формуле (2) означает, что энтропия всегда не отрицательна, т.е. .

По формуле Хартли:

а= 10,

е=2,72,

2,

Т. о., энтропия является мерой неопределенности в поведении источника сообщений и характеризует способность этого источника выдавать информацию.

При увеличении числа возможных состояний системы энтропия увеличивается.

В общем случае, можно считать, что количество информации характеризует уменьшение энтропии в результате процесса познания.