19. Вероятностный подход к измерению дискретной и непрерывной информации.

(http://vbvvbv.narod.ru/problemnegentropy/probability/)

Наиболее известным и широко применяемым на практике является вероятностный подход к измерению информации. На основе этого подхода разработан обширный раздел количественной теории информации, называемый также по имени его основоположника, как "теория информации Шеннона". Главной отличительной особенностью вероятностного подхода от комбинаторного является тот факт, что он основан на вероятностных допущениях относительно пребывания какой-либо системы в различных состояниях. При этом общее число элементов (микросостояний, событий) системы не учитывается. За количество информации здесь принимается снятая неопределенность выбора из множества возможностей, имеющих, в общем случае, различную вероятность.

Основополагающая роль в вероятностном подходе принадлежит энтропии множества вероятностей, формула которой была получена в 1948 году американским исследователем К. Шенноном. Предлагая для измерения количества информации свою знаменитую энтропийную меру, К. Шеннон руководствовался следующими соображениями.

"Предположим, что имеется некоторое множество возможных событий, вероятности осуществления которых суть  . Эти вероятности известны, но это – все, что нам известно относительно того, какое событие произойдет. Можно ли найти меру того, насколько велик "выбор" из такого набора событий или сколь неопределенен для нас его исход?" [25, с. 259].

Для такой меры Н выдвигается требование: она должна обладать следующими тремя свойствами.

1. Н должна быть непрерывной относительно  .

2. Если все   равны, то Н должна быть монотонно возрастающей функцией от n.

3. Если выбор распадается на два последовательных выбора, то первоначальная Н должна быть взвешенной суммой индивидуальных значений Н каждого из выборов.

Последнее свойство поясняется рисунком 3, где показаны две ситуации выбора из трех возможностей, имеющих вероятности  . В левой ситуации выбор любой возможности является однократным, а в правой ситуации в двух случаях из трех необходимо предварительно сделать соответствующий дополнительный выбор из двух равновероятных возможностей.

Рис. 3. Выбор из трех возможностей

Согласно третьему свойству в левой и правой ситуациях значения Н должны быть одинаковы, что выражается следующим образом:

,

где коэффициент 1/2 является весовым множителем, указывающим, что второй выбор выполняется только в половине случаев.

В процессе последующих исследований К. Шеннон доказал теорему: "Существует единственная функция Н, удовлетворяющая трем перечисленным выше свойствам. При этом Н имеет вид:

, ...............................................................(16)

где К – некоторая положительная постоянная" [25, с. 260].

Форма полученной функции Н проявила определенную степень подобия с термодинамической энтропией Больцмана, на основании чего и по совету Дж. Неймана Шеннон назвал функцию Н энтропией множества вероятностей, утверждая при этом, что "она является разумной количественной мерой возможности выбора или мерой количества информации" [25, с. 262].

Нетрудно видеть, что в том случае, когда все вероятности равны между собой, информационная мера Шеннона сводится к двоичному логарифму Хартли от числа возможностей:

Последнее свидетельствует о том, что во взаимоотношениях вероятностного и комбинаторного подходов соблюдается принцип соответствия, согласно которому "новая теория, претендующая на более широкую область применимости, чем старая, должна включать последнюю как предельный случай" [18, с. 1257].

Отметим, что на основании информационно-энтропийной меры (16) содержательно оформилась и единица измерения количества информации, имеющая название "бит" (термин, предложенный Тьюки [25]). Причем в математическом отношении  , а в содержательной информационно-вероятностной интерпретации, исходя из того, что при   имеет место неравенство  , 1бит представляет собой максимальную энтропию выбора из двух возможностей. Менее строгим, но более распространенным, является понимание бита, как максимального количества информации, которое можно получить при ответе на вопрос в форме "да" - "нет".