3.2. Мера ценности информации в.Корогодина

Еще одной мерой ценности информации является выражение, предложенное В.И. Корогодиным⁹

(3.3)

3.3. Ценность количества информации

Примером теории третьего направления («ценности количества инфор­мации») является элемент теории, предложенной А.В.Шилейко, В.Ф.Коч­невым и Ф.Ф.Химушиным [36].

Пусть имеется некоторая система S. Будем считать, что в процессе своего функционирования (жизнедеятельности) система S может принимать ряд состояний: y_i ; i 1,…,n, y_i  Y, где Y - множество состояний системы S.

Пусть каждому состоянию y_i соответствует некоторая величина g(y_i)= g_i, которую назовем ценой (или ценностью) состояния у_i.

Введем математическое ожидание ценности состояния

где p_i – вероятность, с которой система S находится в со­стоянии у_i. Величина – средняя цена, приходящаяся на одно состояние из множества Y.

Очевидно, что, с одной сто­роны, каждому конкретному виду распределения вероят­ностей Р(у) соответствует значение . С другой стороны, каждому конкретному значению отвечает, вообще говоря, бесконечное число различных распределений Р (у).

Предположим, что рассматриваемая система S определен­ным образом взаимодействует с внешней средой. Подобное взаимодействие, в частности, сопровождается обменом ин­формации между средой и системой и влечет из­менение распределения вероятностей, а следовательно энтропии системы и появления некоторого количества информации.

Пусть изменение энтропии в результате еди­ничного взаимодействия системы со средой имеет вид

дН = (Н" — Н') ,

где  – постоянная и ; ,

где распределение вероятностей Р’(у) преобразовалось в Р” (у). Согласно ска­занному изменение распределения Р(у) влечет также изме­нение .

Итак, процесс взаимодействия со средой сводится к сле­дующему.

1. Обмен информацией, сопровождающий взаимодейст­вие системы со средой, приводит к изменению энтропии си­стемы на величину дН.

2. Изменение энтропии означает, что в результате вза­имодействия распределение вероятностей Р’(у) заменяется распределением вероятностей Р”(у).

3. Изменение распределения вероятностей в свою оче­редь влечет за собой изменение средней ценности на ве­личину d = ” - ’.

Таким образом, задача определения ценности информа­ции сводится к задаче определения зависимости между d и дН, т.е. Н” — Н ’.

В общем случае эта зависимость имеет вид

,

т.е. если в результате взаимодействия со средой произошло изменение энтропии системы S, то ценность полученной системой информации определяется выражением

.

Вопрос 4. Классификация мер количества информации

Изученные меры неопределенности, безусловно, не исчерпывают всего множества известных мер неопределенностей.

Проведем классификацию мер неопределенности:

комбинаторные меры. К ним относится рассмотренная в п. 2.2.2. мера Р.Хартли, а также мера Ю.И.Шрейдера – комбинаторная (определяемая также через логарифм) мера разнообразия общесистемного тезауруса;

вероятностно-статистические меры: К.Шеннона, С.Кульбака (неопределенности распределения вероятностей), А.Харкевича (вероятностная мера целесообразности управления);

меры сложности объектов:

алгоритмическая мера (А.Колмогорова) – мера сложности восстановления некоторого слова S из определенного алфавита по фиксированной оптимальной вычислимой функции S = f(z), равная длине самого короткого слова z, в котором содержится полное описание слова S;

мера сложности описания объекта (А. Шилейко, В. Кочнев), а также сложности вычислительного алгоритма.

В. КНЯЗЕВ

1 Тезаурус – совокупность понятий в предметной области, которой обладает получатель информации, его понятийный аппарат.

2 Рассматриваются управляющий и информационный каналы.

3 К математическим объектам – «компактам» относят, в частности, все замкнутые ограниченные подмножества евклидова пространства любой конечной размерности.

4 Математическое понятие «меры» является обобщением понятий: длины отрезка, площади плоской фигуры, объема пространственного тела, приращения неубывающей функции на отрезке или полуинтервале, интеграла от неотрицательной функции, взятого по некоторой области и т.д.

5 Модификации Шенноновской теории, позволяющие сделать это, основаны на применении апостериорного подхода.

6 Для задач связи – степень незнания на приемной стороне сос­тояния на передающей стороне.

7 Бонгарт М. М. Проблемы узнавания. – М.: Наука, 1967. – 258 с.

8 Александр Александрович Харкевич (21 января (3 февраля) 1904, Санкт-Петербург — 30 марта 1965, Москва) — советский учёный, член-корреспондент АН УССР, действительный член АН СССР, профессор, к 1951 г. — руководитель отдела технической физики киевского Института физики АН УССР.

9 Владимир Иванович Корогодин (4.01.1929 – 31.10.2005). Корогодин В.И., Корогодина В.Л. Информация как основа жизни. Дубна: Изд-во «Феникс», 2000. 208 с.