1.3. Семантические меры информации

Семантика⁴ отражает смысл сообщения. Семантические меры количества информации ближе к человеческому представлению об информации. Они отражают смысл, полезность, целесообразность, содержательность и другие стороны информации. Общим же недостатком семантических мер является слабость математического обоснования, трудность в определении исходных данных и вследствие этого малая распространенность.

1.3.1. Содержательность информации

Мера содержательности⁵ обозначается cont (от английского Content ─ содержание).

Содержательность события I выражается через функцию меры содержательности его отрицания:

Cont(I) = M(~I) = 1-M(I),

где I – рассматриваемое событие, M – функция меры содержательности, ~ – знак отрицания.

Функция меры содержательности события M(I) и функция меры содержательности антисобытия M(~I) (его отсутствия) определяются в терминах математической логики и имеют формальное сходство с вероятностью. Так M(I) + M(~I) =1, что аналогично свойству вероятности P(I)+P(~I)=1.

Как и вероятность, содержательность находится в интервале от 0 до 1:

0<=M(I)<=1 .

Количество информации согласно данной семантической мере называется логической оценкой или логической информацией. Она обозначается Inf и рассчитывается с помощью следующей зависимости:

.

Отличие статистической меры от логической состоит в том, что в первом случае учитывается вероятность реализации тех или иных событий, а во втором – меры их содержательности, что в некоторых случаях более удобно.

Из формулы логической оценки следует что с уменьшением содержательности до 0 количество логической информации также падает до 0. С ростом же содержательности до 1 количество логической информации стремится к бесконечности.

1.3.2. Целесообразность информации

Если информация используется в системах управления, то ее полезность разумно оценивать по тому эффекту, который она оказывает на результат управления. В связи с этим в 1960 г. советским ученым А.А. Харкевичем⁶ была предложена мера целесообразности информации, которая определяется как изменение вероятности достижения цели управления при получении дополнительной информации.

Полученная информация может быть пустой, т.е. не изменять вероятности достижения цели, и в этом случае ее мера равна 0.

В некоторых других случаях она может уменьшить вероятность достижения цели. В этом случае имеет место дезинформация, которая измеряется отрицательным количеством полученной информации.

Полученная информация может увеличить вероятность достижения цели. В этом случае количество полученной информации положительно.

Все эти случаи описываются эвристически полученной А.А. Харкевичем формулой меры целесообразности:

,

где P_н и P_к – начальная (до получения информации) и конечная (после получения информации) вероятности достижения цели.

1.3.3. Динамическая энтропия

Здесь энтропия рассматривается как функция времени. При этом преследуется цель – избавиться от неопределенности, т.е. добиться положения, когда энтропия равна 0. Такая ситуация характерна для задач распознавания образов, диагноза болезней, расследования преступлений и т.п.

Количество информации в этом случае рассчитывается как разность энтропии в предыдущий момент времени (до получения новых сведений в результате действий, выполняющихся с целью уменьшения неопределенности) и энтропии в последующий момент времени, т.е. информация характеризует динамику изменения энтропии во времени.

Обычно во всех вышеперечисленных задачах существует 2 набора объектов – возможные причины и возможные следствия. Связи между ними характеризуются набором взаимных или условных вероятностей P_ij(t).

Здесь существует зависимость этих вероятностей от времени. Энтропия , где n(t) и m(t) – меняющиеся количества причин и следствий.

В процессе расследования преступления, действий по распознаванию образов и т.п. изменяются вероятности P_ij, а также количество причин и следствий n(t) и m(t) (рис.1.2).

Рис. 1.2. Изменение энтропии во времени.

Новая энтропия: .

Количество полученной при этом информации: .

По сути дела определение количества информации через динамическую энтропию не противоречит шенноновскому определению количества информации. Отличие заключается в специфике области применения и в следующих из этого выводах. Шенноновская теория развита с ориентацией на задачи связи при постоянных статистических характеристиках.