Адекватность информации

Адекватность информации – это определенный уровень соот­ветствия образа, создаваемого при помощи информации, реальному объекту.

Формы адекватности информации:

• Синтаксическая адекватность отображает формально-струк­турные характеристики и не затрагивает смыслового содержания (способ представления, скорость передачи и обработки и т.д.).

• Семантическая адекватность определяет степень соответствия образа объекта самому объекту.

• Прагматическая адекватность отражает ценность, полезность использования информации для принятия решений.

Измерение информации

В рамках курса рассматриваются 2 подхода к измерению ин­формации: определение К. Шеннона, применяемое в математи­ческой теории информации, и определение А. Н. Колмогорова, применяемое в отраслях информатики, связанных с использова­нием компьютеров (computer science).

Согласно К. Шеннону (содержательный подход), информа­тивность сообщения характеризуется содержащейся в нем полезной информацией.

Согласно А. Н. Колмогорову (алфавитный подход), информа­тивность последовательности символов не зависит от содержания сообщения, а определяется минимально необходимым количеством символов для ее кодирования.

Мерами информации являются объем данных и количество информации I. Беда в том, что эти параметры имеют разные выражения и интерпретацию в зависимости от рассматриваемой формы адекватности.

• С точки зрения синтаксической адекватности объем данных равен количеству символов, бит, слов, строк, Кбайт и т.д. Коли­чество информации I определяется через понятие энтропии. Пусть существует система α. До получения информации потребитель что-то знал об этой системе. Энтропия Н(α) – это мера недостающей информации. Количество информации о системе α, получен­ной в сообщении β, равно уменьшению неопределенности, непол­ноты знаний об этой системе или разности энтропий до и после по­лучения сообщения: .

• С точки зрения семантической адекватности для измерения ин­формации используется понятие тезауруса пользователя и коэф­фициента содержательности информации. Тезаурус – совокуп­ность сведений, которыми располагает пользователь, или способ­ность пользователя воспринимать полученную ин­формацию. Если , то и , т.к. пользователь не воспри­нимает ин­формацию, не понимая ее. Если , то , потому что пользователь все знает и не узнает ничего нового. Естественно, существует некое оптимальное, при котором максимально количество информации.

Относительная мера количества информации с точки зрения семантической адекватности – коэффициент содержательности , то есть количество информации .

• С точки зрения прагматической адекватности количество информации равно количеству денег, сэкономленного времени и т.п., полученных в результате использования информации.

Единицы измерения информации

За единицу измерения количества информации принимается такое количество информации, которое содержится в сообщении, уменьшающем неопределенность знания в 2 раза¹. Такая единица называется бит (bit – сокращение от англий­ских слов binary digit, что означает «двоичная цифра»). В компьютерной технике бит со­ответствует физическому состоянию носителя информации: намаг­ничено – не намагничено, есть ток – нет тока, 0 – 1, истина – ложь. Последовательностью битов можно закодировать текст, изображе­ние, звук или какую-либо другую информацию. Такой метод пред­став­ления информации называется двоичным кодированием (binary encoding).

В информатике часто используется величина, называемая байтом (byte) и равная 8 битам. И если бит позволяет выбрать один вариант из двух возможных, то байт – один из 256 (2⁸). Итак, 1 байт = 8 бит; 1 Кбайт = 2¹⁰ байт = 1024 байта;

1 Мбайт = 2¹⁰ Кбайт и т.д.

Рассмотрим, как подсчитать количество информации в сооб­щении, используя содержательный подход. Количество информа­ции x, необходимое для устранения неопределен­ности из N равно­значных вариантов рассчитывается по фор­муле Хартли:

x=log₂N.

Действительно, если есть N равновероятных исходов, и если 1 бит информации уменьшает неполноту знания вдвое, то получение 1 бита информации определяет еще не сам искомый вариант, а ту по­ловину всех возможных исходов, которой он принадлежит. Второй полученный бит определит половину от половины (т.е. ), третий – половину от четверти (т.е. ) и т.д. И вот x-й бит, выде­ливший вариантов, указал на один конкретный вариант из N возможных, т.е. выделил часть, размером . Значит, , тогда 2^x = N, а решением этого уравнения относительно x является x=log₂N.

При алфавитном подходе, если допустить, что все символы алфавита встречаются в тексте с одинаковой частотой (равноверо­ятно), то количество информации x, которое несет каждый символ (информационный вес одного символа), вычисляется по формуле: x=log₂N, где N – мощность алфавита (полное количество символов алфавита). В алфавите, который состоит из двух (2¹) символов (двоичное кодирование), каждый символ несет 1 бит информации. Один символ из алфавита мощностью 256 (2⁸) несет в тексте 8 би­тов (1 байт) информации¹. Если весь текст состоит из K символов, то при алфавитном подходе размер содержащейся в нем информа­ции I определяется по формуле:

I = K*x,

где x – информационный вес одного символа в алфавите.

При вероятностном подходе количественная зависимость ме­жду вероятностью события р и количеством информации в сооб­щении о нем x выражается формулой Шеннона:

x=log₂ (1/p).

Чем меньше вероятность некоторого события, тем больше информации содержит сообщение об этом событии. Если же события равновероятны, т.е. p=1/N, формула Шеннона превращается в формулу Хартли.