49

Вопрос 1 - Измерение информации

В установлении количества информации используется структурные, статистические и семантические меры.

Структурные меры – рассматривают дискретное строение массивов информации и их измерение простым подсчетом информационных элементов. Меры применяется для оценки возможностей аппаратуры (канала связи, ЗУ, устройств отображения) вне зависимости от условий применения.

Различают геометрическую, комбинаторную и аддитивную меру Хартли. Определение количества информации геометрической мерой сводится к измерению длины линии, площади или объема геометрической модели данного информационного комплекса в количестве дискретных единиц. Геометрическим методом определяется потенциальное (максимально-возможное) количество информации в заданных структурных габаритах. Кол-во информации в комбинированной мере вычисляется как количество комбинаций элементов, т.е. оценки подвергается комбинаторное свойство потенциального структурного разнообразия информационных комплексов. Для подсчета используются формулы комбинаторики. Формулы комбинаторики неудобны из-за больших получаемых величин. Вот почему Хартли ввел аддитивную логарифмическую двоичную меру, позволяющую измерять информацию в битах. I=l*log₂h , где l- длина числа (т.е. количество разрядов) h – основание системы счисления.

байт=8 инф. бит + 1 проверка на чет.

байт=8 инф. бит

байт=7 инф. бит + 1 контр. (ASCII – изначально 7 –разрядный)

октет =8 бит идущих подряд

Статистическая мера измерения информации.

Статическая мера оперирует понятием энтропии как мерой неопределенности, учитывая вероятность появления, а, следовательно, и информативность тех или иных сообщений.

При данном подходе информация рассматривается как сообщение об исходе случайных событий, а кол-во информации ставится в зависимость от априорных (до опытных) вероятностей этих событий. Когда приходит сообщение о часто встречающемся событии вероятность появления которого  1, то такое сообщение мало информативно. Если же наступило событие вероятность которого мала, то сообщение об этом считается информативным.

Неопределенность ситуации – энтропия. (Н)

p_i – вероятность появления i-го сообщения, k- число событий

Некоторые свойства энтропии:

1. Энтропия всегда неотрицательна;

2. Энтропия = 0 в том случае, когда вероятность одного события = 1, а остальных = 0;

3. Энтропия достигает максимального значения при Pi=1/K;

Количество информации о некотором объекте = разности априорной и апостприорной энтропий объекта: I=H₁-H₂

Статическая мера информации совпадает с мерой Хартли при следующих условиях:

Хартли: I=log₂h Шеннон: I=log₂k

Если l =1, а все элементы алфавита равновероятны, то I_ш= I_х . совпадение количества информации по Шеннону и по Хартли говорит о полном использовании потенциальной информационной емкости. В случае неравновероятности событий количество информации по Шеннону меньше количества информации по Хартли.

Семантические меры информации.

Под семантикой понимается смысл, содержание информации.

В качестве семантических мер используется такие меры как содержательность информации, целесообразность, динамическая энтропия и тезаурус.

Целесообразность информации. Если информация используется в системах управления, то ее полезность можно оценивать по тому эффекту, который она оказывает на результат управления.

А.А. Харкевич предложил меру целесообразности информации, которая определяется как изменение вероятности достижения цели при получении дополнительной информации.

где р2 – вероятность достижения после получения информации, р1 – вероятность достижения до получения информации.