3. Меры информации.

Важный вопрос теории передачи и преобразования информации – установление меры количества и качества информации.

Информационные меры рассматриваются в трех аспектах: структурном, статистическом и семантическом.

В структурном аспекте рассматривается строение массивов информации и их измерение простым подсчетом информационных элементов или комбинаторным методом. Структурный подход применяется для оценки возможностей информационных систем вне зависимости от условий их применения.

При статистическом подходе учитывается вероятность появления того или иного сообщения. Статистический подход учитывает конкретные условия применения информационных систем.

Семантический подход позволяет выделить полезность или ценность информационного сообщения. При этом подходе осуществляется оценка содержания разнохарактерной информации.

Структурная мера информации

При использовании структурных мер информации учитывается только дискретное строение сообщения, количество содержащихся в нем информационных элементов, связей между ними.

При структурном подходе различаются:

1. Геометрическая мера - предполагает измерение параметра геометрической модели информационного сообщения (длины, площади, объема…) в дискретных единицах.

Информационная емкость модели – максимально возможное количество информации – определяется как сумма дискретных значений по всем измерениям (координатам).

2. Комбинаторная мера – количество информации определяемое как число комбинаций элементов.

3. Аддитивная мера – (мера Хартли) – количество информации измеряется в двоичных единицах – битах.

Используются понятия:

Глубина q числа – количество символов, принятых для представления информации. В каждый момент времени реализуется только один какой-либо символ.

Длина n числа – количество позиций, необходимых и достаточных для представления чисел заданной величины.

При заданных глубине и длине числа количество чисел, которые можно представить N = qⁿ.

Логарифмическая величина: I = log₂N =n log₂g (бит) - мера Хартли.

Таким образом, количество информации, которое содержит сообщение, закодированное с помощью знаковой системы, равно количеству информации, которое несет один знак, умноженному на количество знаков.

За единицу количества информации принимается такое количество информации, которое содержит сообщение, уменьшающее неопределенность в два раза. Это бит.

Статистическая мера информации.

Здесь используется вероятностный подход к определению количества информации.

Так как существует множество ситуаций, когда возможные события имеют различные варианты реализации.

Формулу для вычисления количества информации в случае разных вероятностей событий предложил в 1948 г. Клод Шеннон.

При следующих обозначениях:

N – проводилось всего опытов

k – типов исходов опытов

j – ый исход

n_j – число повторений j – ого исхода

I_j – количество информации, вносимой опытом с j – ым исходом

p_j – вероятность опыта с j – ым исходом.

Средняя информация в битах

I = - Σ p_j log₂ p_j = H - энтропия

В статистической теории информации предполагается, что менее вероятное сообщение несет больше информации.

Свойства энтропии:

1. Энтропия всегда неотрицательна.

2. Энтропия равна нулю, когда об опыте все известно заранее и результат не дает новую информацию.

3. Энтропия имеет наибольшее значение, когда все вероятности равны между собой.

4. Энтропия объекта АВ, состояния которого образуются совместной реализацией А и В, равна сумме энтропий исходных объектов А и В.

В общем случае – количество информации – это есть уменьшение энтропии вследствие опыта или какого-либо другого акта познания.

Если события равновероятны и статистически независимы, то оценки количества информации по Хартли и Шеннону совпадают.

Избыточность информации определяется коэффициентом избыточности:

R=1-H/H_max

где Н – энтропия сообщения,

H_max – максимально возможная энтропия для сообщения данной длины.

Достоверность информации связана с вероятностью ошибки соотношением:

D = (1-P_ош)*100%

Т.о., если вероятность ошибки равна нулю, то информация на 100% достоверна.

Решить задачи:

1. Проводятся три опыта: вытягивание карты из колоды, метание игральной кости, подбрасывание монеты. Определить сколько информации содержится в сообщениях о результатах каждого из них.

2. Определить информационную емкость экрана монитора в текстовом режиме, если известно, что количество символов в используемом алфавите (N) равно 256.

3. Компьютер работает в графическом режиме с разрешением 640*480 точек или пикселей и способен воспроизводить 256 цветов. Требуется определить максимальное количество информации, которое можно вывести на экран.

4. Имеется некоторое сообщение, переданное с помощью алфавита состоящего из трех букв ( например: точка, тире, пауза). Пусть относительные частоты появления этих букв в тексте соответственно равны: 0.5, 0.25, 0.25. Требуется определить среднее количество информации, приходящееся на одну букву в этом сообщении.

5. Сообщение, скопированное с экрана компьютера, содержит 200 знаков. При их кодировании была использована таблица ASCII кодов, содержащая 256 символов. Требуется определить избыточность информации.