3.8.Количество информации
В основе всей теории информации лежит открытие, что информация допускает количественную оценку. В простейшей форме эта идея была выдвинута в 1928 г. Хартли, но завершенный и общий вид придал ей Шэннон в 1948 г. Не останавливаясь на том, как развивалось и обобщалось понятие количества информации, дадим сразу его современное толкование.
3.8.1.Количество информации как мера снятой неопределенности
Процесс получения информации можно
интерпретировать как изменение
неопределенности в результате приема
сигнала. Проиллюстрируем это на примере
достаточно простого случая, когда
передача сигнала происходит при следующих
условиях: 1) полезный (отправляемый)
сигнал xi
является последовательностью статистически
независимых символов с вероятностями
,
,
…, m; 2) принимаемый сигнал
является последовательностью символов
того же алфавита; 3) если шумы (искажения)
отсутствуют, то принимаемый сигнал
совпадает с отправляемым
; 4) если шум имеется, то его действие
приводит к тому, что данный символ может
быть либо остаться прежним (i-м), либо
быть подмененным любым другим (k-м)
символом, вероятность этого равна
;
5) искажение очередного символа является
событием, статистически независимым
от того, что произошло с предыдущими
символами.
Итак, до получения очередного символа
ситуация характеризуется неопределенностью
того, какой символ будет отправлен, т.е.
априорной энтропией Н(Х). После получения
символа
неопределенность относительно того,
какой символ был отправлен, меняется:
в случае отсутствия шума она вообще
исчезает (апостериорная энтропия равна
нулю, поскольку точно известно, что был
передан символ
),
а при наличии шума мы не можем быть
уверены, что полученный нами символ и
есть отправленный, и возникает
неопределенность, характеризуемая
апостериорной энтропией
.
Определим теперь количество информации как меру снятой неопределенности: числовое значение количества информации о некотором объекте равно разности априорной и апостериорной энтропии этого объекта:
(37)
Можно показать, что
(38)
В явной форме равенство (1) запишется так:
(39)
а для равенства (38) имеем
(40)
3.8.2.Количество информации как мера соответствия случайных объектов
Этим формулам легко придать полную
симметричность: умножив и разделив
логарифмируемое выражение в (39) на
,
а в (40) на
,
сразу получим:
(41)
Эту симметрию можно интерпретировать так: количество информации в объекте X об объекте Y равно количеству информации в объекте Y об объекте X. Таким образом, количество информации является не характеристикой одного из объектов, а характеристикой их связи, соответствия между их состояниями. Следовательно, среднее количество информации, вычисляемое по (37), есть мера соответствия двух случайных объектов.
Это определение позволяет прояснить связь понятий информации и количества информации. Информация есть отражение одного объекта другим, проявляющееся в соответствии их состояний. Один объект может быть отражен с помощью нескольких других, часто какими-то лучше, чем остальными. Среднее количество информации и есть числовая характеристика степени отражения, степени соответствия. Подчеркнем, что при таком описании как отражаемый, так и отражающий объекты выступают совершенно равноправно. С одной стороны, это подчеркивает обоюдность отражения: каждый из них содержит информацию друг о друге. Это представляется естественным, поскольку отражение есть результат взаимодействия, т.е. взаимного, обоюдного изменения состояний. С другой стороны, фактически одно явление (или объект) всегда выступает как причина, другой — как следствие; это никак не учитывается при введенном количественном описании информации.
Формула (41) обобщается на непрерывные случайные величины, если в соотношения (37) и (38) вместо Н подставить дифференциальную энтропию h:
(42)
где р(х), р(у) и р(х, у) — соответствующие плотности вероятностей.
Количество информации можно определить как меру уменьшения неопределенности в результате получения сигнала. Это соответствует разности энтропии до и после приема сигнала.
Среди свойств количества информации выделяются следующие: 1) количество информации (в отличие от энтропии) имеет одинаковый смысл как для дискретных, так и для непрерывных случайных объектов; 2) при обработке данных содержащееся в них количество информации не может быть увеличено. Следовательно, обработка делается лишь для представления информации в более удобном, компактном виде и в лучшем случае без потери полезной информации