Статистическое измерение информации

Количественная теория информации рассматривает способы измерения и количественные характеристики информации с точки зрения передачи сигналов (носителей информации) по каналам связи. Попытки количественного измерения информации предпринимались неоднократно. Первые отчетливые предложения об общих способах измерения количества информации были сделаны Р. Фишером (1921 г.) в процессе решения вопросов математической статистики. Проблемами хранения информации, передачи ее по каналам связи и задачами определения количества информации занимались X. Найквист (1924 г.) и Р.Хартли (1928 г.).

В 1928 г. Р.Хартли связал количество информации с числом состояний физической системы. Поскольку он работал инженером в телеграфной компании, он рассуждал о количестве информации, содержащемся в телеграфном тексте. Р.Хартли заложил основы теории информации, определив логарифмическую меру количества информации.

Датой рождения теории информации считается 1948 год – год появления основополагающей статьи Клода Элвуда Шеннона (1916-2001) "Математическая теория связи".

Будучи студентом Массачусетского технологического института, который он окончил в 1936 году, Шеннон специализировался одновременно и в математике, и в электротехнике. В 1940 году он защитил диссертацию, в которой доказал, что работу переключателей и реле в электрических схемах можно представить посредством булевой алгебры. В 1941 году 25-летний Клод Шеннон поступил на работу в Bell Laboratories, где, помимо всего прочего, прославился тем, что катался на одноколесном велосипеде по коридорам лаборатории, одновременно жонглируя мячиками. В годы войны он занимался разработкой криптографических систем, и позже это помогло ему открыть методы кодирования с коррекцией ошибок. В те же сороковые годы Шеннон, например, занимался конструированием летающего диска на ракетном двигателе.

Количество информации на синтаксическом уровне невозможно определить без рассмотрения понятия неопределенности состояния системы (энтропии системы). Действительно, получение информации о какой-либо системе всегда связано с изменением степени неосведомленности получателя о состоянии этой системы. Мерой неопределенности состояния системы является энтропия. (Понятие энтропии введено австрийским физиком Больцманом).

Пусть до получения информации потребитель имеет некоторые предварительные (априорные) сведения о системе. Мерой его неосведомленности о системе является функция , которая в то же время служит и мерой неопределенности состояния системы.

После получения некоторого сообщения получатель приобрел некоторую дополнительную информацию , уменьшившую его априорную неосведомленность так, что апостериорная (после получения сообщения) неопределенность состояния системы стала.

Тогда количество информации о системе, полученной в сообщении, определится как, т.е. количество информации измеряется изменением (уменьшением) неопределенности состояния системы.

Если конечная неопределенность обратится в нуль, то первоначальное неполное знание заменится полным знанием и количество информации. Иными словами, энтропия системыможет рассматриваться как мера недостающей информации.

Всоответствии с формулой Больцмана

где Pi— вероятность того, что система находится вi-м состоянии.

Для случая, когда все состояния системы равновероятны, т.е. их вероятности равны , ее энтропия определяется соотношением

Пример. По каналу связи передается n-разрядное сообщение, использующее т различных символов. Так как количество всевозможных кодовых комбинаций будет , то при равновероятном появлении любой из них количество информации, приобретенной в результате получения сообщения, будет— формула Хартли.

Если в качестве основания логарифма принять m, то. В данном случае количество информации (при условии полного априорного незнания абонентом содержания сообщения) будет равно объему данных, полученных по каналу связи. Для неравновероятных состояний системы всегда.

Наиболее часто используются двоичные и десятичные логарифмы. Единицами измерения в этих случаях будут соответственно бит и дит.

Точно такая же как и формула Больцмана, Шенноном была предложена формула для вычисления среднего количества информации, содержащейся в некоторой совокупности сообщений , если известны вероятности появления этих сообщений:

. Определяемую этой формулой величину можно рассматривать как математическое ожидание количества информации, получаемого при передаче сообщений из данного множества. Величину называют собственной информацией сообщения.

Пример. Будем считать, что сообщения о поле будущего ребенка мальчик или девочка являются равновероятными. (По статистике частота для мальчиков примерно 0.52, для девочек 0.48.) Количество информации, получаемой с таким сообщением, равно 1 бит.

Вероятности сообщений (о рождении одного ребенка) или(рождении двойни) примерно равны 127/128 и 1/128 соответственно. Собственная информация этих сообщений:. Количество информации по формуле Шеннона

Коэффициент (степень) информативности (лаконичность) сообщения определяется отношением количества информации к объему данных, т.е.. В данном примере, если в обоих случаях каждое из д Свойства информации вух возможных сообщений кодировать одним двоичным символом, то информативность будет равна количеству информации.