8. Количественное измерение информации

Человек всегда стремится измерить количественно нечто, с чем он имеет дело. Например, чтобы судить о состоянии здоровья человека, необходимо знать не только качественный, но и количественный состав крови, содержание кальция в костях и т.д. Сравнение, сопоставление какой-то характеристики, свойства двух объектов невозможно без количественной оценки характеристики. Т. к. информация связана со сведениями, которые получает человек, естественно, возникла задача измерения количества информации. Например, некто прочитал какую-то книгу. Какое количество информации получил этот человек? Другой человек прочитал ту же книгу. Возникает вопрос, эти два человека получили одну и ту же информацию или разную? Если они получили разную информацию, то как оценить количественно это различие?

Американские учёные А. Хартли и К. Шеннон и российский математик А.Н. Колмогоров создали формальные подходы к измерению количества информации. В некоторых случаях их методы позволяют практически определить количество информации в сообщении, а в некоторых случаях это сделать за разумное время невозможно.

Рассмотрим 2 подхода к понятию «информация». Для каждого подхода можно построить индивидуальный «измеритель информации».

Первый подход к понятию «информация»: информация – это отражение разнообразия в окружающем человека мире. Что такое разнообразие? Это ситуация, когда человек знает, что может произойти какое-то событие. После того, как событие произойдёт, можно ожидать один из множества возможных результатов. Конкретный результат события зависит от условий или факторов, в которых произойдёт это событие. Реально (в жизни) на событие влияет такое большое количество факторов, что точно невозможно предсказать, каким будет конкретный результат (Рис. 8.1.).

Рис. 8.1.

Крайний случай – отсутствие разнообразия. Мысленно перенесёмся в центр пустыни Сахара и зададимся вопросом: какова вероятность того, что, пройдя 2 км, путник встретит водоём? При отсутствии разнообразия существует полная определённость в отношении конкретного результата наступления какого-то события.

Противоположный крайний случай: качественно сделанная монета. В этом случае существуют 2 равновероятных результата падения монеты, и полная неопределённость наступления конкретного результата, например, что при подбрасывании монета упадёт аверсом вверх. Монета с тем же значением вероятности может упасть вверх и реверсом.

Можно сказать, что разнообразие связано с неопределённостью знаний. В случае с пустыней Сахара путник знает, что в пределах 2 км. никакого водоёма быть не может. В случае с монетами человек не знает, каким будет результат при возникновении события - падения монеты.

Но когда событие произошло, и человек узнал о его результате, он получил знание или снял неопределённость знания. Принято считать, что информация есть мера уменьшения неопределённости знания.

Опыты с монетами – это частный самый простой случай. Реально человек имеет дело с какой-то ситуацией (будущим событием), которую невозможно «уложить» в рамки модели с монетами. Если некоторое сообщение приводит к уменьшению неопределённости знания, то такое сообщение несёт в себе информацию. При этом возможны следующие переходы «от незнания к знанию» (Рис. 8.2.):

Ситуация до приёма сообщения	Заключённая в сообщении информация о ситуации	Ситуация после приёма сообщения
Полное незнание о ситуации	Полная	Полное знание о ситуации
Полное незнание о ситуации	Частичная	Частичное знание о ситуации
Частичное незнание «в большой степени»	Частичная	Частичное незнание «в меньшей степени»

Рис. 8.2.

Однако продолжим рассматривать модель с событиями и результатами и рассмотрим ход рассуждений Хартли А. при выводе формулы определения количества информации на основе признания того факта, что мир разнообразен. Или иначе, существует, и очень часто, неопределённость в возникновении одного конкретного результата из множества возможных при завершении какого-то события.

Рис. 8.3.

Из рисунка 8.3. можно видеть, что у человека в отношении результата при будущем появлении события_1 существует полная определенность, т.к. он заранее (до появления события_1) знает, каким результатом завершится это событие. В отношении события_2 и события_3 существует неопределённость. Причём в отношении события_2 неопределённость меньше по сравнению с неопределённостью в отношении события_3. В отношении события_2 человеку необходимо угадать только 1 результат из двух, тогда как в отношении события_3 необходимо угадать 1 результат из четырёх.

Хартли А. предположил, что неопределенность знаний о конкретном результате при завершении некоторого события есть количество возможных результатов при возникновении события. В соответствии с этим предположением неопределённость для события_2 равна 2 (Н₂=2), а неопределённость для события_3 равна 4 (Н₃=4).

Хартли А. стал рассуждать дальше. Предположим, что существует Событие_n, при завершении которого возможно возникновение одного из n результатов, и Событие m, при завершении которого возможно возникновение одного из m результатов. Тогда неопределённости измеряются соответственно как H(n)=n и H(m)=m. Предположим, что эти события независимы и происходят одновременно. В этом случае общее количество результатов – m*n и, исходя из принятого определения неопределённости, общая неопределённость H_c=H(n)*H(m)=n*m. Хартли А. предположил, что общую неопределённость логичнее вычислять суммированием.

Кроме того, при данном определении неопределённости возникает противоречие. При завершении события только одним результатом неопределённость отсутствует, а в соответствии с определением H(1)=1.

Хартли А. стал искать формулу, которая бы подходила для его предположения, что должно выполняться следующее равенство:

H_c=H(n)+H(m) или

H(nm)=H(n)+H(m)

Возникает вопрос, как обозначить неопределённость H(m) и H(n), чтобы выполнялась формула суммирования неопределённостей?

Такое равенство будет выполняться, если для обозначения неопределённости использовать логарифмическую функцию:

H(m) = log(m); H(n) = log(n);

H(mn) = log(mn) = log(m) + log(n)

Что должно быть основанием логарифма? Основанием логарифма может быть любое число: 2, 3, 8, 10, 16 и т.д. Хартли А., естественно, решил за единицу измерения неопределённости считать неопределённость, имеющуюся при наступлении одного из двух результатов. Итак, H(2) = 1. Это возможно при основании логарифма – «2».

Мера неопределённости для события, имеющего n равновероятных результатов, получена американским учёным Хартли А. и названа им «энтропия»:

H(n) = log₂(n)

Рассматривая наш пример с событиями, можно сказать, что для человека в отношении события_1 существует полная определённость, он обладает полной информацией о результате завершения события_1, и никакие сообщения ему не нужны. Действительно, в соответствии с формулой Хартли log₂1= 0 неопределённость равна 0. Для человека в отношении события_2 существует неопределённость log₂2 = 1, равная одной единице, а в отношении события_3 существует неопределённость log₂4 = 2, равная двум единицам.

Логично считать: чтобы ликвидировать неопределённость, имеющую конкретное численное значение, нужно получить информацию в этом же количестве. Для события_1 никаких сообщений получать не нужно. Для события_2, чтобы ликвидировать неопределённость, необходимо получить сообщение, содержащее 1 единицу информации, а для события_3 в сообщении должно содержаться 2 единицы информации (Рис. 8.4.).

Т.е. численно информация равна энтропии: Inf_А = H(n).

В теории информации единица количества информации названа битом.

Событие	Количество единиц информации о событии
Событие_1	InfC-1= log21= 0
Событие_2	InfC-2= log22= 1
Событие_3	InfC-3= log24= 2

Рис. 8.4.

За единицу количества информации, принято количество информации, которое получает человек, когда какое-то событие завершится одним из двух равновероятных результатов. Эта единица информации была названа «бит».

Бит (в теории информации): количество информации, которое получает человек о конкретном результате завершения события, когда событие может завершиться одним из двух равновероятных результатов.

Мы употребили понятие «равновероятные результаты». Что это значит?

Например, пусть имеется событие, которое может завершиться одним из двух результатов. Если возникновение этих результатов равновероятно, то при завершении этого события, например, 10000 раз, в 5000 случаев возникнет результат_1, а в 5000 случаев возникнет результат_2.

Если имеется событие, которое может завершиться одним из 4-х результатов, и эти результаты равновероятны, то при завершении этого события 10000 раз, каждый из 4-х результатов возникнет 2500 раз.

В общем виде, если в результате завершения события может возникнуть одно из n равновероятных результатов, то вероятность результата: р=1/n.

Как должна выглядеть формула Хартли, если в ней использовать вероятность появления результата?

Если все результаты равновероятны, то вероятность каждого результата р=1/n или n=1/p. Подставим это выражение в формулу:

Inf_А = log₂1/p = -log₂p

Какие выводы можно сделать из формулы Хартли?

1. Формула Хартли справедлива только для равновероятных результатов возникновения события А.

2. Формула Хартли устанавливает способ определения количества информации о том, каким конкретным результатом завершилось событие А. Т.к. все результаты равновероятны, то для любого конкретного результата количество информации одно и то же. Кубик имеет 6 граней. Наблюдателю сообщается, что при подбрасывании кубика выпала грань №3. Этим сообщением наблюдатель получил количество информации Inf(r₃)=-log₂1/6 = 2,585. При следующем подбрасывании кубика наблюдателю сообщается, что выпала грань №5. Этим сообщением наблюдатель получил такое же количество информации Inf(r₅)=-log₂1/6 = 2,585.

3. Т.к. все результаты равновероятны, то эта же формула устанавливает количество информации о возможном конкретном результате в среднем, которую может получить наблюдатель при получении некоторого количества сообщений применительно к некоторому количеству возникновений события А.

Действительно, произошло событие А, и возник результат r₁. Количество информации, содержащейся в сообщении об этом результате Inf(r₁) = log₂1/p = -log₂p. Так n раз происходило событие А. Получено n сообщений, и каждое сообщение содержало количество информации о конкретном возникшем результате Inf(r_i) = -log₂p. Отсюда среднее количество информации, приходящееся на одно сообщение: 1/n (-log₂p-log₂p…-log₂p…-log₂p) = -log₂p.

Хартли А. получил формулу количества информации для равновероятных результатов. А как быть, если результаты завершения события А неравновероятны?

Применительно к событию, которое может закончиться одним из 2-х результатов рассмотрим 2случая:

1. вероятность появления результата_1 выше вероятности появления результата_2: Р₁=0,95, Р₂=0,05;

2. вероятности результатов одинаковы: Р₁=Р₂=0,5.

В первом случае человек знает, что в 95 случаях из 100, когда происходит событие_2, возникнет результат_1 и только в 5 случаях возникнет результат_2. Ясно, что степень его знания о возможном результате события довольно высока, и наоборот, степень его незнания, степень неопределённости о возможном результате мала. Очевидно, что неопределённость предсказания результата во втором случае выше и максимальна.

Рассматривая ситуации, когда результаты завершения события А равновероятны и неравновероятны, следует отметить, что количество информации о конкретном результате после завершения события А определяется для этих ситуаций одинаково: Inf(r_i) =-log₂p_i.

Чтобы получить среднее количество информации о результате, приходящееся в среднем на одно сообщение применительно к некоторому количеству совершений события А, необходимо использовать формулу вычисления среднего значения с учётом разной вероятности появления результатов. Ясно, что речь идёт об условном сообщении.

Inf(p₁,p₂,…p_n) = H(p₁,p₂,…p_n) = -p₁log₂p₁ -p₂log₂p₂ -… -p_nlog₂p_n

Энтропия (неопределённость) события с неравновероятными результатами получена американским учёным Шенноном К.

Проанализируйте и сравните содержимое двух (Рис. 8.5. и 8.6.), в которых рассматривается событие А и 4 возможных результата завершения этого события.

Таким образом, когда информация интерпретируется как отражение разнообразия в окружающем мире, то мерой её количества является мера неопределённости, которая существует для конкретной ситуации.

Второй подход к понятию «информация»: информация необходима для реализации адекватной деятельности биологических объектов и организационных и технических систем, и в ходе управления этой деятельностью осуществляется её хранение и транспортировка. Этот подход к измерению количества информации назван «алфавитным».

К.Шеннон вывел свою формулу, исследуя процессы передачи информации по каналам связи. Очевидно, что при организации канала связи важен не смысл передаваемой информации, а соответствие между возможностью канала передавать информацию (пропускной способностью канала связи) и тем объёмом информации, которая должна передаваться по каналу. Аналогично можно сказать про память. Важно соответствие между объёмом устройства для хранения информации и объёмом информации, которая должна храниться в этом устройстве.

Любая информация должна быть представлена в виде сообщения на каком-либо носителе с помощью какого-то языка. В этом случае количественное представление информации может быть только в виде количества элементов алфавита языка, с помощью которых эта информация зафиксирована на каком-то носителе.

Длина сообщения: количество элементов алфавита, из которых состоит сообщение.

Мы знаем, что каждый язык имеет в своём составе алфавит с разным количеством элементов, слова, имеющие один и тот же смысл, состоят из разного количества элементов. Предположим, что одна и та же по смыслу информация Inf представлена в виде 4-х сообщений: S₁, S₂, S₃, S₄ на 4-х различных языках (Рис. 8.7.). Очевидно, что эти сообщения будут иметь разную длину.

В результате возникновения события А может возникнуть один из 4-х равновероятных результатов
Результаты возникновения события А	Вероятность появления каждого результата (результаты равновероятны)	Мера неопределённости того, каким конкретно результатом завершится событие	Количество информации, содержащееся в сообщении о том, что событие А завершится	Количество информации в среднем, приходящееся на одно сообщение о результате возникновения события А, если рассматривать множество из 4-х сообщений
результат_1 (r1)	p1 = 0,25	H(n) = log2n = log24 = 2 или -p1log2p1-p2log2p2-p3log2p3-p4log2p4 = =-0,25*log20,25- -0,25*log20,25- -0,25*log20,25- -0,25*log20,25 = =0,25*2+0,25*2+ +0,25*2+0,25*2 = = 2	появлением результата_1: Inf(r1)= log24 = 2 или -log2p1= -log21/4= 2	(2+2+2+2)/4 = =2
результат_2 (r2)	p2 = 0,25		появлением результата_2: Inf(r2)= log24 = 2 или -log2p2= -log21/4= 2
результат_3 (r3)	p3 = 0,25		появлением результата_3: Inf(r3)= log24 = 2 или -log2p3= -log21/4= 2
результат_4 (r4)	p4 = 0,25		появлением результата_4: Inf(r4)= log24 = 2 или -log2p4= -log21/4= 2

Рис. 8.5.

В результате возникновения события А может возникнуть один из 4-х неравновероятных результатов
Результаты возникновения события А	Вероятность появления каждого результата (результаты равновероятны)	Мера неопределённости того, каким конкретно результатом завершится событие А	Количество информации, содержащееся в сообщении о том, что событие А завершится	Количество информации в среднем, приходящееся на одно сообщение о результате возникновения события А, если рассматривать множество из 4-х сообщений
результат_1 (r1)	p1 = 0,6	H(n) = =-p1log2p1- -p2log2p2-p3log2p3--p4log2p4 = -0,6*log20,6- -0,2*log20,2- -0,15*log20,15- -0,05*log20,05 = =0,6*0,737+ +0,2*2,322+ +0,15*2,737+ +0,05*4,322 = = 1,533	появлением результата_1: Inf(r1)= -log2p1= -log20,6= 0,737	InfA= H(n) = = 1,533
результат_2 (r2)	p2 = 0,2		появлением результата_2: Inf(r2)= -log2p2= -log20,2= 2,322
результат_3 (r3)	p3 = 0,15		появлением результата_3: Inf(r3)= -log2p3= -log20,15= 2,737
результат_4 (r4)	p4 = 0,05		Появлением результата_4: Inf(r4)= -log2p4= -log20,05= 4,322

Рис. 8.6.

Тип языка	Количество элементов в алфавите Каi	Длина сообщения (измеренная количеством элементов конкретного алфавита)	Количество единиц информации, содержащейся в среднем в одном элементе алфавита, при условии, что появление каждого элемента равновероятно: log2Кai	Длина сообщения (в битах)
Язык_1	256	n1	8	8*n1
Язык_2	32	n2	5	5*n2
Язык_3	10	n3	3,322	3,32*n3
Язык_4	2	n4	1	n4

Рис. 8.7.

С точки зрения смыслового содержания, в этих 4-х сообщениях содержится одна и та же информация Inf. Мы помним, для сравнения данных их необходимо формализовать, т.е. привести к одной единице измерения. Какой алфавит выбрать в качестве эталонного?

Шеннон вывел свою формулу, исследуя процессы передачи информации по телефонным и телеграфным каналам связи (в то время ещё не существовало компьютеров). Телефонную и телеграфную компанию не интересует смысл передаваемой информации, а волнует пропускная способность канала связи и затраты энергии на передачу 1 знака алфавита. При передаче сообщений по каналам связи по проводам распространяются не буквы алфавита, а импульсы электрического тока. Высокий импульс (ему условно присвоили знак «1») и низкий импульс (ему условно присвоили знак «0»). В этом случае можно утверждать, что при передаче сообщения на любом языке, это сообщение передаётся, в конечном счёте, на языке с алфавитом, имеющем в своём всего 2 элемента. Этот алфавит и был взят в качестве базового для определения количества информации, которая транспортируется по каналам связи (а в дальнейшем, хранится в памяти компьютеров и на каких-то носителях информации).

Бит: количество информации в сообщении, состоящем из одного элемента двоичного алфавита (подход к информации с точки зрения разнообразия).

На практике понятие «бит» используется в несколько ином смысле.

Бит: один элемент двоичного алфавита (алфавитный подход).

Универсальный способ измерения длины любого сообщения состоит в том, чтобы измерение проводить в битах.

Анализируя рассмотренные рассуждения и содержимое таблицы на Рис. 8.7., можно сказать, что два этих подхода «сливаются». В самом деле, чтобы снять неопределённость при угадывании одного из n (например, 32) элементов алфавита, требуется log₂n (log₂32=5) бит информации. А чтобы представить любой элемент этого же алфавита с помощью элементов базового алфавита, необходимо слово длиной log₂n (log₂32=5) бит. На Рис. 8.8. представлена длина слов базового алфавита для представления одного символа алфавита рассмотренных ранее языков.

Тип языка	Количество элементов в алфавите Каi	Длина слова базового алфавита для представления одного элемента алфавита языка log2Кai	Графическое представление слова базового языка
Язык_1	256	8
Язык_2	32	5
Язык_3	10	3,332
Язык_4	2	1

Рис. 8.8.