2. Характеристика (определение) количества информации

Пусть случайный объект или явлениеимеет неопределённость. Любой целенаправленный опыт, имеющий определённое количество исходов (сообщений, результатов, измерений), уменьшает степень неопределённости. Разность

(7) .

где - априорная, а- апостериорная энтропия (неопределённости) объекта или явленияестьколичество информации(иличисловое значение количества информации в битах), об объекте или явленииполученной в результате опыта. В этом случаепредставляется как мераснятия неопределённости, а процесс получения информации об объекте или явлении называется процессом снятия неопределённости.

Если результат (исходы) опытаполностью определяет все сведения, которыми обладает, тостановится равным 0, а

(8)

В этом случае можно считать, что получена полная информацияоб объекте или явлении, отражающая все его свойства и являющаясямерой разнообразияобъектов или явлений.

Так раскрывается атрибутивная концепция информации, которая определяет информацию как атрибут материи.

Если то следует, что в результате опыта(а фактически о любой информационной деятельности) не получено никакой информации об объекте или явлении, то есть

Из приведённых утверждений следуют важные практические выводы, определяющие эффективность информационной деятельности.

- информационная деятельность считается эффективной, если она приводит к снятию неопределённости (7).

-эффективность информационной деятельности может быть оценена количественно; предел, к которому стремится эта оценка, определяется выражением (8).

Значениеопределяется выражением (7) как количество информации по объекту или явления, содержащейся в опыте, а выражение (8) - как количество информации о, полученной объектом. Последние выводы свидетельствуют о том, чтоестьмера сравнения двух объектов.

В результате сравнения объекта с объектамииполучим следующее количество информации (7)и

(9) .

Очевидно, при будет справедливо неравенство, а следовательно,. Это означает, что различные субъекты (или, обладающей различной энтропией или информацией, при исследовании одного и того же объектамогут получить различное количество информации. Разность

(10)

можно рассматривать как меру сравнения информированности объектов (или субъектов) иоб объекте или явлении. Это обстоятельство является важной предпосылкойсемантической теории информации.

Пример 3. В качестве объектавозьмём русскую письменную речь. В русском алфавите 32 буквы (без различия «е» и «ё»). С первого взгляда для нас как субъектов наблюдения неопределённость русской письменной речи. В результате опыта получим данные приведёны ниже в таблице:

Буква	(-) 0,175	О 0,090	Е, Ё 0,072	А 0,062	И 0,062	Т 0,053	Н 0,053	С 0,045
Буква	Р 0,040	В 0,038	Л 0,035	К 0,028	М 0,026	Д 0,025	П 0,023	У 0,021
Буква	Я 0,018	Ы 0,016	З 0,016	Ь, Ъ 0,014	Б 0,014	Г 0,013	Ч 0,012	Й 0,010
Буква	Х 0,009	Ж 0,007	Ю 0,006	Ш 0,006	Ц 0,004	Щ 0,003	Э 0,003	Ф 0,002

Эти данные на основании большого статистического материала () были получены со значениями вероятностей появления отдельных букв русского алфавита и пробелав текстах».

Решение.Неопределенность в случае равномерного распределения букв алфавита:

.

Проведем опыт в целях определения истинного (а не равновероятного) распределения вероятностей появления отдельных букв в русской речи.

На основании этих данных (этой информации) получим

Тогда

.

Такое количество информации содержится в таблице или получено в результате опыта . Далее проведем опыт, определяющий возможные связи между парами отдельных букв русского алфавита в письменной речи. В результате получим

Тогда

.

Такое количество информации получено в результате опыта , проведенного после опыта.