2.5 Свойства информации

Информация характеризуется следующими свойствами:

Динамичность. Информация существует ровно столько, сколько продолжается взаимодействие данных об объекте с методами их обработки. Как только это взаимодействие завершается, опять получаются данные, но представленные в другой форме.

• Пример: Преподаватель взаимодействует в ходе занятий со студентами, в результате чего сообщаемые им данные превращаются у студента в информацию, хранимую в головном мозге. В ходе экзамена устанавливается взаимодействие студента с преподавателем, при котором данные из головного мозга студента превращаются в информацию для преподавателя о знании или незнании вопроса студентом и далее эта информация превращается в данные в зачетные книжки.

Важность (ценность, полезность). Информация может быть важной для собеседников или представлять известные им сведения — в этом проявляется субъективность в оценке информации. Цена информации определяется связанными с ней материальными и духовными приобретениями или потерями.

Адекватность. Степень соответствия создаваемого посредством полученной информации образа содержанию оригинала (реального объекта, процесса или явления). Пример: информация об удешевлении иномарок в четыре раза на территории Московской области преподнесенная 1 апреля вполне соответствует оригиналу — первоапрельской шутке. Хотя в любой другой день она является ложной и не адекватной оригиналу.

Достоверность. Степень соответствия содержания информации реальному объекту. Это свойство связано с истинностью или ложностью информации.

Точность. Степень близости информации к описанию реального состояния объекта, процесса или явления.

Актуальность. Степень соответствия информации текущему моменту времени или степень сохранения ценности информации к моменту ее использования.

2.6 Меры информации

К измерению информации существуют два подхода: содержательный и алфавитный (кибернетический).

Содержательный подход, основываясь на информации как знании людей, предполагает следующую цепочку понятий:

Информация → сообщение → информативность сообщения → единица измерения информации → информационный объем сообщения.

• Сообщение — это поток сигналов, поступающий к принимающему его субъекту.

Информативным называют сообщение, которое пополняет знания человека, т. е. несет для него информацию. Информативно то сообщение, которое несет новые и понятные сведения. Если сообщение не информативно для человека, то количество информации в нем, с точки зрения этого человека, равно нулю. Количество информации в информативном сообщении больше нуля.

Для измерения количества информации необходимо ввести единицу измерения информации. В рамках содержательного подхода такая единица должна быть мерой пополнения знаний субъекта или мерой устранения его незнания — неопределенности в сознании субъекта.

Количество информации можно оценить величиной неопределенности, устраняемой в результате принятия сообщения.

Пусть существует объект , о котором в настоящий момент времени получатель не имеет сведений. Тогда его неопределенность равна полному незнанию об источнике данных. С получением сообщения часть неопределенности об источнике сообщения снята, но какое-то незнание осталось — . Тогда количество информации в сообщении можно измерить как разность между неопределенностью об источнике до сообщения и неопределенностью, оставшейся после получения сообщения:

Мера неопределенности об источнике сообщений получила название энтропия.

• Энтропия является мерой неопределенности опыта, в котором проявляются случайные события, и равна средней неопределенности всех возможных его исходов.

Для практики важно иметь возможность произвести численную оценку энтропии разных опытов. Пусть опыт имеет равновероятных исходов. Исходы равновероятны, если ни одно из них не имеет преимущества перед другими. Очевидно, что энтропия данного опыта зависит от величины , т. е. является функцией числа возможных равновероятных исходов , обладающая свойствами:

1. , поскольку возможный исход не является случайным.

2. возрастает с ростом числа возможных исходов , поскольку чем больше число возможных исходов, тем трудней предугадать результат опыта.

3.  — свойство аддитивности. Пусть проводятся два (или больше) независимых опыта и с количествами равновероятных исходов в каждом соответственно и . Очевидно, мера суммарной неопределенности опытов равна сумме неопределенностей.

Таким образом, энтропия должна описываться функцией, обладающей тремя необходимыми свойствами. Такому набору свойств соответствует лишь логарифмическая функция, причем ее основание не имеет значения ( ). На практике выбирают основание 2, так как это оказывается удобным при принятии единицы информации бит — при равновероятных исходах  бит. Энтропия опыта с равновероятными исходами — .

Энтропия одного исхода в опыте с возможными равновероятными исходами:

,

где  — вероятность любого из отдельных исходов.

Таким образом, энтропия каждого возможного исхода равна:

.

Обобщая это выражение на опыт с не равновероятными исходами получим:

.

Энтропия обладает рядом свойств:

1.  — вещественная и неотрицательная величина (знак минус учитывает, что значение величины под логарифмом меньше единицы, т. е. ).

2. Энтропия не учитывает содержательную сторону информации, т. е. ее ценность.

3. Энтропия нескольких независимых источников сообщений равна сумме энтропии каждого из них: .

4. Энтропия — величина ограниченная. При прочих равных условиях наибольшую энтропию имеет опыт с равновероятными исходами (рис. 9).

Рис. 9 Вид функции энтропии

Энтропия опыта равна той информации, которую получаем в результате его осуществления, т. е.  — информация опыта равна среднему количеству информации одного его исхода:

Для случая, когда все исходы равновероятны ( ):

.

Таким образом, в случае равновероятных исходов по формуле Р. Хартли количество информации определяется числом возможных исходов. Данная формула связывает количество равновероятных состояний ( ) и количество информации в сообщении ( ), что любое из этих состояний реализовалось. Ее смысл в том, что, если некоторое множество содержит элементов и принадлежит данному множеству, то для его выделения (однозначной идентификации) среди прочих требуется количество информации, равное .

Алфавитный (кибернетический) подход — это единственный способ измерения информации, циркулирующей в информационной технике (компьютерах). Здесь речь идет об измерении информации в тексте (символьном сообщении), составленном из символов некоторого алфавита. содержанию текста (семантике сообщения) такая мера информации отношения не имеет. Поэтому такой подход можно назвать объективным, т. е. не зависящим от воспринимающего его субъекта.

Базовым понятием в данном подходе является понятие алфавита.

• Алфавит — это конечное множество символов, используемых для представления информации.

• Число символов в алфавите называется мощностью алфавита.

В предположении, что вероятности появления каждого символа алфавита одинаковы (что на практике далеко не так), количество информации, которое несет в тексте каждый символ ( ) вычисляется из уравнения Хартли:

,

где N — мощность алфавита.

Величину можно назвать информационным весом символа. Отсюда следует, что количество информации во всем тексте, состоящим из символов, равно произведению информационного веса символа на их количество:

.

Величина  — информационный объем текста. Поэтому данный подход носит название объемного подхода.

Минимальная мощность алфавита, пригодного для передачи информации, равна 2. Такой алфавит называют двоичным. Информационный вес символа в двоичном алфавите: поскольку , то . Эта величина получила название бит. Один символ двоичного алфавита несет 1 бит информации.

Бит — основная единица измерения информации. Существуют и производные единицы измерения: 1 байт = 8 бит (  — мощность алфавита ПК); 1 килобайт = 1024 байта, т. е. больше 1 байта в  раза; 1 мегабайт = 1024 килобайта и т. д.

Говоря о символьном сообщении как последовательности знаков определенного алфавита и считая вероятность появления каждого отдельного знака неизменной во времени (шенноновское сообщение) можно определить среднее количество информации одного знака в сообщении.

Если за исходное положение принять равную вероятность появления каждого знака в сообщении, то количество информации, приходящееся на один знак алфавита, находим по формуле Хартли:

.

Для английского алфавита  бит, а для русского алфавита  бит.

Определим среднее количество информации, приходящейся на один знак, если вероятности появления различных букв алфавита в сообщении не одинаковы:

.

Эту формулу открыл К. Шеннон, с работы которого (1948) принято начинать отсчет возраста информатики, как самостоятельной науки.

Следующим приближением при оценке значения информации, приходящейся на один знак алфавита, должен быть учет корреляции, т. е. связей между буквами в словах. Значение , полученное после учета бесконечного числа корреляций между буквами данного алфавита в словах, является предельным значением количества информации на один знак данного алфавита, отражающей минимальную неопределенность выбора знака алфавита без учета семантических особенностей языка.

Относительная избыточность языка показывает долю лишней информации текстов данного языка. Лишней в том отношении, что эта доля определяется структурой самого языка и может быть восстановлена в сообщении без явного выражения в буквенном виде.