2. Единицы измерения информации.

На сегодняшний день известны следующие способы измерения информации: объемный, энтропийный, алгоритмический.

Объемный является самым простым и грубым способом измерения информации. Соответствующую количественную оценку информации естественно назвать объемом информации. Объем информации в сообщении – это количество символов в сообщении. Поскольку одно и то же число может быть записано многими разными способами («двадцать один», 21, XXI, 11001), то этот способ чувствителен к форме представления сообщения. В вычислительной технике вся информация представлена в двоичной форме. Такая стандартизация позволила ввести две стандартные единицы измерения: бит и байт. Байт – это восемь бит. Для десятичной системы – дит. Но реализовать в технике такой подход сложнее.

В теории информации и кодирования принят энтропийный подход к измерению информации. Получатель информации имеет определенные представления о возможных наступлениях некоторых событий. Эти представления в общем случае недостоверны и выражаются вероятностями, с которыми он ожидает то или иное событие. Общая мера неопределенности (энтропия) характеризуется некоторой математической зависимостью от совокупности этих вероятностей. Количество информации в сообщении определяется тем, насколько уменьшится эта мера после получения сообщения. Например, имеется колода из 32 карт. Вероятность выбора одной из них 1/32. Шансы выбрать ту или иную карту одинаковы. Производя выбор мы устраняем эту неопределенность, которую можно было характеризовать количеством возможных равновероятных выборов. Если теперь определить количество информации как меру устраненной неопределенности, то и полученную в результате выбора информацию можно охарактеризовать числом 32. Однако в теории информации получила использование другая количественная оценка, а именно – логарифм от описанной выше оценки по основанию 2: H=log₂m, где m – число возможных равновероятных выборов. То есть для выбора из колоды имеем следующую оценку количества информации, получаемую в результате выбора: H=log₂32=5. Полученная оценка характеризует число двоичных вопросов, ответы на которые позволяют выбрать либо да либо нет, для выбора дамы пик такие вопросы будут:

1. Карта красной масти? Ответ нет 0.

2. Трефы? Ответ нет 0.

3. Одна из четырех старших? Ответ да 1.

4. Одна из двух старших? Ответ нет 0.

5. Дама? Ответ да 1.

Этот выбор можно описать последовательностью из пяти двоичных символов 00101.

Если же степень двойки не годится, то пользуемся усреднением по случаям.

Шеннону принадлежит обобщение H на случай, когда Н зависит не только от m, но и от вероятностей возможных выборов (для сообщения – вероятность выбора символов). Для количества собственной индивидуальной информации он предложил соотношение

h_i=-logP_i где P_i - вероятность выбора итого символа алфавита.

В алгоритмической теории информации предлагается алгоритмический метод оценки информации в сообщении. Он характеризуется рассуждениями:

Слово 010101…01 сложнее слова 000…0, а слово где 0 и 1 выбираются из эксперимента, сложнее обоих предыдущих. Компьютерная программа, производящая слово из одних нулей крайне проста. Для получения чередования 01 нужна чуть более сложная программа, печатающая символ, противоположный только что напечатанному. Случайная последовательность не может быть воспроизведена короткой программой, она должна быть близка к последней. Рассуждения позволяют предположить, что любому сообщению можно приписать количественную характеристику, отражающую сложность (размер) программы, которая позволяет ее произвести. Так как имеется много разных вычислительных машин и разных языков программирования (задания алгоритма), то для определенности задаются некоторой конкретной вычислительной машиной, например машиной Тьюринга, а предполагаемая количественная характеристика – сложность слова, определяется как минимальное число внутренних состояний машины Тьюринга, требующихся для его воспроизведения.