21. Количество информации

Подходы к определению количества информации.

1.2.3. Различные подходы к измерению информации

Количество информации – это мера снятия неопределённости одной случайной величины в результате наблюдения за другой.

Количественно выраженная неопределённость состояния получила название энтропии. При получении информации уменьшается неопределённость, т. е. энтропия системы.

В информатике, как правило, измерению подвергается информация, представленная дискретным сигналом.

Различают следующие подходы к измерению информации:

1. Структурный подход

Измеряет количество информации простым подсчётом информационных элементов, составляющих сообщение. Применяется для оценки возможностей запоминающих устройств, объёмов передаваемых сообщений, инструментов кодирования без учёта статистических характеристик их эксплуатации.

В рамках структурного подхода выделяют три меры информации:

1) геометрическая – определяет максимально возможное количество информации в заданных объемах. Единицей измерения является информационный элемент. Мера может быть использована для определения информационной ёмкости памяти компьютера. В этом случае в качестве информационного элемента выступает минимальная единица хранения – бит;

2) комбинаторная – оценивает возможность представления информации при помощи различных комбинаций информационных элементов в заданном объёме.

Использует типы комбинаций элементов и соответствующие математические соотношения, которые приводятся в одном из разделов дискретной математики – комбинаторике.

Комбинаторная мера может использоваться для оценки информационных возможностей некоторого автомата, который способен генерировать дискретные сигналы (сообщения) в соответствии с определённым правилом комбинаторики.

3) аддитивная – эта мера предложена в 1928 г. американским учёным Хартли, поэтому имеет второе название – мера Хартли.

Хартли впервые ввёл специальное обозначение для количества информации – I – и предложил следующую логарифмическую зависимость между количеством информации и мощностью исходного алфавита:

I = l log h,

Данная формула даёт аналитическое определение бита (BIT – BInary digiT) по Хартли: это количество информации, которое содержится в двоичной цифре. Единицей измерения информации в аддитивной мере является бит.

Таким образом, разные представления ASCII–кода для одного символа содержат одинаковое количество информации, измеренной аддитивной мерой. 

2. Статистический подход

Учитывает вероятность появления сообщений: более информативным считается то сообщение, которое менее вероятно, т. е. менее всего ожидалось. Применяется при оценке значимости получаемой информации.

В 30-х г. ХХ в. американский ученый Клод Шеннон предложил связать количество информации, которое несет в себе некоторое сообщение, с вероятностью получения этого сообщения.

Вероятность p – количественная априорная (т. е. известная до проведения опыта) характеристика одного из исходов (событий) некоторого опыта. Измеряется в пределах от 0 до 1. Если заранее известны все исходы опыта, сумма их вероятностей равна 1, а сами исходы составляют полную группу событий. Если все исходы могут свершиться с одинаковой долей вероятности, они называются равновероятными.

3. Семантический подход

Учитывает целесообразность и полезность информации. Применяется при оценке эффективности получаемой информации и её соответствия реальности.

4. Вероятностный подход

Р. Хартли в 1928 г. процесс получения информации рассматривал как выбор одного сообщения из конечного наперёд заданного множества из N равновероятных сообщений, а количество информации I, содержащееся в выбранном сообщении, определял как двоичный логарифм N.

Согласно формуле Р. Хартли:

I = log₂N

– количество информации, которое вмещает один символ N-элементного алфавита, равно log₂N.

Клод Шеннон в 1948 г. предложил формулу определения количества информации, учитывающую возможную неодинаковую вероятность сообщений в наборе.

Каждому сигналу присваивалась определённая вероятность его появления.

Чем меньше вероятность появления того или иного сигнала, тем больше он несёт информации.

Формула К. Шеннона:

где p_i – вероятность появления i-го сигнала; N – количество возможных сигналов.

Количество информации здесь представляется как результат выбора из набора возможных вариантов.

В качестве единицы информации Клод Шеннон предложил принять один бит.

5. Алфавитный подход

Согласно Колмогорову, количество информации, содержащейся в последовательности символов, определяется минимально возможным количеством двоичных знаков, необходимых для кодирования этой последовательности безотносительно к содержанию представленного ею сообщения. При этом для кодирования наиболее часто используется двоичный алфавит, состоящий из нуля и единицы, это так называемое двоичное кодирование информации.

Бит. Байт.

1 БИТ – такое кол-во информации, которое содержит сообщение, уменьшающее неопределенность знаний в два раза.  БИТ- это наименьшая единица измерения информации.

Бит — это очень маленькая единица, поэтому часто используется величина в 8 раз большая — байт (byte), состоящая из двух 4-битных полубайт или тетрад. Байт обычно обозначают заглавной буквой B или Б. Как и для прочих стандартных единиц измерения для бита и бай- та существуют производные от них единицы, образуемые при помощи приставок кило (K), мега (M), гига (G или Г), тера (T), пета (P или П) и других. Но для битов и байтов они означают не степени 10, а степени двойки: кило — 210 = 1024 _ 103, мега — 220 _ 106, гига — 230 _ 109, тера — 240 _ 1012, пета — 250 _ 1015. Например, 1 KB = 8 Кbit = 1024 B = 8192 bit, 1 МБ = 1024 КБ = 1 048 576 Б = 8192 Кбит.

Применение к русскому алфавиту.

Широко используются двоичные коды:

EBCDIC (Extended Binary Coded Decimal Interchange Code) - символы кодируются восемью битами; популярен благодаря его использованию в IBM;

ASCII (American Standards Committee for Information Interchange) - семибитовый двоичный код.

Оба этих кода включают битовые комбинации для печатаемых символов и некоторых распространенных командных слов типа NUL, CR, ACK, NAK и др.

Для кодировки русского текста нужно вводить дополнительные битовые комбинации. Семибитовая кодировка здесь уже недостаточна. В восьмибитовой кодировке нужно под русские символы отводить двоичные комбинации, не занятые в общепринятом коде, чтобы сохранять неизменной кодировку латинских букв и других символов. Так возникли кодировка КОИ-8, затем при появлении персональных ЭВМ - альтернативная кодировка и при переходе к Windows - кодировка 1251. Множество используемых кодировок существенно усложняет проблему согласования почтовых программ в глобальных сетях.