Понятие количества информации

Количеством информации называют числовую характеристику сигнала, отражающую ту степень неопределенности (неполноту знаний), которая исчезает после получения сообщения в виде данного сигнала. Эту меру неопределенности в теории информации называют энтропией.

Количество информации, которое можно получить при ответе на вопрос типа «да-нет», называется битом (англ. bit — сокращенное от binary digit — двоичная единица). Бит — минимальная единица количества информации, ибо получить информацию меньшую, чем 1 бит, невозможно. При получении информации в 1 бит неопределенность уменьшается в 2 раза. Таким образом, каждое бросание монеты дает нам информацию в 1 бит.

Связь между количеством информации и числом состояний системы устанавливается формулой Хартли: i=log₂N,

где i — количество информации в битах; N —. число возможных состояний. Ту же формулу можно представить иначе: N =2ⁱ.

Группа из 8 битов информации называется байтом

Во всех отмеченных подходах к представлению информации важным является способ измерения количества информации. Существует несколько подходов к измерению количества информации Статистический, Семантический, Прагматический:

• Статистический подход — оценивается количество информации в передаваемых сообщениях о состояниях некоторой системы, которая может иметь определённое количество дискретных состояний. Если до получения информации было известно сколько таких состояний может получать система и после получения стало известно в каком состоянии она оказалась, то можно получить количество принятой информации как меру снятия неопределённости о состоянии системы. Если считать, что все N состояний системы равновероятны, количество информации можно определить, используя формулу английского инженера Р.Хартли i = log₂ N , причем N = 2^I

Пример: "Бросание монеты": перед броском существует неопределенность, как упадет монета предсказать невозможно. После броска реализуется полная определенность (например "орел"). Аналогично, при бросании четырехгранной пирамиды существуют 4 возможных исхода, а при бросании игрального кубика — 6 возможных исходов.

Вывод: чем больше возможных событий, тем больше начальная неопределенность результата и, главное, тем больше количество информации будет получено после проведения опыта.

• Семантический подход — количество полученной информации измеряется с учётом её смысла для получателя. Оценивается количество смысла полученной информации, с помощью сравнения объёмов тезаурусов до и после получения информации, т.е. оно равно разности тезауруса S_п до получения информации S_п.0 и после получения информации S_п.1, т.е. I = S_п.1 – S_п.0 .

Определение. Тезаурус — свод слов, устойчивых словосочетаний, описывающих предметную область, сгруппированных и упорядоченных по некоторым правилам (например, в порядке убывания алфавита).

• Прагматический подход — количество информации в данном случае оценивается как полезность сообщения. Для этого используется следующее соотношение I = log₂ (P₁/P₀) , где P — вероятность решения задачи: P₀ до получения сообщения и P₁ после получения сообщения.