Количество информации для равновероятных символов в сообщении

В сообщении из nэлементов вероятность каждого символа равнаp. Вероятностьnсимволов равна Р =. По формуле Шеннона (3.4):

С учетом того, что для равновероятных символов p=1/mимеем

(3.5)

Количество информации для неравновероятных независимых символов в сообщении

Пусть получили сообщение из nсимволов (в алфавитеmэлементов). Пусть каждыйi-ый символ встречалсяn_i раз, а вероятность появленияi-го символаp_i.

То есть, статистика сообщения следующая:

a1	a2	a3	…	am	символы
p1	p2	p3	…	pm	вероятности
n1	n2	n3	…	nm	количество появлений

Тогда вероятность появления n_i раз символаa_i будет, а вероятность появления всего сообщения (ввиду независимости символов) будет

но вероятность p_iможно определить апостериорно, исходя из частоты, если сообщение длинное:

Тогда , откуда вытекает

(3.6)

Пример 1.Студент Вася сообщил, что у него день рождения 25 октября. Какое количество информации он сообщил?

Решение.Вероятность этого сообщенияPравна 1/365≈0,0027

По формуле (3.4): I = -log₂P = -log₂0.0027 ≈ 8.5(бит)

Пример 2.У студента Васи спросили «У тебя сегодня день рождения?» Какое количество информации содержит ответ?

Решение.Ответ представляет собой сообщение, состоящее из одного символа двоичного алфавита: «да» или «нет». Вероятность символа «да» - 1/365, вероятность символа «нет» - 364/365. По формуле (3.6):

I = -1/365∙log₂1/365 – 364/365∙log₂364/365 ≈ 0.027(бит)

Количество информации в случае неравновероятных зависимых символов

В реальных условиях отсчеты, образующие сообщения, взаимосвязаны, например:

• снимается квантованный по уровню и времени электронный сигнал (см.рис. 3.1(б));

• количество заглавных букв в тексте связано с количеством точек;

• количество заголовков пакета связано с количеством контрольных сумм;

• и т.д.

Поэтому вероятность Рсообщения надо считать с использованием совместных вероятностей. Если учитывать взаимосвязь между парами символов(a_i, a_j), то следует использовать совместную вероятность появления парыp(a_i, a_j)= p_ij.

, (3.7)

если учитывать взаимосвязь между тремя отсчетами

и т.д.

3.3. Энтропия и ее свойства

Энтропия – мера неопределенности случайного состояния некоторой системы. Мы рассматриваем информационные системы, то есть системы, воспринимающие, хранящие, перерабатывающие и использующие информацию. Нормальное функционирование подобных систем – это прием-передача информационных сообщений.

Для целей теории информации мы определим энтропиюкак среднее количество информации, приходящееся на одно сообщение в ансамбле сообщений (или на один символ в отдельном сообщении). Иначе говоря,энтропия– это математическое ожидание количества информации в сообщении.

Пусть информационная система может порождать ансамбль (алфавит) сообщений a₁, a₂,…,a_m. Вероятности каждого сообщения: P(a₁), P(a₂), …,P(a_m). Так как вероятности сообщений не одинаковы, то они несут разное количество информации.

I(a_i) = - log₂ P(a_i).

Среднее количество информации (математическое ожидание):

(3.8)

Совершенно аналогично вводится энтропия сообщений:

Энтропия не зависит от конкретного сообщения. Это характеристика ин­фор­мационной системы (источника сообщений или канала передачи сооб­щений). Энтро­пия в таком виде является априорной характеристикой и может быть вычислена до эксперимента, если известна статистика сообщений. Энтропия характеризует неопределенность ситуации до передачи сообщения, поскольку заранее не известно, какое сообщение из ансамбля будет передано. Чем больше энтропия, тем сильнее неопределенность и тем большую информацию в среднем несет одно сообщение источника. Сравнивая формулы (3.8) и (3.6) видим, что I = n∙H.