2.3. Энтропия дискретного сигнала. Количество информации

В связи с тем, что случайные процессы являются адекватной моделью сигналов, имеется возможность воспользоваться результатами и мощным аппаратом теории случайных процессов. Кроме того, некоторые типы непрерывных сигналов допускают дискретное представление, поэтому задача упрощается, сведением к рассмотрению случайных величин. Это не означает, что теория вероятностей и теория случайных процессов дают готовые ответы на все вопросы о сигналах: подход с новых позиций выдвигает такие вопросы, которые раньше просто не возникали. Так и родилась теория информации, специально рассматривающая сигнальную специфику случайных процессов. Первым специфическим понятием теории информации является понятие неопределенности случайного объекта, для которой удалось ввести количественную меру, названную энтропией. Начнем с простейшего варианта – со случайного события. Пусть, например, некоторое событие может произойти с вероятностью 0,99 и не произойти с вероятностью 0,01, а другое событие имеет вероятности соответственно 0,5 и 0,5. Очевидно, что в первом случае результатом опыта «почти наверняка» является наступление события, во втором же случае неопределенность исхода так велика, что от прогноза разумнее воздержаться. Для характеристики размытости распределений широко используется второй центральный момент (дисперсия) или доверительный интервал. Однако эти величины имеют смысл лишь для случайных числовых величин и не могут применяться к случайным объектам, состояния которых различаются качественно, хотя и в этом случае можно говорить о большей или меньшей неопределенности исхода опыта. Следовательно, мера неопределенности, связанной с распределением, должна быть некоторой его числовой характеристикой, функционалом от распределения, никак не связанным с тем, в какой шкале измеряются реализации случайного объекта.

Пусть в системе передачи информации используется сигнал, информативный параметр которого X принимает конечное или счетное множество значений. До получения сигнала адресату неизвестно, какое сообщение поступит. Количество информации, которое получает адресат, некоторым образом связано с неопределенностью ситуации зависящей, в конечном счете, от числа возможных сообщений.

Пример: 1) Сообщение из которого можно узнать, какая команда выиграла в интересующем нас матче. 2) Сообщение, из которого можно узнать, с каким счетом сыграли команды. Неопределенность (1) сообщения выражается числом равным 3, неопределенность (2) сообщения выражается гораздо большим числом альтернатив. Первое сообщение содержит меньше информации. Т.е. чем больше число возможных сообщений (число возможных значений сигнала), тем большая неопределенность и тем большее количество информации получает адресат, когда эта неопределенность снимается. Впервые количественная оценка неопределенности была введена американским инженером Р. Хартли в 1928 году. Степень неопределенности опыта X с m различными исходами он предложил характеризовать числом:

H(X) = log m.

В этой оценке неопределенности не учтены вероятности различных исходов. Дальнейшее развитие понятие неопределенности получило в работах К. Шеннона. Формула Хартли справедлива, когда вероятность любого исхода p = 1/m, тогда H(X) = - log p. Шеннон применил эту формулу к разновероятным исходам. Для опыта X = {x₁, x₂, …, x_m}, где x₁, x₂, …, x_m – возможные исходы с вероятностями p₁, p₂, …, p_m. Вероятность каждого исхода:

- log p₁, - log p₂, ..., - log p_m.

Математическое ожидание:

как мера неопределенности, получило название – энтропия.

Количество информации – мера снятой неопределенности в процессе получения сигнала адресатом. Предположим, что априорно ситуация характеризовалась энтропией H₁, после получения сигнала, энтропия уменьшилась до H₂, тогда количество информации, полученное адресатом, составит: I = H₁ - H₂. Основание логарифма может быть выбрано любым, на практике, чаще всего используется основание 2, т.е.

_{Единица измерения, используемая для количественной оценки энтропии, называется бит.}

Пример:

X	x1	x2
p	0,5	0,5

_бит