5. Энтропия и информация

Рассмотрим некоторую систему X, над которой производится наблюдение, и оценим информацию, получаемую в результате того, что состояние системы Х становится полностью известным. До полу­чения сведений (априори) энтропия системы была Н (X); после полу­чения сведений состояние системы полностью определилось, т. е. энтропия стала равной нулю. Обозначим Ix информацию, получаемую в результате выяснения состояния системы X. Она равна уменьше­нию энтропии:

Ix=Н(Х)-0 или

Ix=Н(Х ) (7)

т. е. количество информации, приобретаемое при полном выяснении состояния некоторой физической системы, равно энтропии этой системы.

Представим формулу (7) в виде:

Ix= - pi log pi

где pi=P(X~xi)

Пример 1. На шахматной доске в одной из клеток произвольным об­разом поставлена фигура. Априори все положения фигуры на доске одинаково вероятны. Определить информацию, получаемую от сообщения, в какой именно клетке находится фигура.

Решение. Энтропия системы Х с п равновероятными состояниями равна log n; в данном случае

Ix = Н (X) = log 64 = 6 (дв. ед.),

т. е. сообщение содержит 6 двоичных единиц информации. Так как все со­стояния системы равновероятны, то ту же информацию несет и любое кон­кретное сообщение типа: фигура находится в квадрате е2.

6. Энтропия и Информация для систем с непрерывным множеством состояний

На практике часто встречаются физические системы, аналогичные непрерывным случай­ным величинам. Состояния таких систем нельзя перенумеровать: они непрерывно переходят одно в другое, причем каждое отдельное со­стояние имеет вероятность, равную нулю, а распределение вероят­ностей характеризуется некоторой плотностью. Такие системы, по аналогии с непрерывными случайными величинами, на­зываются «непрерывными».

Рассмотрим простую систему X, определяемую одной непрерыв­ной случайной величиной Х с плотностью распределения f(х). Энтропия такой системы

Н(Х) = Н*(Х) – log x, где

Н*(Х) = -  f(x) log f(x) dx

Или эту формулу можно переписать в следующем виде.

Н(X) = -  f(x) log f(x) xdx

Пример. Найти энтропию непрерывной системы Х, все состояния которой на участке (,) одинаково вероятны

f(x) = 1/( - ), при  < x > 

0, при х<, x> 

Решение.

Н*(Х) = -  (1/( - )) log (1/( - )) dx = log ( - )

Н(Х) = log ( - ) - log x

Н(Х) = log (( - )/ x)

Аналогично дается определение информации для систем с непрерывным множеством состояний.

7. Пропускная способность канала. Теоремы Шеннона

Пусть имеется источник информации Х и приемник Y, связанные каналом связи К .

Известна производительность источника информации Н1(Х), т. е. среднее количество двоичных единиц информации, поступающее от источника в единицу времени (численно оно равно средней энтропии сообщения, производимого источником в единицу вре­мени). Пусть, кроме того, известна про­пускная способность канала С1, т. е. максимальное количество информации (на­пример, двоичных знаков 0 или 1), которое способен передать канал в ту же единицу времени. Возникает вопрос: какова должна быть пропускная способность канала, чтобы он «справлялся» со своей за­дачей, т. е. чтобы информация от источника Х к приемнику Y по­ступала без задержки?

Ответ на этот вопрос дает первая теорема Шеннона. Сформули­руем ее здесь без доказательства. 1-я теорема Шеннона

Если пропускная способность канала связи С, больше энтро­пии источника информации в единицу времени

С1>Н1(Х).

то всегда можно закодировать достаточно длинное сообще­ние так, чтобы, оно передавалось каналом связи без задержки. Если же, напротив,

С1<Н1(Х),

то передача информации без задержек невозможна.

2-я теорема Шеннона

Пусть имеется источник информации Х, энтропия которого в единицу времени равна Н(Х), и канал с пропускной способностью С. Тогда если

Н(Х) > С,

То при любом кодировании передача сообщений без задержек и искажений невозможна. Если же

Н(Х) < С,

То всегда можно закодировать сообщение так, чтобы оно было передано без задержек и искажений с вероятностью, сколь угодно близкой к единице.