7.Информация в непрерывных сообщениях

Под непрерывным сообщением подразумеваются сообщения, состоящие из символов бесконечного алфавита, т.е. символы такого сообщения представляют собой непрерывное множество из некоторого конечного интервала. Поэтому непрерывное сообщение можно рассматривать как некую непрерывную функцию.

Подходы, приведенные для оценки количества информации, содержащейся в дискретных сообщениях, непосредственно применить

к непрерывным сообщениям не удается, так как это приводит к результату, противоречащему здравому смыслу.

Действительно, поскольку алфавит источника непрерывных со- общений (L) бесконечен и число символов в сообщении (n) также бесконечно, то и количество информации, содержащееся в непрерывном сообщении даже конечной длины, равно бесконечности, т.е.

(32)

Однако для реальных источников сообщений это противоречие устранимо. Действительно, реальные источники сообщений обладают инерционностью, что выражается в ограниченности спектра непрерывных сообщений, и, следовательно, к ним применима теорема Котельникова («теорема отсчетов»). Из этой теоремы следует, что непрерывное сообщение длительностью Т и верхней граничной частотой в спектре может быть представлено равноотстоящими мгновенными значениями этого сообщения с интервалом t=1/2. При этом общее чис-ло их не будет превышать значения N, равного

. (33)

Кроме того, в реальных системах всегда присутствуют помехи (шумы), что ограничивает количество различимых символов сообще- ния. Действительно, для надежного распознавания соседних симво- лов необходимо, чтобы разность между ними была больше, чем уро- вень помехи (шума).

При заданной средней мощности помехи (Р_n) и мощности сообще- ния число различимых символов (L) непрерывного сообщения приближенно можно определить из соотношения:

(34)

Таким образом, непрерывное сообщение длительностью Т и спектром, ограниченным , может быть представлено дискретным сообщением изN символов с алфавитом объемом L . Теперь, в соответствии с определением количества информации по P. Хартли, можно получить формулу для оценки максимального количества информации в таком сообщении (I_n):

(35)

Можно так же подсчитать предельную информационную емкость непрерывного сообщения (R):

(36)

при условии, что 2TF_m>>1.

Следует отметить, что приведенные выше соотношения справедливы только при условии взаимной независимости и равновероятности появления символов непрерывного сообщения и при условии, что шум аддитивный и «белый».

Формула (36) устанавливает как предельную информационную емкость сообщения, так и предельную скорость передачи информации. Из нее следует, что важнейшими характеристиками источника непрерывных сообщений (и канала передачи информации) являются ширина спектра и отношение мощности сигнала к мощности помех.