10.10. Энтропия непрерывного источника и ее свойства

Энтропия дискретных источников определяется выражением (10.2). Для непрерывных источников сообщений воспользуемся этим же выражением, заменив вероятность на . В результате получим:

Но логарифм бесконечно малой величины ( ) равен минус бесконечности, в результате чего получаем:

Таким образом, энтропия непрерывных источников сообщений бесконечно велика. Но т.к. в последнем выражении первое слагаемое ( ) от величины или от не зависит, при определении энтропии непрерывных источников это слагаемое отбрасывают, учитывая только втрое слагаемое (некоторую «добавку» к бесконечности). Эта добавочная энтропия определяется формулой:

и называется дифференциальной энтропией непрерывных источников. В дальнейшем слово «дифференциальная» в определении энтропии будем иногда отпускать.

Как и для дискретных сообщений, существуют следующие разновидности дифференциальной энтропии непрерывных источников сообщений:

1. Условная энтропия относительно источника :

или

2. Совместная энтропия двух непрерывных источников сообщений:

или

Для независимых и .

Для совместной дифференциальной энтропии непрерывной случайной величины справедливы соотношения (10.18) и (10.19).

3. Взаимная информация , содержащаяся в двух непрерывных источниках сообщений и , определяется формулой (10.21).

Для независимых и .

4. Если случайная величина ограничена в объеме , то ее дифференциальная энтропия максимальна при равномерном законе распределения этой величины:

Рисунок 10.5. Равномерный закон распределения

Т.к. эта величина зависит только от разности и не зависит от абсолютных величин и , то не зависит от мат. ожидания случайной величины .

5. Если случайная величина не ограничена в объеме (т.е. может изменяться в пределах от до ), а ограничена только по мощности, то дифференциальная энтропия максимальна в случае гауссовского закона распределения этой величины. Определим этот максимум.

В соответствии с (10.28):

Отсюда:

Но математическое ожидание , отсюда получим:

Или окончательно:

Следовательно, энтропия зависит только от мощности . Эта важная формула будет использоваться позднее для определения пропускной способности непрерывного канала связи.

Заметим, что, как и ранее, не зависит от математического ожидания случайной величины . Это важное свойство энтропии. Оно объясняется тем, что математическое ожидание является неслучайной величиной.

10.11. Пропускная способность непрерывного канала связи

Если – сигнал на входе канала связи, а – сигнал на его выходе ( – аддитивная помеха), то скорость передачи информации по непрерывному каналу связи будет определяться выражением (10.24), в котором величину надо заменить на :

где, как и ранее – это энтропия выходного сообщения, – энтропия шума (почему она так называется, будет видно из дальнейшего изложения).

Пропускная способность равна максимально возможной скорости передачи по каналу связи, когда источник сигнала полностью согласован с характеристиками канала связи:

Максимум достигается в случае гауссовского закона распределения величины . При этом:

При учете влияния помехи необходимо рассматривать наихудший случай, когда помеха распределена также по гауссовскому закону. Условная вероятность – это фактически плотность вероятности случайной величины при якобы известном заранее значении , хотя величина является случайной. Но, т.к. , можно записать:

где – дисперсия величины при известном , т.е. дисперсия помехи . Определим условную энтропию h :

В этом выражении предполагается, что известно заранее. Таким образом, величина в приведенном выражении является математическим ожиданием величины . Однако известно, что энтропия непрерывного случайного процесса от математического ожидания не зависит. Тогда получаем:

Отсюда видно, почему условная энтропия называется энтропией шума.

Для гауссовского закона распределения помехи максимальное значение энтропии шума в соответствии (10.31) будет равно

Подставляя (10.34) и (10.35) в (10.33), получаем:

Перенося число 2 под знак логарифма, получим:

В этом выражении – мощность помехи, а , где – мощность сигнала на выходе канала связи. С учетом этого получаем окончательную формулу для вычисления пропускной способности непрерывного канала связи (формулу Шеннона):

В заключение отметим следующее.

Для достижения скорости передачи информации по непрерывному каналу связи, близкой к пропускной способности канала связи, сигнал по статической структуре должен быть близок к флуктуационной помехе (белому шуму) с гауссовским законом распределения.