5. Энтропия непрерывного источника сообщений

Непрерывный сигнал , принимает бесконечное множество возможных значений на интервале. Вероятность появления конкретного значения, бесконечно мала, вследствие бесконечного количества их возможных значений. Пусть– плотность вероятности сигналана интервале.

Для получения значения энтропии сигнала разделим область изменения сигналанаинтервалов с равномерным шагом(см. рис. 4.3). Вероятность нахождения сигнала в интервале отдосоответственно будет равна. В случае если рассмотреть дискретный источник, где в качестве сообщения будем рассматривать факт нахождения значенияна интервале, то по (2.10) энтропия источника непрерывных сообщений будет равна

(2.25)

При переходе и так как, получим

. (2.26)

Таким образом, энтропия непрерывного источника сообщений равна бесконечности.

Первую часть выражения (2.26) можно рассматривать как дифференциальную энтропию непрерывного источника сообщений:

. (2.27)

Значение показывает степень неопределенности различных процессов. Исходя из (2.27) значение дифференциальной энтропии может быть.

Максимальное значение достигается при нормальном распределении сигнала[]. Дляс дисперсиейзначение

. (2.28)

5. Пропускная способность непрерывного канала связи

Рис. 3.5. Непрерывный канал связи с ошибкой

В непрерывном канале связи (рис. 2.5), при условии действии аддитивной помехи , сигнал на выходе канала связи будет равен:

, (2.28)

то количество передаваемой информации можно определить как:

.

Так как при фиксированном неопределенностьопределяется исключительно, то дифференциальная энтропия помехи.

Скорость передачи информации по непрерывному каналу связи согласно (2.19) можно определить как

,

где количество отсчетов секунду (скорость) дискретного сигнала, с частотой дискретизации, равной верхней частоте исходного сигнала. Согласно теореме Котельникова, для точного представления сигнала, необходимо чтобы

.

Пропускная способность непрерывного канала связи:

. (2.29)

Минимальное значение пропускной соборности непрерывного канала связи , достигается при отсутствии автокорреляции значений помехи, что соответствует равномерному распределению энергетического спектра помехи по всему частотному диапазону пропускной способности канала связи.

Для заданных дисперсий сигнала и помехи,, согласно (2.18) получаем

.

Исходя из этого (2.29) можно переписать как:

, (2.30)

где – соотношение сигнал/шум.

Выражение (2.20) показывает зависимость пропускной способности непрерывного канала связи от ширины полосы пропускания сигнала и соотношения сигнал/шум. Увеличение пропускной способности канала связи может быть достигнуто за счет увеличение полосы пропускания или мощности сигнала. Однако, последнее на практике применяется крайне редко, вследствие логарифмического характера зависимости.

Если рассмотреть мощность шума через его энергетический спектр,и устремить полосу пропускания сигнала к бесконечности, получим:

,

так как ,

. (2.31)

Рис. 3.6. Зависимость пропускной способности непрерывного канала связи с гауссовым шумом от полосы пропускания

На рис. 2.6 представлена зависимость пропускной способности непрерывного канала связи от полосы пропускания сигнала для фиксированных и, полученное по (2.30), и предельное значение, полученное по (2.31). Характер зависимости вызван ростом мощности шума при увеличении полосы пропускания. Графики показывают, что предельное значение пропускной способности канала связи не может превышать предельное значение, определяемое отношением мощностей сигнала и помехи.

На вход непрерывного канала связи поступают символы кодируемые из посылаемых источником дискретных сообщений символов. Структура рассматриваемой системы связи приведена на рис. 2.7.

Рис. 3.7. Структурная схема системы связи

Исходя из теоремы оптимального кодирования (2.24) для существования оптимального способа кодирования в, необходимо чтобы:

.

Рассматривая данный случай применительно к системе связи представленной на рис. 2.7, можно записать следующее:

,

. (2.32)

Формула (2.32) определяет возможность построения оптимального кода в зависимости от свойств непрерывного канала связи.

Для оценки степени согласования дискретного и непрерывного каналов связи используется показатель:

,

где – объем алфавита источника дискретных сообщений.

Исходя из (2.32),

.

Показатель – показывает эффективность дискретного кодирования и используемой системы преобразования дискретных данных, в непрерывный сигнал.

Как отмечалось в разделе 2, для передачи сигналов в системах связи используются различные виды модуляции. В этом случае структурную схему системы связи (рис. 2.7) можно перерисовать в следующем виде (рис. 2.8).

Рис. 3.8. Структура системы связи

Рис. 3.9. Зависимость выигрыша системы модуляции от соотношения сигнал шум в канале для различных видов модуляции и отношений верхней частоты сигала к полосе пропускания канала

Для оценки качества модуляции (демодуляции) используется коэффициент , называемым выигрышем системы модуляции. Графики зависимости от соотношения сигнал/шум в канале для различных систем модуляции и отношений верхней частоты сигнала к полосе пропускания непрерывного канала связи показаны на рис. 2.9. Пунктиром показан идеальный случай, сплошной линией значения, получаемые для реальных систем связи.