3.3. Характеристики дискретных каналов

Канал с независимыми символами ( ) на входе и ( ) на выходе опишем априорными вероятностями входных символов и переходными вероятностями приема каждого символа при передаче . Апостериорная вероятность передачи символа при принятом символе равна . Пусть входной символ соответствует выходному . Вероятность правильного приема равна , а вероятность ошибки - .

Пусть дискретно-непрерывный канал имеет независимые символы на входе и непрерывный сигнал на выходе. Канал задан априорными вероятностями входных символов и переходными плотностями вероятности (функциями правдоподобия) приема реализации при передаче . Канал можно описать и апостериорными плотностями вероятности передачи при приеме . Плотность вероятности принимаемого колебания , и - по формуле Байеса . Непрерывно-дискретный канал задается аналогично.

Пример 3.3.1. Пусть и - случайные двоичные величины на входе и выходе канала. Пусть входные символы равновероятны. Условные вероятности выходных символов при известном входе заданы как , , и . Найдем, сколько информации об и содержит событие :

Взаимная информация о символе при наблюдении равна

Взаимная информация о символе при наблюдении равна

Для канала без шумов , так что бит. Значит, если выход точно определяет вход, нет потери информации. При обрыве канала , так что - канал непригоден.

Пусть - сообщение источника в канал, а - сообщение, принимаемое приемником. Тогда в (2.8) - среднее количество информации, получаемое приемником с приходом символа, а ненадежность - среднее количество информации, теряемое в канале связи. Шумовая энтропия зависит лишь от помех в канале. Пусть - среднее время передачи символа по каналу. Среднее количество информации, передаваемое по каналу в единицу времени, - скорость передачи информации по каналу

(3.4)

3.4. Пропускная способность непрерывных каналов

Пусть сигнал на выходе канала - наложение полезного сигнала на аддитивный шум :

(3.5)

на интервале анализа , сигнал статистически не зависит от шума . Полоса пропускания канала по частоте - . На интервале , согласно (2.15), каждую из величин и представим совокупностью ее статистически независимых отсчетов, .

Пропускной способностью непрерывного канала называется максимально возможная скорость передачи информации по каналу при допущении как угодно больших длительностей информационных последовательностей:

(3.6)

где - количество информации о какой-либо реализации сигнала длительности , которое в среднем содержит соответствующая реализация сигнала ; максимум ищется по всем возможным распределениям .

Для нашей модели канала из (2.19) следует, что , где - дифференциальная энтропия шума. С учетом (2.20) перепишем (3.6):

(3.7)

Пусть - односторонняя спектральная плотность мощности аддитивного белого гауссовского шума, а ( ) - средняя мощность полезного сигнала (шума) в полосе пропускания канала. Дифференциальная энтропия шума (см. (2.18), - дисперсия шума, ). Пусть входной сигнал имеет гауссовскую статистику и нулевое математическое ожидание. С учетом ЦПТ из (3.5) следует, что статистика - тоже гауссовская с дисперсией . При заданной дисперсии дифференциальная энтропия максимальна для гауссовской величины - (см. (2.18)). Выражения, найденные для и , подставим в (3.7). Получим формулу Шеннона для пропускной способности непрерывного канала с аддитивным белым гауссовским шумом и ограниченной полосой пропускания :

(3.8)

Формула (3.8) связывает пропускную способность изучаемого канала с техническими характеристиками системы передачи (шириной полосы пропускания канала и отношением сигнал/шум ). Заданную пропускную способность можно получить при разных соотношениях между и . Возможен обмен полосы пропускания на мощность сигнала и наоборот. С учетом зависимости от и целесообразен обмен мощности на полосу. Величина растет с увеличением так, что при , где , так как . Пропускная способность канала с негауссовским шумом больше, чем в (3.8) .