6.10. Скорость передачи

И пропускная способность

Непрерывного канала.

Формула Шеннона

Для того чтобы найти среднее количество информации передаваемое сигналом на интервале Т, необходимо рассмотреть n=2FT отсчетов непрерывного сигнала на входе канала: и на выходе канала: . В этом случае по аналогии с выражениями (6.63) и (6.69) можно записать:

(6.70)

где

Энтропия и описывается аналогичным выражениями, только всюду необходимо поменять местами переменные s и х. Скорость передачи информации по непрерывному каналу находится как предел:

(6.71)

Максимальная скорость передачи в непрерывном канале определяет его пропускную способность:

(6.72)

где максимум определяется по всем возможным ансамблям входных сигналов s.

Вычислим пропускную способность непрерывного канала, в котором помехой является аддитивный шум w(t), представляющий собой случайный эргодический процесс с нормальным и равномерным спектром.

Средние мощности сигнала и шума ограничены величинами Р_с и Р_ш, а ширина их спектра равна F.

Согласно выражениям (6.70) и (6.72) имеем:

(6.73)

Прежде всего найдем величину . С этой целью рассмотрим энтропию шума для одного отсчета, которая, с учетом соотношения может быть представлена в виде:

(6.74)

При заданном значении сигнал на выходе канала полностью определяется аддитивным шумом . Поэтому:

(6.75)

где — плотность вероятности шума.

Подставляя (6.75) в (6.74) и заменяя переменную на , т. е. подставляя вместо сумму , можем записать:

Принимая во внимание, что , получим:

Следовательно, условная энтропия при аддитивном шуме зависит только от его распределения что и объясняет термин “энтропия шума”. Поэтому, на интервале Т:

(6.76)

где

Значения шума с равномерным спектром не коррелированы между собой в моменты отсчетов, разделенные интервалом . Отсутствие статистической взаимосвязи между отсчетами шума позволяет представить энтропию суммы

отсчетов шума (6.76) как сумму n энтропии отдельных отсчетов, которые вследствие стационарности шума равны между собой. С учетом этих соображений можно записать:

(6.77)

где вместо подставлено .

При данной величине пропускная способность (6.73) отыскивается путем максимизации . Максимум , очевидно, имеет место, когда сигнал х, так же, как и шум, характеризуется нормальным распределением и равномерным спектром.

Отсюда:

(6.78)

Здесь предполагается, что сигнал s и помеха w независимы, поэтому мощность сигнала x равна сумме мощностей . Подставляя (6.78) в (6.73), окончательно получаем:

(6.79)

Так как x и w имеют нормальное распределение, то сигнал s = x - w так же должен иметь нормальное распределение. Отсюда следует важный вывод: для того чтобы получить максимальную скорость передачи информации, необходимо применять сигналы с нормальным распределением и равномерным спектром.

Формула (6.79), впервые выведенная Шенноном, играет важную роль в теории и технике передачи информации. Она показывает те предельные возможности, к которым следует стремиться при разработке современных систем передачи информации. Так как при равномерном спектре мощность шума определяется произведением то формулу (6.79) можно записать в другом виде:

(6.80)

С увеличением F пропускная способность монотонно возрастает и стремится к величине:

(6.81)

Формулу (6.80) можно рассматривать и таким образом, что при фиксированных значениях пропускной способности С и энергетического спектра шума N₀ существует обратная зависимость Р_с и F. Иными словами, допускается уменьшение мощности сигнала за счет расширения его спектра.

Формулу (6.79), выведенную для равномерных спектров сигнала и шума, можно распространить и на случай неравномерных спектров. Можно показать, что при заданных спектрах шума и сигнала максимум пропускной способности С имеет место в случае выполнения условия:

(6.82)

т. е. мощность сигнала должна возрастать на тех частотах, где уменьшается мощность шума, и наоборот. Можно также поставить вопрос: если выполняется условие (6.82), то при каком спектре шума получается минимальная пропускная способность? Оказывается, что этому условию удовлетворяет равномерный спектр, т. е. спектр "белого шума". Таким образом, белый шум, уменьшающий в наибольшей степени пропускную способность, является самым опасным видом помех.

Рассмотрим теперь вопрос о производительности источника непрерывных сообщений и о влиянии на качество их передачи помех, действующих в канале связи. При отсутствии каких-либо ограничений, накладываемых на непрерывные сообщения, количество содержащейся в них информации согласно (6.1) равно бесконечности:

Поэтому источник таких сообщений обладает бесконечной производительностью. Для того чтобы количество информации и производительность источника приобрели определенный смысл и стали конечными величинами, необходимо рассматривать непрерывное сообщение u(t) с учетом точности его оценки. Последняя, в частности, определяется погрешностью приборов, с помощью которых измеряется или регистрируется непрерывное сообщение. Обычно погрешность количественно оценивается среднеквадратическим отклонением приближенного непрерывного сообщения u*(t) от его точного значения и (t):

Нетрудно понять что чем меньше , тем большее количество информации в среднем содержится в u*(t) относительно u(t) и тем выше производительность источника.

Наименьшее значение при называется эпсилон-энтропией:

(6.83)

Тогда производительность источника непрерывных сообщений

(6.84)

Для непрерывного канала с пропускной способностью С. на вход которого подключается источник, обладающий производительностью R_и, Шенноном была доказана следующая теорема.

Если при заданной погрешности оценки сообщений источника его производительность R_и <С, то существует способ кодирования, позволяющий передавать все непрерывные сообщения источника с ошибкой в воспроизведении на выходе канала, сколь угодно мало отличающейся от

Иначе говоря, дополнительная неточность в воспроизведении сообщения v(t) на выходе канала, обусловленная воздействием помех, может быть сделана весьма незначительной.

Скорость передачи информации по каналу в конечном счете определяется скоростью потока информации на выходе приемника. Если считать, что сообщение v(t) и помеха w*(t) на выходе приемника имеют нормальное распределение и равномерный спектр, то:

(6.85)

Здесь - ширина спектра частот, принимаемого сообщения, обычно равная полосе пропускания приёмника по низкой частоте;- средняя мощность принятого сообщения- средняя мощность шума на выходе приёмника.