![](/user_photo/1334_ivfwg.png)
4. Непрерывный канал с аддитивным белым гауссовским шумом
Говорят, что в канале действует аддитивный белый гауссовский шум, если шумовой процесс Z(t) является процессом белого гауссовского шума. Это означает, что для любой системы ортонормированных функций φi (t), i = 1, 2, ..., случайные величины
(4.1)
являются совместно гауссовскими и статистически независимыми. Математическое ожидание каждой из С.В. (2.3) равно нулю, а дисперсия равна N0/2 — интенсивности белого шума. Такой процесс можно представить себе как сумму бесконечного числа составляющих вида Ziφi(t) (гармонических составляющих, если φi (t), i — 1, 2, ..., — гармонические функции). Мощность каждой составляющей равна N0/2 — отсюда название белый шум. Реально белый шум не может существовать, иначе процесс имел бы бесконечную мощность. Однако он является удобной математической моделью для описания реальных каналов, шум в которых имеет достаточно широкий спектр.
Предположим теперь, что некоторая функция х(t), заданная на интервале [0, Т], представима в виде конечного ряда
(4.2)
где φi (t), i = 1, 2, ..., ST, — некоторая фиксированная система ортонормированных на интервале [О, Т] функций, a S — некоторое фиксированное число. Ограничение на конечность ряда можно интерпретировать как ограничение на полосу, занимаемую сигналом x(t) (на полосу частот, если φi (t), i = 1, 2, ... — гармонические функции и Т достаточно велико).
Действительно,
пусть { φi
(t)} — ортонормальные (Две
функции – φ1(t)
и φ2(t)
называется ортогональными, если
.
Функция φ(t)
называется нормированной, если
.
Система ортогональных нормированных
функций называется системой
ортонормированных функций)
гармонические функции на интервале
[-Т/2, Т/2], т. е.
(4.3)
Число ω = 2π (i/T) является круговой частотой колебания φi (t). Поскольку φi (t) является отрезком длины Т гармонического колебания, то в его спектре имеются компоненты, частоты которых отличаются от 2 (i/T). Так как спектр функции φi (t) равен
(4.4)
и
так как функция (sin x )/x равна единице
при х = 0 и убывает к нуля при увеличении
х, то при больших значениях T спектр
функции φi
(t) сосредоточен вблизи частоты
.
Если некоторая функция х (t) имеет
разложение вида (4.2) в ряд не более чем
с 2WT
+ 1 членами, соответствующими значениям
i таким, что
то при больших Т почти весь спектр
функции х(t) будет находиться внутри
полосы частот
.
Будем полагать S = 2W и говорить, что сигналы, представимые в виде, (4.2) удовлетворяют ограничению W на полосу частот.
Таким образом, мы приходим к модели непрерывного канала с аддитивным белым гауссовским шумом и ограничениями на среднюю мощность и на полосу частот входных сигналов. Код для такого канала определяется так же, как в определении 2.3, с тем только отличием, что каждое кодовое слово дополнительно удовлетворяет ограничению W на полосу частот, т. е. каждое кодовое слово представимо в виде конечного ряда с 2WT членами по некоторой фиксированной системе ортонормальных функций. Аналогичным образом определяется пропускная способность и информационная емкость. В определении информационной емкости дополнительно требуется, чтобы случайный процесс Хт (t) имел представление в виде конечного ряда с 2WT членами относительно той же фиксированной системы ортонормальных функций:
(4.5)
Теорема
2.
Информационная
емкость
непрерывного канала с аддитивным белым
гауссовским шумом при ограничении Р на
среднюю мощность и ограничении W на
полосу частот, не зависит от выбора
системы из 2WT ортонормированных функций
и определяется соотношением:
(4.6)
где N0/2 – интенсивность белого шума.
Доказательство:
Напомним вначале, что средняя взаимная информация между двумя случайными процессами ХT (t) и YT (t), заданными на интервале [0, T], определяется как следующий предел, если он существует,
(4.7)
где
(4.8)
и
—
произвольная полная в пространстве
функций, интегрируемых с квадратом,
система ортонормированных функций.
Пусть случайный процесс ХT (t) удовлетворяет условию (4.5). Так как случайные величины Xi при i > 2WT вырождены (тождественно равны нулю), то они статистически независимы от первых 2WT случайных величин и от всех С.В. Yj, j = 1,2… . Поэтому при всех n ≥ 2WT:
(4.9)
и, следовательно,
(4.10)
Так как ZT (t) — белый гауссовский шум с интенсивностью Nо/2, то
(4.11)
являются в совокупности гауссовскими и статистическими независимыми случайными величинами, причем математическое ожидание каждой из этих с.в. равно нулю, а дисперсия равна N0/2. В канале с аддитивным белым гауссовским шумом случайный процесс YT (t), процесс на выходе канала, может быть представлен как
(4.12)
Тогда:
(4.13)
причем, случайные величины Xi, Zi, i,j = 1, 2, …, статистически независимы в силу независимости процессов XT (t) и ZT (t).
Из равенства (4.10) следует, что для вычисления средней взаимной информации между процессами XT (t) и YT (t) при условии, что XT (t) удовлетворяет ограничению W на полосу частот достаточно рассматривать взаимную информацию между входом и выходом непрерывного канала «дискретного времени», в котором на вход подается последовательность Х1, …, Хn, на выходе появляется последовательность Y1, …, Yn и действует аддитивный гауссовский шум Z1, …, Zn, n = 2WT. Поскольку случайная величина Z1, …, Zn статистически независимы и имеют одинаковое распределение вероятностей с нулевым средним и дисперсией N0/2, то рассматриваемый канал является непрерывным каналом без памяти с дискретным временем и с аддитивным гауссовским шумом.
Если
процесс
удовлетворяет, кроме того, ограничению
Р на среднюю мощность, т.е.
то
из (4.5) и из ортонормальности функций
,i
= 1, 2, …, n
= 2WT,
следует, что:
(4.14)
т.е. последовательность случайных величин X1, …, Xn удовлетворяет следующему ограничению на среднюю мощность:
(4.15)
Из определения информационной емкости следует, что
(4.16)
где в последнем выражении верхняя грань разыскивается по всем n = 1,2,… и по всем последовательностям случайных величин Х1, …, Xn таким, что выполняется условие [2.15].
Согласно теореме об информационной емкости непрерывного канала без памяти с ограничением Р на среднюю мощность входных сигналов, получаем:
(4.17)
где
множество
определено соотношением:
Согласно
теореме об информационной емкости
непрерывного канала без памяти с
дискретным временем, с аддитивным белым
гауссовским шумом мощности
и ограничением Р на среднюю мощность
входных сигналов, получаем:
.
(4.18)
Теперь из (4.16) – (4.18) следует выражение (4.6). Теорема доказана.
Для непрерывного канала с аддитивным белым гауссовским шумом при ограничении на среднюю полосу частот справедлива обратная теорема кодирования. Мы приведем только её формулировку, т.к. доказательство такой теоремы идентично теореме 1.
Теорема
3 (обратная
теорема кодирования для непрерывных
каналов с аддитивным белым гауссовским
шумом при ограничениях на среднюю полосу
частот сигналов на входе)
Пусть
- информационная емкость канала и ε –
произвольное положительное число. Тогда
найдется положительное число δ, зависящее
отR,
такое, что для всякого Т и всякого кода
G
(T;
R),
,
удовлетворяющего ограничению Р на
среднюю мощность и ограничениюW
на полосу частот, средняя вероятность
ошибки λ ≥ δ.
Она устанавливает, что для всякого кода, удовлетворяющего ограничениям на среднюю мощность и полосу частот и имеющего скорость R больше, чем информационная емкость C* указанного канала, средняя вероятность ошибки не может быть сделана произвольно малой, а остается не меньшей, чем некоторое положительное число. Доказательство этой теоремы в точности повторяет доказательство теоремы 1.