Здесь определены средняя λ и максимальная λ.

Пропускная способность С непрерывного канала при ограничении на среднюю мощность сигналов на входе определяется аналогично пропускной способности непрерывных каналов с дискретным временем.

Определение 4: Пропускной способностью непрерывного канала с дискретным временем при ограничении P на среднюю мощность входных сигналов называется максимальное число С такое, что для любого сколь угодно малого положительного δ и любого R < C существует код G (n, R), все слова которого удовлетворяют ограничению

(2.5)

и максимальная вероятность ошибки которого удовлетворяет неравенству Λ ≤ δ.

Дадим определение информационной емкости канала, не вдаваясь в детали. Более подробное обсуждение будет дано в случае каналов с аддитивным белым гауссовским шумом с ограничением на полосу частот.

Определение 5: Пусть Х_Т(t) — случайный про­цесс, заданный на интервале [0, Т]. Пусть для случайного процесса Х_т(t) на входе определена величина средней взаимной информации в единицу времени между случайными процессами на входе Х_T(t)) и на выходе Y_T(t), 0 ≤ t ≤ T, канала, соответственно. Число

(2.6)

где верхняя грань разыскивается по всем T и по всем случайным процессам X_T (t), обладающим ограниченной средней мощностью, т. е. таким, что:

(2.7)

называется информационной емкостью непрерывного канала при ограничении P на среднюю мощность входных сигналов. После того как мы дали определение информационной емкости, мы можем сформулировать и доказать обратную теорему кодирования.

Докажем теперь, обратную теорему кодирования. Основным инструментом для её доказательства является неравенство Фано, которое справедливо для различных каналов:

(2.8)

3. Обратная теорема кодирования

Теорема 1 (обратная теорема кодирования для непрерывных каналов при ограничении на среднюю мощность сигналов на входе).

Пусть С* - информационная емкость непрерывного канала при ограничении P на среднюю мощность сигналов на входе. Пусть ε – произвольное положительное число и R = C* + ε . Тогда найдется положительное число δ, зависящее от R, такое, что для всякого T и всякого кода G (T, R), удовлетворяющего ограничению P (см.2.2), средняя вероятность ошибки λ ≥ δ.

Доказательство: Зафиксируем Т и рассмотрим неко­торый код G (Т, R) при R = C* + ε, ε > 0, все слова которого удовлетворяют условию (см.2.2). Рассмотрим случайный процесс XT(t) на входе канала, для которого с вероятностью единица в качестве реализаций появляются кодовые слова u_i(t), i = 1, …, M; M = 2^RT, рассматриваемого кода. Будем считать, что вероятность каждой такой реализации равна 2^-RT. Так как каждая реализация процесса Х_T(t) удовлетворяет условию

(3.1)

то и сам процесс Хт(t) удовлетворяет условию (2.7).

Из опреде­ления информационной емкости имеем

(3.2)

где U — ансамбль кодовых слов с равномерным распределением вероятностей, a W — ансамбль решений, для которого вероятности

определены заданием канала. Второе неравенство есть следствие невозрастания средней взаимной информации при преобразованиях. Теперь можно воспользоваться неравенством Фано, которое выполняется для любого кода и для любого распределения вероятностей р(х) на кодовых словах.

Обозначим через λ_0n наименьший корень уравнения

(3.3)

Тогда из неравенства Фано следует, что средняя вероятность ошибки R для кода G (T, R) удовлетворяет неравенству λ ≥ λ_0n. Легко увидеть, что λ_0n стремится к ε/R при n → ∞. Из свойств функции φ(λ) следует, что при M ≥ 1 число λ_0n остается положительным при всех n и λ_0n ≥ λ₀₁ > 0. Полагая λ₀₁ = δ, получим, что λ ≥ δ для любого кода G (T, R). Теорема доказана.

Наша цель состоит в том, чтобы показать, что по крайней мере в некоторых случаях, пропускная способность непрерывного какала равна его информационной емкости, а также в том, чтобы указать метод вычисления информационной емкости. Для упроще­ния доказательств и для получения наглядных результатов ограничимся рассмотрением одного частного вида каналов, а именно непрерывных каналов с аддитивным белым гауссовским шумом и ограничением на полосу частот.