Теорема Шеннона для дискретного канала с помехами

Для дискретного канала с помехами К.Шенноном была доказана следующая теорема (вторая теорема Шеннона):

Если производительность источника R ≤ C – ε, гдеε– сколь угодно малая положительная величина, то существует способ кодирования, позволяющий передать все сообщения источника со сколь угодно малой вероятностью ошибки.

Если производительность информационной системы меньше пропускной способности канала, то сообщение от этого источника можно преобразовать так, чтобы передавать их по каналу с помехами с любой степенью точности, т. е. за счет существования избыточности в сообщениях, вводимой специальным образом, можно уменьшить вероятность ошибки до сколь угодно малой величины.

С точки зрения технической реализации эта теорема означает, что существует способ кодирования и декодирования, при котором вероятность ошибочного декодирования может быть сколь угодно малой. Если R > С, то таких способов не существует.

Вторая теорема Шеннона является идеологической основой для существования помехоустойчивого (корректирующего) кодирования в каналах связи.

Пропускная способность непрерывного канала связи с помехами

Выше мы обсуждали передачу информации в канале связи посредством дискретных сигналов. Однако при этом непосредственно сам канал связи - проводники, электромагнитное поле, звук, оптоволоконные линии и прочее – свойствами дискретности не обладает. Другими словами, по тем же каналам может передаваться и аналоговая информация – характер передаваемых сигналов определяется передатчиком. Линии связи, основанные на использовании аналоговых сигналов, имеют весьма широкую область практического применения - это радио- и телевизионная связь, телефон и модем, различные телеметрические каналы и тому подобное.

Непрерывным называется канал, который обеспечивает передачу непрерывных (аналоговых) сигналов.

Непрерывные сигналы, поступающие в канал связи из передатчика (Пд) описываются некоторой непрерывной функцией времени X(t).

Ограничения на значения этой функции задаются величиной средней мощностипередаваемых сигналовP_X. Другой характеристикой непрерывного канала, как и канала дискретного, является полоса пропускания – интервал частот сигналов, которые могут распространяться в данном каналеn_min – n_max. Если по своему физическому смыслуXявляется напряжением или силой электрического тока, то при неизменном электросопротивлении канала связиP_X ~ <X²>, т.е. мощность сигнала определяет его амплитуду и средний квадрат значения параметра сигнала.

Сигналы на выходе канала Z(t),поступающие в приемник (Пм), также являются аналоговыми и формируются они в результате композиции сигналов на входе канала и помех - их можно описать некоторой непрерывной функцией времениδ(t); в результате:Z(t) = X(t) ¤ δ(t). Под символом «¤» понимается композиция полезного сигнала и помехи. Чаще применяется аддитивная модель помех, когда информационный сигнал складывается с помехой, реже – мультипликативная модель, когда сигналы перемножаются.

Явный вид функции помех заранее неизвестен. Поэтому для количественного описания прохождения сигналов по непрерывному каналу приходится принимать ту или иную модель помех и модель канала. Наиболее распространенной является модель гауссовского канала: принимается, что помехи, будучи непрерывными случайными величинами, подчиняются нормальному (гауссовскому) статистическому распределению с математическим ожиданием (средним значением) равным нулю (m[δ] = 0):

Эта функция имеет единственный параметр σ, квадрат которого называется дисперсией и имеет смысл средней мощности помех.

Если при этом выполняется условие, что в пределах полосы пропускания средняя мощность помех оказывается одинаковой на всех частотах, а вне этой полосы она равна нулю, то такие помехи называются белым шумом.

Определим количество информации, передаваемое по непрерывному сигналу с помехами. Доказано, что нормальное распределения имеет наибольшую энтропию среди всех законов с фиксированной дисперсией. Поэтому в качестве входного сигнала рассмотрим X(t), который представляет собой гауссовский процесс с математическим ожиданиемаи среднеквадратичным отклонениемσ_x.

В случае применения аддитивной модели помех выходной сигнал Z(t)тоже имеет гауссовское распределение.

где

σ_z² = σ_x²+σ_δ²

Взаимная информация входного и выходного сигнала равна:

I(Z,X) = H(Z) – H(Z|X)

В качестве значений энтропий H(Z) и H(Z|X) можно применять приведенные энтропии, так как величиныlog ΔZу них одинаковы и при вычитании компенсируются.

Найдем дифференциальную энтропию для гауссовского сигнала:

=

=

=

=.

Дисперсия непрерывных величин для любых законов распределения вводится следующим образом: .

Значит, выражение представляет собой дисперсию нормальной случайной величины(z-a)и равноσ_z². То есть

Окончательно получаем:

(4.17)

H(Z|X)– энтропия шума, определяемая помехамиδ(t). Для нее получим аналогично:

(4.18)

Таким образом, информация, передаваемая по непрерывному каналу в условиях гауссовых аддитивных помех, равна:

I(Z,X) = H(Z) – H(Z|X) = =

(4.19)

Обратим внимание, что формула (4.19) указывает количество полезной информации в расчете на один импульс (отсчет) тактового генератора канала связи. Для получения пропускной способности количество информации на один отсчет нужно умножить на частоту снятия отсчетов.

(4.20)

Учитывая, что мощность сигналов пропорциональна дисперсии, получим

Во избежание потерь информации при дискретизации частоту снятия отсчетов надо выбирать, исходя из теоремы Котельникова: V = 2F. Отсюда

(4.21)

Это формула Шеннона для непрерывного канала с аддитивными помехами.

Замечание. Для реального гауссовского канала с ограниченной мощностью сигнала P_Xпропускная способность оказывается несколько иной, чем по формуле Шеннона. В этом случае пропускная способность канала может быть рассчитана по формуле:

,

где α– коэффициент, учитывающий ухудшение информационных свойств применяемого класса сигналов по сравнению с идеальным гауссовским сигналом, причем0α1. Как показывают расчеты,α ≈ 0.3для экспоненциального сигнала. Для импульсных сигналовα ≈ 0.03. Для идеального гауссовского сигналаα = 1, и применяется классическая формула Шеннона.

Пропускная способность определяется отношением мощностей сигнала и помех, а также шириной спектра полезного сигнала. Ограничение пропускной способности непрерывного канала связано с тем, что любые используемые для связи сигналы имеют конечную мощность.

C = 0только приP_X = 0.То есть непрерывный канал обеспечивает передачу информации даже в том случае, если уровень шумов превышают уровень сигнала. Это используется для скрытой (неперехватываемой) передачи.

Приведем характеристики некоторых каналов связи .

Вид связи	F (Гц)	PX /Pδ	C (бит/с)
Телеграф	120	26	640
Телефон	3·103	217	5·104
Телевидение	7·106	217	130·106
Компьютерная сеть			до 109
Слух человека	20·103		5·104
Зрение человека			5·106

Из сопоставления данных видно, что пропускная способность телефонного канала связи совпадает с пропускной способностью органов слуха человека. Однако она существенно выше скорости обработки информации человеком, которая составляет не более 50 бит/с. Другими словами, человеческие каналы связи допускают значительную избыточность информации, поступающей в мозг.

Мощность шума можно представить так: P_δ = F∙N₀, гдеN₀– это мощность белого шума. Тогда формула Шеннона может быть переписана в следующем виде:

.

Рассмотрим предел .

Из последнего соотношения следует, что для передачи одного бита в секунду необходимо обеспечить мощность полезного сигнала P_X ≥ N₀/log₂e ≈ 0.69N₀.