3. Модель непрерыного канала связи

В непрерывном канале связи входной сигнал x(t) преобразуется из-за нали­чия помехи в выходной сигнал у(t) (рис. 48). Учитывая, что сигнал име­ет случайную природу, он определяется плотностью распределения веро­ятностей своих значений на входе W(x), а на выходе — W(y).

Количество взаимной информации, связывающей входной и выходной сигналы, соответствует выражению

,

где Н(у) — энтропия на выходе непрерывного канала; — условная энтропия, отображающая потери при передаче через непрерывный канал связи.

Под пропускной способностью непрерывного канала связи пони­мают, как и ранее, верхний предел скорости передачи информации, т. е. .

Пропускная способность непрерывного канала без шума. Для канала без шума ,

Учитывая, что

,

максимум энтропии получаем для некоторого оптимального рас­пределения

,

что соответствует нормальному закону. Тогда

,

где ∆х=∆у — шаг квантования на передающей стороне с учетом требуемой точности воспроизведения непрерывной функции.

Пропускная способность непрерывного канала с шу­мом. Количество взаимной информации, проходящей через такой канал, составляет

.

Так как , то при наличии помех количество передава­емой информации через канал снижается. Обозначим W(x) , тогда нетрудно установить, что

.

Пропускная способность есть максимум данного выражения, который определяется по распределениям значений функции х(t) на входе непрерывного канала связи. Отметим, что если W(y,x)= W(x)W(y), что соответствует статистически независимым распределениям на входе и на выходе непрерывного канала связи, то С=0. Это означает, что уровень помех в канале достиг та­кой величины, при которой никакой зависимости между выходным и входным сигналом не остается. Статисти­ческая независимость распределений W(x) и W(y) подтверждает, что сигнал полностью подавлен помехой, полезная информация не передается, т. е. I=0. Это соответствует и нулевой пропускной способности. Заметим, что и в дискретном канале связи при определенном значе­нии вероятности искажения символа пропускная способность сни­жается до нуля. Очевидно, что такое состояние канала связи являет­ся нерабочим и ориентироваться на него не нужно.

4. Информационный предел избыточности для канала с независимы­ми ошибками

Процесс передачи данных в реальных системах и се­тях реализуется в условиях действия помех, поэтому возникает необходимость построения моделей функционирования системы пе­редачи данных, позволяющих оценить ее вероятностно-временные характеристики. Их удобно находить, исходя из модели передачи данных по дискретному каналу связи, вводя в модель источник ошибок (рис. 49).

Если на вход ДКС поступает некоторая последо­вательность {х}, а источник ошибок ИО формирует последователь­ность {е}, то на выходе канала при аддитивности процессов для двоичного кода формируется последовательность {у=хе}. Ме­стоположение единиц в {е} указывает ошибки выходной последова­тельности {у}. При передаче формируются последовательности символов длиной n, отображающие одно или несколько сообщений. Последствия воздействия ошибок на передаваемый код зависят от числа ошибок, попавших на длину кода n. Обозначим вероятность попадания j ошибок на код длины n через P(j,n). Эта вероятность может быть найдена при экспериментальном исследовании путем моделирования, а также на основе аналитических расчетов. Модель дискретного симметричного канала связи позволяет оценить эту вероятность аналитическим путем для отдельных достаточно про­стых описаний потоков ошибок.

В двоичном симметричном канале связи без памяти вероятность искажения любого из передаваемых символов одинакова. Это по­зволяет применить для описания потока ошибок биномиальный закон распределения. Тогда

,

где Р — вероятность искажения символа.

Отметим, что случай непопадания ошибок на длину кода n возникает с вероятностью

Р(0, n)=(1-Р)ⁿ, что соответствует n взаимо­независимым событиям прохождения символов. Из биномиального закона нетрудно получить совокупность вероятностей, определя­ющих возникновение в коде i ошибок и более:

.

Среднее число ошибок в коде длины n составляет nР. В реаль­ных абонентских каналах связи это число очень мало. Представляет интерес оценить вероятность P(j,n) при Р0:

При Р≤0,1 находим Р(j,n)=[(nP)j/j|]е^-nP. Получаемый при этом закон распределения Пуассона определяется одним парамет­ром nР, что облегчает аналитический расчет вероятностей. Зная модель потока ошибок и избыточность передаваемого кода, можно найти вероятность ошибки в приеме некоторого сообщения у_0i. Как было выше показано,

.

Веро­ятность перехода сообщения x_0j в сообщение у_0i назовем вероят­ностью трансформации сообщения, т. е. .

Если принятое сообщение соответствует переданному, то это собы­тие можно оценить вероятностью прохождения Р_пр, т. е. . В реальном канале связи может возникать ситуация, когда принятое сообщение не может быть отождествлено ни с одним из передаваемых. Этот исход получил название «защит­ного отказа». Он возникает при обнаружении ошибок. Обозначим вероятность защитного отказа Р_зо тогда Р_пр=1-Р₀, где Р₀ — веро­ятность ошибки, Р₀=Р_зо + Р_тр.

Пусть через дискретный канал связи передается код, облада­ющий кодовым расстоянием d, исправляющий s и обнаруживающий r ошибок. Если число ошибок, возникших в коде длины n, не превышает его корректирующей способности, то происходит пра­вильная передача сообщения. Отсюда вероятность прохождения

.

Используя закон распределения Пуассона, получим

Вероятность ошибки , следовательно,

Очевидно, что с увеличением числа исправляемых ошибок вероят­ность прохождения увеличивается, а вероятность ошибки уменьша­ется. Для кода, не исправляющего ошибки, вероятность прохожде­ния Р_пр=Р(0,n)=е^-nP, откуда вероятность ошибки Р₀=1-е^-nP. При nР 1, используя разложение в ряд Тейлора, получим , т. е. вероятность ошибки равна сред­нему числу ошибок, возникающих на длине кода п. Отсюда следует, что при отсутствии избыточности получить малую вероятность ошибки можно лишь при очень малых значениях nР. С увеличением вероятности искажения символов необходимо ввести избыточность в передаваемый код. При введении избыточности улучшаются об­наруживающие, а при определенном ее уровне и исправляющие свойства кода. Избыточность в коде проявляется в виде контроль­ной информации I_к, компенсирующей потери информации в обоб­щенном дискретном канале связи . Можно предположить, что количество контрольной информации и способ ее применения зависят от свойств потока ошибок в канале связи. Минимально необходимая избыточность, компенсирующая ошибки в заданном типе канала связи, получила название информационного предела избыточности.

Информационный предел избыточности количественно выража­ется числом контрольных символов, введенных в код для передачи контрольной информации. При максимальной информативности элемента кода, что соответствует равновероятности передаваемых символов и энтропии источника Н_max{Х)=log₂К, получим нижнюю границу избыточности 1, где K_min — минимальное число контрольных символов, определяемое информационным пределом избыточности. Найдем это значение для двоичного дискретного симметричного канала связи с независимыми ошибками. Пусть для передачи сообщений используется двоичный корректирующий код, для которого d=2s+1, r=s, т. е. все обнаруживаемые кодом ошиб­ки исправляются. Тогда возможны два исхода: прохождение сооб­щения с вероятностью Р_пр и трансформация сообщения с вероят­ностью P_тр. Эти исходы должны описывать составляющие конт­рольной информации, поэтому I_K=I_Kпр+I_Ктр. Количество контрольной информации найдем с использованием функции энтропии. Исход в приеме сообщений зависит от числа ошибок j, попада­ющих на длину кода n, т. е. от вероятности Р(j,n). Правильный прием сообщения имеет место, если число ошибок, возникающих на длине кода n, находится в пределах от 0 до s. Трансформация сообщения возможна при числе ошибок от s+l до n. Отсюда находим

; .

Так как ошибки, приводящие к трансформации сообщения, ис­править невозможно, то ограничимся в структуре контрольной информации лишь той, которая необходима для исправления от нуля до s ошибок, т. е. I_K=I_Kпр- Для канала с независимыми ошиб­ками

,

где — число сочетаний из n по i.

Отсюда, используя формулу энтропии, находим

.

Примем допущение, что возникновение любой корректируемой ошибки и отсутствие ошибок происходит с равной вероятностью

P₁=P^j(1-P)^n-j ,

тогда

.

Учитывая, что совокупность вариантов корректируемых ошибок составляет полную группу событий, получим . Отсюда

Информационный предел избыточности составит . Если корректирующий код строится для числа пере­даваемых сообщений М=2^m, где m — число информационных эле­ментов в коде, то количество контрольных элементов

.

Отсюда ;. Общее число элементов в коде n=m+k, т. е, k=m-n . Тогда

; .

Формула справедлива для кода, исправляющего s ошибок, с чис­лом переходов d=2s+l. Рассмотренный информационный предел получил название предела Хемминга. В частном случае кода, ис­правляющего одну ошибку, т. е. s=1, d=3, получаем . Таким образом, модель дискретного канала связи в определенной степени задает и модель потока ошибок. Зная модель потока оши­бок и свойства дискретного канала связи, можно найти информаци­онный предел избыточности и в соответствии с ним построить код, исправляющий ошибки. Рассмотренная модель независимых оши­бок имеет ограниченное применение и справедлива для некоммути­руемых телефонных каналов абонентской сети.