книги из ГПНТБ / Гойхман Э.Ш. Основы теории передачи информации в автоматизированных системах управления

ятность сообщения х-„ которое после п разбиений останется единственным в своей группе (и, следовательно, его кодирование будет завершено), окажется

примерно равной — отсюда п х —log^pi- Но число знаков в кодовой

комбинации («;,) равно числу разбиений и, следовательно, ее длина равна

m^riiX-logpi,

ния — logp; могут представлять собой и дроби (неправильные в представляющем большой практический интерес случае' pt <0,5). Тогда длину каждой кодовой комбинации следует выбирать равной округленному до ближайшего целого числа значению дроби —logp,. При этом фактическая длина кодовой комбинации будет отличаться от оптимальной не более чем на один двоичный сим­ вол. Очевидно, что это отличие не будет играть существенной ро­ ли, если сами кодовые комбинации по длине сравнительно велики (а их вероятности р,- соответственно малы). Поэтому для умень­ шения избыточности и более эффективного использования пропуск­ ной способности капала связи иногда применяют кодирование не отдельных элементарных сообщений (например, букв), а состав­ ленных из них сравнительно длинных последовательностей (блоков|. Это уменьшает также избыточность, обусловленную наличи­ ем статистических связей между буквами, поскольку’подобные свя­ зи между блоками значительно слабее междубуквенных связей. Подобный метод уменьшения междубуквенных статистических свя­

70

Н——(0,6 log2 0,6+0,3 log2 0,3 +0,1 log2 0 . 0 5 ) = 1 , 4 ^ •

В этом случае равенства средней длины кодовой комбинации энтропии источника сообщения не получили. Теперь будем коди­ ровать блоки, состоящие из двух букв.

Составим такую же таблицу.

71

Продолжение таблицы

Определим среднюю длину кодовой комбинации (на два сообщения)

/нСр = 0,36-2+0,18 • 2 + 0,18 ■3 + 0,09 - 3+0,03 • 4+

+ 0,03 • 5 • 3+0,015 • 5+0,015 6 • 3 +0,0025 • 8 • 4=2,885 симв.

На одно сообщение приходится

/лср1=1,442 спив.

Таким образом, благодаря кодированию блоками из двух букв средняя длина каждой буквы стала почти равной энтропии источ­ ника сообщений.

В настоящее время методы уменьшения избыточности путем оптимального кодирования еще не нашли широкого практического использованияПричинами этого являются:

а) сравнительная сложность аппаратуры, реализующей коди­ рование и декодирование сигналов;

б) отсутствие избыточности у оптимального кода делает его мало пригодным к использованию в реальных каналах, подвер­ женных воздействию помех. Как будет показано ниже, в этих ус­ ловиях с целью повышения помехоустойчивости приходится вво­ дить (в определенном порядке) дополнительные символы, т. е. создавать искусственную избыточность;

в) требуемое обычно при реализации оптимального кода укруп­ нение элементарных сообщений в сравнительно длинные блоки вызывает задержку в передаче информации. С одной стороны, определенное время уходит на образование таких блоков; переда­ ча очередного блока не может быть начата до тех пор, пока он полностью нс сформируется. С другой стороны, задержка во вре­ мени возникает и на приемном конце, поскольку1декодирование может быть произведено лишь после приема всего длинного бло­ ка. Между тем в ряде систем (особенно телемеханических) зна­ чительная временная задержка в передаче информации недо­ пустима.

72

§ 3.5. Канал для передачи дискретных сообщений при наличии помех

3.5.1. Воздействие помех

При наличии помех отдельные символы искажаются, что при отсутствии избыточности приводит к нарушению достоверности принятого сообщения в целом. Для повышения достоверности при­ ходится вводить искусственную избыточность. Простейшим (но не всегда наиболее эффективным) методом введения искусственной избыточности является повторная передача сообщений.

Однако вносить излишнюю (сверх необходимой) избыточность нецелесообразно, так как это приводит к неоправданному пониже­ нию скорости передачи информации, т. е. к снижению пропускной способности канала.

Для канала с помехами важнейшей задачей является опреде­ ление оптимальной величины требуемой избыточности, обеспечи­ вающей практически полную достоверность при максимально воз­ можной скорости передачи сообщений.

Рассмотрим процесс прохождения информации в канале связи с помехами, условно показанном на рис- 3.5.

Рис. 3.5

Пусть передаваемые и принимаемые сообщения (буквы) обра­ зуют следующие конечные системы:

Передаваемые и принимаемые буквы отличаются лишь индек­

(т. е. по у). При отсутствии помех имеется однозначное соответ­ ствие, т. е.

Х\~+У\> Х2~*У2' Хт т '

73

При наличии помех однозначное соответствие между приняты­ ми и переданными сообщениями нарушается. Так, например, при передаче квантованных по амплитуде сигналов (рис. 3.6) под воз-

\

действием помехи, уровень которой близок к шагу квантования, сигнал, соответствующий сообщению у3, может образоваться не только при передаче сообщения х3, но и при передаче близ­ ких к х3 сообщений х2 и х4.

Аналогично может произойти искажение сообщений, передавае- < мых двоичным кодом.

До получения сообщений (Y) средняя неопределенность пере­ даваемых сообщений характеризуется энтропией источника сооб­ щений Н(Х).

Средняя неопределенность в определении переданных сообще­ ний X, остающаяся после получения принятых сообщений Y, пред­ ставляет собой условную энтропию H(X/Y).

иренио

Н(*/у)- средняя неопре -

леннвоть off зс оста ющаяцр после получе­

ния сообщении У

Рис. 3.7

74

Для выяснения пределов возможного изменения I х рассмотрим два предельных случая:

а) помехи в канале отсутствуют, т. е. имеется однозначное со­ ответствие между X и Y. При этом в соответствии с (3.10,6) полу­

X. Это означает, что отсутствует корреляция (зависимость) между входными и выходными сигналами. Тогда в соответствии с (3.10,а) имеем

Н(Х Y)=H(X) и IS= H (X ) - H (X /Y )= 0,

т. е. среднее количество передаваемой информации равно нулю. Характер воздействия помех различного уровня на передачу дискретных сигналов показан на рис. 3.8- По оси абсцисс отложе­

и принимаемыми сигналами имеется однозначное соответствие. При помехах среднего уровня (рис. 3.8,6) соответствие перестает

УШ u(jl

»«I »«• ««

• » ф • ••

• • • •

'Рис. 3.8

быть однозначным и хотя чаще всего принятые сигналы соответ­ ствуют переданным (жирные точки), каждому принятому сигналу могут с некоторыми вероятностями, .значения которых условно отображены размерами точек, соответствовать несколько передан­ ных сигналов. По мере увеличения уровня помех уменьшается степень соответствия между принимаемыми и передаваемыми сиг­ налами. При помехах весьма высокого уровня может оказаться (рис. 3.8,в), что принятому сигналу с равной вероятностью будет соответствовать любой переданный. В последнем случае H(X/Y) = Hx, принимаемые сообщения никакой неопределенности не снимают и 1х —0- Иногда удобнее пользоваться выражением для / v, записанным в виде:

75

Здесь энтропия Ну характеризует среднюю неопределенность, при­ ходящуюся на одно ,сообщение (если условно рассматривать вы­ ход канала как источник принятых сообщений). Условная энтро­ пия H(YjX) характеризует среднюю неопределенность принятых: сигналов, остающуюся после того как становится известным, какие сигналы передаются, и обусловленную воздействием помех.

3.5.2. Пропускная способность дискретного канала при наличии помех

Поскольку наличие помех создает неуверенность в правильно­ сти принятого сообщения, на первый взгляд кажется, что можно говорить о пропускной способности канала с помехами лишь при какой-то заданной вероятности ошибок. Однако такая постановка вопроса об оценке пропускной способности капала не является единственно возможной.

Как показал Шэннон, путем надлежащего кодирования, введя соответствующую избыточность, можно обеспечить практически достоверную передачу информации при наличии помех. Правда,- при этом за счет введения избыточности скорость передачи инфор­ мации уменьшится до некоторой величины, которую обозначим CmПредельно достижимое значение этой скорости и характери­ зуйпропускную способность капала при наличии помех.

В соответствии с этим под пропускной способностью канала с помехами (Сп) понимается максимальное количество информации, которое может быть практически достоверно передано по каналу за 1 секунду, т. е. Сп—С\„ иа|;с.

Найдем выражение для С1п.

При наличии помех среднее количество информации, содер­ жащееся в одном элементарном сообщении (букве), равно

Ix= H {X )-H (X !Y ).,

а не Н (Х ), как это имело место в канале без помех. В соответ­

Индекс «макс» означает, что из всех возможных источников, которые могут быть использованы на входе канала, следует вы­ брать источник с распределением вероятностей сигналов, обеспе­ чивающим максимум выражения в квадратных скобках. Выбор ко­ да осуществляется таким образом, чтобы чаще использовались такие кодовые комбинации, которые меньше подвержены искаже­ ниям.

Напомним, что при оптимальном кодировании в канале без помех статистика источника сообщений была задана и для ее со­ гласования с характеристиками канала наиболее часто встречаю-

76

щимся сообщениям присваивались наиболее короткие кодовые комбииции.

Выражения для пропускной способности С п могут быть запи­ саны в нескольких формах.

Так, принимая во внимание (3.17) и (3.18), можно записать

Здесь значения энтропий выражены в двоичных единицах в се­ кунду.

Иногда практический интерес может представить задача опре­ деления скорости передачи, информации в канале с помехами ( С \ „ ) при использовании заданного источника сообщений. Она

Принципиальная возможность осуществления кодирования, обеспечивающего практически достоверную передачу информации со скоростью, определяемой выражениями (3.28), была доказана Шэнноном в его 2-й теореме, которую приводим без доказатель­ ства.

Т е о р е м а Ш э н н о н а д л я д и с к р е т н о г о к а н а л а с п о м е х а м и

Пусть дискретный канал обладает при наличии помех пропуск­ ной способностью С„, а, дискретный источник сообщений имеет энтропию в секунду Н ( (т. е. генерирует Н t двоичных единиц ин­ формации в секунду). Если Я < С П, то существует такая система кодирования, что• сообщения источника могут быть переданы по каналу со сколь угодно малой ненадежностью. '

С другой стороны, теорема доказывает, что при Ht<iCu всегда можно т а к 'Закодировать сообщения, чтобы скорость передачи ин­ формации была как угодно близка к Н t.

Теорема Шэннона лишь устанавливает, что имеется принци­ пиальная возможность осуществления оптимального кода, по не указывает способов его построения. Последняя задача является предметом теории кодирования. ' .

Не приводя доказательства второй теоремы Шэннона, рассмот­ рим его основную идею. При передаче последовательности сигна­ лов Xi, соответствующей определенному сообщению, под воздей­ ствием помех на приемном конце может возникнуть одна из не­ скольких возможных последовательностей принятых сигналов уу

77

(см., например, рис. 3.6 и 3.8)- Таким образом, при воздействии помех одной и той же передаваемой последовательности соответ­ ствует уже целая группа принимаемых. Кодирование осуще­ ствляется таким образом, что каждой передаваемой последова­ тельности сигналов х ; ставится в соответствие вся группа после­ довательностей, которые при этом могут появиться на приемном конце (на вйходе канала). Появление на выходе канала любой из входящих в эту группу последовательностей свидетельствует о том, что передано именно сообщение х ^ При этом число возмож­ ных сообщении уменьшается и становится равным числу групп. Шэнпоп показал, что в принципе всегда можно так закодировать сообщения, чтобы число таких групп было достаточным для обе­ спечения .достоверной передачи информации со скоростью, не пре­ вышающей пропускной способности С„, определяемой выражения­ ми (3.28), (3.28,а).

Рассмотренную идею кодирования в дискретном канале с поме­

3. Воздействие помех проявляется таким образом, что каждая кодовая комбинация с равными вероятностями может быть пере­ дана безошибочно либо с искажением одного символа.

Требуется определить пропускную способность канала и вы­

Чтобы определить пропускную способность, нужно сначала найти распределение вероятностей для передаваемых сообщений, при котором разность Н (Х )—H(X/Y) максимальна. Поскольку в данном примере все кодовые комбинации имеют одинаковые дли­ тельности и в равной мере подвержены влиянию помех, то величи­ на H(X/Y) от распределения вероятностей сигналов не зависит и следует выбрать распределение вероятностей, обеспечивающее максимум Н(X). Таким распределением является равномерное, т. е. следует полагать вероятность каждого из сообщений равной

1/8.*

Как видно из условия, в данном примере любому из выходных (принятых) сигналов у с равными вероятностями могут соответ-

78

I

ствовать четыре сообщения на входе каналаТак, например, при­ нятому сообщению уз (рис. 3.9,а) могут равновероятно соответ-

ствовать переданные хр, Хз\ хр, х7. Поэтому все частные условные энтропии равны между собой и равны условной энтропии:

Н{Х!у,)~Н {Х!у2)=. ..^H(Xilyj) = Н (Х / Y) —

8

=— 2 p{xiiyj)l°&p(xtiyj)=lo&*=2 сш % ~ •

/=■1

Пропускная способность канала равна

С„—УМаке \Н(Х) — Н(Х/ К)]ма1(с =1 -[3 -2] = 1 .

Произведем оптимальное кодирование. Каждому переданному сообщению следует поставить в соответствие группу из четырех кодовых комбинаций на приемной стороне, которые могут появить­ ся только при передаче этого сигнала (рис. 3.9,6).

Остальные четыре кодовые комбинации на приемной стороне могут быть поставлены в соответствие другому переданному сиг­ налу. Для обеспечения однозначности линии обоих «вееров» не должны подходить к одним и тем же кодовым комбинациям. Это условие будет выполнено, если второе сообщение закодировать как х6. Таким образом, полная достоверность может быть обеспе­ чена, если передавать не восемь, а только два сообщения, каждо­ му из которых поставлена в соответствие группа из*четырех при­ нятых сообщений.

Очевидно, что при неизменной скорости передачи сообщений

(^макс) уменьшение алфавита передаваемых сообщений вызывает соответствующее уменьшение пропускной способности.

79