книги из ГПНТБ / Вулконский Б.М. Теория автоматического управления учебное пособие

функцию Т, представляющую число различных возможных сигна­ лов длительности. Т или менее, которые после прибавления к ним хотя бы одного какого-либо символа оказываются по длительности превосходящими Т.

Количество сигналов длительности Т — tt равно

Прибавив к любому из этих M{T — t\) сигналов символ Ai, мы получим сигнал длительности Т. Следовательно, можно записать

М ( Г ) = М ( Г - ( , ) + М ( Г - Ъ ) + . . . + Л 1 ( Г - Ы . (42)*

Уравнение (42) есть линейное уравнение в конечных разно­ стях. Существуют различные общие методы решения таких урав­ нений. Применим для отыскания М(Т) метод, изложенный в прилож. 3. Пусть

■a ii, I j ........ L m — произвольные постоянные.

При достаточно больших Т слагаемое LiXiT, где Ai — наиболь­ ший вещественный корень уравнения (46), оказывается велико по сравнению с остальными слагаемыми и последними можно пре­ небречь. Тогда решение (42) запишется в виде

Возвращаясь к выражению для пропускной способности ка­ нала, получим

Формула (48) определяет пропускную способность канала, когда какие-либо ограничения в выборе символов отсутствуют, т. е. всякий символ может занимать в сигнале любое место. Одна­ ко в некоторых каналах это не так. Например, в телеграфном канале, работающем кодом Морзе, течка и тире могут занимать в сигнале любое место, но промежутки между буквами или словами могут следовать только за точкой или тире, один за другим про­ межутки следовать не могут. Эти ограничения называются фикси­ рованными ограничениями. Они всегда удовлетворяются при , ра­ боте канала и определяют, что возможно и что невозможно.

Рнс. 2

Фиксированные ограничения всегда можно описать как неко­ торую совокупность состояний источника информации. Так, для примера,с телеграфным каналом можно считать, что источник об­ ладает двумя состояниями. В первом состоянии он способен гене­ рировать любой из четырех символов, во втором — он может ге­ нерировать только точку или тире. Источник оказывается в со­ стоянии 1, если последний созданный им символ был точка или тире, и в состоянии 2, если последним символом был промежуток между буквами или словами. Описанная схема изображена на рис. 2. Стрелки показывают, какими из символов схема перево­ дится из состояния в состояние.

Определим пропускную способность канала при наличии фик­ сированных ограничений. Пусть как и прежде канал работает сим­ волами: А I, А3, ... , A it . . . , А т. Пусть, далее, в схеме возможны состояния: 1, 2, . . . , D. Обозначим Мк (Т) количество различных

31

возможных сигналов длительности Т, по окончании которых схема оказывается в состоянии к. Тогда можно записать

стоянии к и переводят схему из состояния к в. состояние g. Суммирование по / в (49) производится по всем символам, ко­

торые допустимы в состоянии k и переводят схему из состояния к

*-J=skg

Выражение (54) определяет систему уравнений, соответствую­ щих различным значениям g. Это система однородных линейных уравнений относительно Ьк, которая имеет нетривиальное реше-

32

ние в том и только том случае, если определитель из коэффициен­ тов равен нулю. Следовательно:

Подставив наибольший вещественный корень уравнения (55) в (50), получим решение (49).

Если возможно лишь одно состояние схемы (фиксированные ограничения отсутствуют), то (55) превращается в (46). Действи­ тельно

для общего количества различных возможных сигналов длительно­ сти Т в следующем виде:

Тогда пропускная способность канала при наличии фиксирован­ ных ограничений будет равна

Х-с -|- - f Я- 3 + X- 2 - 1 = 0 .

примера 9, если фиксированные ограничения соответствуют схеме., изображенной на рис. 2 .

Р е ш е н и е . С — log Я.;

Наибольший вещественный корень этого уравнения К — 1,453, тогда

С= log 1,453 = 0,539.

11.Определить пропускную способность канала, использую щего т символов одинаковой длительности /о- Фиксированные ограничения в канале отсутствует.

со

Г л а в а 2

ТЕОРИЯ ОПТИМАЛЬНОГО КОДИРОВАНИЯ

§ 5. СОГЛАСОВАНИЕ КОДА С КАНАЛОМ В ОТСУТСТВИИ ШУМОВ

Рассмотрим методы кодирования, позволяющие полностью ис­ пользовать пропускную способность канала. Покажем, что в от­ сутствии помех и шумов наилучшим является кодирование, при котором распределение вероятностей символов подчиняется опре­ деленным закономерностям и определим правила для нахождения таких оптимальных кодов.

Рассмотрим сначала простейший случай, когда все символы алфавита имеют одинаковую длительность to. Согласно результа­ там примера 1 1 , пропускная способность канала в этом случае

где т — число символов алфавита:

Каждый передаваемый по каналу символ имеет длительность

Равенство (61) соответствует наибольшей средней информации на символ, когда вероятности всех символов одинаковы.

Итак, если символы имеют одинаковую длительность, то наи­ лучшим является такой код, при котором все символы появляются

35

с равной вероятностью. Он обеспечивает полное согласование' ско­ рости передачи информации с пропускной способностью канала, т. е. позволяет полностью использовать возможности канала. Ско­ рость передачи информации в этом случае равна:

или

С1

Перейдем к более сложному случаю, когда символы .имеют раз­ личную длительность. Пропускная способность канала, использую­ щего символы различной длительности,

Если каждый символ & среднем несет i дв. ед. информации, то скорость передачи информации по каналу

— средняя длительность символов.

Условие оптимального согласования кода с каналом, как и

' Таким образом, лучшим в данном случае является такое коди­ рование, при котором вероятности отдельных символов связаны с их длительностями зависимостью (69). Этот эффективный, код должен обеспечить количество средней информации на символ,

Полученный результат [формулы (69) и (70)] был' впервые сформулирован основоположником теории информации К. Шенно­

б) Определить распределение вероятностей символов опти­ мального кода при заданных длительностях символов и распреде­ ление длительностей символов, необходимое для эффективного согласования, при заданном распределении вероятностей.

Ш

- 2 P ( A j) I o g P ( A ,)

j=i

37ч

Следовательно, код № 2 более эффективный. Он больше соот­

3

t'iA= D, 6 = 5,01 сек.

\

38

§ 6. КОД ШЕННОНА-ФЭНО

Выше были определены условия эффективного согласования кода с каналом в отсутствии шумов. Были рассмотрены, частный случай, когда канал работает символами одинаковой длительно­ сти и более общий случай работы символами различной длитель­ ности.

Остановимся теперь более подробно на некоторых практиче­ ских аспектах согласования.

При проектировании каналов обычно приходится иметь дело с сообщениями, которым присущи наперед заданные вероятности и с определенной пропускной способностью канала.

Задача состоит в наилучшем кодировании знаков или сообще­ ний источника с помощью символов кода.

Мы показали, что решение такой задачи, по крайней мере тео­ ретически, во всех случаях возможно.

Все сообщения, которым присущи определенные вероятност­ ные ограничения, можно закодировать так, чтобы скорость пере­ дачи информации была бы равна пропускной способности канала. Для этого достаточно лишь применить такой код, который при использовании символов одинаковой длины обеспечил бы равную вероятность их появления, а при использовании символов различ- ' 4 ной длительности — значение вероятностей, определяемое форму­ лой (69). При этом разумеется код должен быть таким, чтобы каждая кодовая комбинация могла бы быть выделена на прием­ ной стороне канала.

Эти условия эффективного согласования подтверждают лишь возможность такого согласования, но не дают практических ре­ цептов. для процедуры оптимального кодирования.

Легко понять, что в примере 12 нам удалось сравнительно про­ сто отыскать код, близкий к оптимальному, лишь в результате простоты исходной схемы сообщений.

Для более сложных схем, формула (69) в лучшем случае по­ зволяет определить вероятности символов эффективного кода, но не дает практических рекомендаций, как сопоставить знаки или сообщения исходной схемы с символами кода для обеспечения этих вероятностей. В этом смысле (69) представляет больше тео­ ретический,«чем практический интерес, хотя эта формула и позво­ ляет сделать некоторые важные для практики выводы. В частно­ сти, из (69) следует, что во всех случаях для эффективного согла­ сования необходимо наиболее вероятным знакам'или сообщениям противопоставлять наиболее короткие символы цли комбинации символов.

Как показал опыт, попытки построения оптимальных кодов, в которых отдельным знакам или сообщениям соответствуют отдель­ ные кодовые обозначения— символы, не дают желаемого резуль-

39