книги из ГПНТБ / Вулконский Б.М. Теория автоматического управления учебное пособие

Поэтому можно записать:

i = — 4 [0,04 log 0,04 + 0,0225 log 0,0225 + 0,01 log 0,01 -|-

,-)- 0,0025 log 0,0025] — 8 [0,03 log 0,03 -|-

-Ь 0,015 log 0,015 + 0,005 log 0,005 + 0,02 log 0,02 +

-Ь 0,0075 log 0,0075 + 0,01 log 0,011=

= 1,6 -\-4 — 5,6 дв. ед.

4.Телеметрическая аппаратура ракеты наблюдает за состо

нием трех элементов системы управления А\, А2 и А 3. Выход из строя некоторого элемента сопровождается передачей на команд­

пени подвержены все сигналы.

Вероятности выхода из строя отдельных Элементов системы управления составляют: Р(А\) =0,5; Р(А2) =0,25; Р(А3) = 0,25. Определить:

— количество информации в сигнале телеметрической станции после расшифровки; v

— то же, в предположении, что ошибки в расшифровке отсут­ ствуют.

Р е ш е н и е .

- Определим вероятности, входящие в выражение для условной

20

Тогда

Составим таблицу вероятностей Р„к(Л+

i = - {0,5 log 0,5 + 0,25 log 0,25 + 0,25 log 0,25) +

+10,498 [0,995 log 0,995 + 0,0025 log 0,0025 +

+0,0025 log 0,0025] + 0,251 [0,0095 log 0,0095 +

+0,986 log 0,986 4- 0,0045 log 0,0045] +

+0,251 [0,0095 log0,0095+ 0,0045 Iog0,0045 +

+ 0,986 log 0,9861) - 1,5 — 0,09 = 1,41 дв/

Если ошибки в расшифровке отсутствуют, то

з

i = — 2 Z3 (>lj) log Z3 (w4j) = 1,5 дв. ед. j=i

§ 2. ПЕРЕДАЧА ИНФОРМАЦИИ ПО КАНАЛУ СВЯЗИ

Во всех случаях информация передается по каналу связи в виде закодированного тем или иным способом сообщения — си­ гнала. Элементами кода являются символы. Полный набор ис­ пользуемых кодом символов составляет алфавит кода. Сигнал представляет определенную последовательность символов.

Так, например, в системе командного телеуправления ракетой, использующей импульсный код, сообщением является команда, пропорциональная величине и знаку отклонения ракеты от тре­ буемой траектории, сигналом — последовательность импульсов (кодовая группа), соответствующая команде, источником сигна-

21

лов (информации)— передатчик команд, символами кода — им­ пульсы, отличающиеся по некоторому параметру (амплитуде, дли­

тельности и т. и.).

При проектировании канала связи априорные вероятности си­ гналов (сообщений) обычно не известны, а если и известны, то они не могут быть изменены по нашему усмотрению. Вместе с тем, эффективность канала, как мы увидим, ниже, зависит именно от распределения вероятностей источника. Поэтому в теории ин­ формации источник рассматривается как генератор символов кода. Алфавит кода с вероятностями появления отдельных симво­

так, чтобы каждый символ содержал максимальное количество • информации. А если это так, то и сигнал, поскольку он представ­ ляет некоторую последовательность символов, будет содержать максимум информации, т. е. канал будет использоваться эффек­ тивно.

Сигналы (символы) источника информации проходят по ка­ налу от входа до выхода и выдаются адресату в виде декодиро­

ходе сигнал оказывается искаженным. В этом случае сигналы на выходе канала перестают быть однозначно связанными с сигна­ лами на входе, между ними сохраняется только статистическая связь.

Если рассматривать набор символов кода А\, А2, ... , Ат и вероятности их появления на входе канала Р( АХ), Р(А2),

Р{Ат) как первую схему исходов, а набор символов а|, а2........ а„

ивероятности их появления на выходе канала Р(аi), Р(а2) .........

Р(а„) как вторую схему, то, согласно (26), средняя информация,

передаваемая по каналу одним символом, равна

(28),

Тогда, информация, ^переносимая сигналом из G символов,

В отсутствии помех формула (28) превращается в равенство: - '

так как в этом случае каждый символ на входе однозначно опре­ деляется символом на выходе. *

22

Таким образом, условная энтропия в формуле (28) является характеристикой искажающих свойств канала, и, следовательно, при проектировании канала всегда следует стремиться к увеличе­ нию безусловной и уменьшению условной энтропии.

Взаключение отметим, что поскольку

Р(^j) ЯЛ.(ak) = Р (#k) Рак Hj ) ;

Я( Л з ) = 2 ^ К ) Я йк(Л]);

то для вычисления информации, наряду с (28)', можно пользо­ ваться формулой

Помехи и искажения при передаче отсутствуют. Определить:

—среднюю информацию на символ сигнала;

—среднюю информацию на сигнал из '1000 символов.

Чrn

Р е ш е н и е . i = -- ' У Р (А{) log Я (Лj) ; j=i

i = — 0,4 log 0,4 — 0,3 log 0,3 — 0,2 log 0,2 — 0,1 log 0,1 =

= 1,85 дв. ед./симв.

Информация на сигнал из 1000 символов равна:

/= = /•1000= 1850 дв. ед./сигнал.

6. В счетно-решающем комплексе приборов управления стрель­ бой информация передается от блока Т к блоку И кодом из -ш символов: Л], Л2, ... , ЛП). Символы равновероятны. При правиль­ ной передаче, в блоке И, символу А\ соответствует символ аь символу Л2 — а2 и т. д. до Лт — а т . Канал Т — И подвержен влиянию помех так, что каждый из символов, будучи искажен­ ным, может перейти в любой из оставшихся. Обозначим вероят­ ности правильной передачи и ошибки р и q, соответственно. Опре­ делить среднюю информацию на символ, передаваемую* от бло­ ка Г к блоку И.

23

Р е ш е н и е : / = Н (Л) — На(А/) ;

1

Н (А) = — V p (/\j) lo g P (/li) = logwt, так как P(/lj) = ---- ; i=1

Ш111

§3. КОДИРОВАНИЕ СООБЩЕНИИ. КОРРЕЛЯЦИЯ

ИИЗБЫТОЧНОСТЬ КОДА

На пути от источника к адресату информация, как правило, проходит различные участки канала и каждый в отличном от дру­ гих физическом алфавите. Так, при радиопередаче сигнал, содер­ жащий информацию, представляет, собой то звуковые колебания, то колебания электрического поля, то колебания электромагнит­ ного поля и т. д.

Преобразование сообщения из одного физического алфавита

вдругой осуществляется на границах отдельных участков канала

вразличных преобразователях. Процесс преобразования сооб­

менты алфавита, подлежащего кодированию, «знаками» в отличие от «символов», как элементов алфавита кода.

Кодирование, однако, не сводится только-к замене одного фи­ зического алфавита другим. В процессе кодирования может из­ мениться множество символов и их вероятности. При кодирова-

24

нии один знак может сопоставляться с комбинацией или группой символов, и наоборот, или же группа знаков сопоставляться с группой символов.

Поскольку при кодировании может меняться множество, сим­ волов и распределение вероятностей символов, то, очевидно, мо­ жет меняться и энтропия на символ, по сравнению с энтропией на знак. Выбирая один из возможных кодов, можно, следователь­ но, н'айти такой код, который имеет наибольшую энтропию на символ, или, другими словами, наименьшее число символов на то же количество информации. Такой код будет наиболее эконом­ ным, так как потребует наименьшего числа символов и наимень­ шего времени передачи. Однако прежде чем перейти непосредст­ венно к проблемам оптимального кодирования, необходимо озна­ комиться с рядом определений.

Код называется н е р а в н о м е р н ы м , если число символов в его кодовых комбинациях различно.

Код, число символов во всех кодовых комбинациях которого

то среднее необходимое чйсло символов на один исходный знак составит

где Н — энтропия на знак источника сообщений, дв. ед./знак; log/и— максимально достижимая энтропия на символ кода,

дв.ед./символ.

Следовательно, для записи полного сообщения из G знаков требуется в среднем не менее.

Если G достаточно велико, то GH = log М

т. е. мы приходим к случаю равномерного кода. Действительно, для равномерного кода число сообщений М, составленных из пг символов при сочетании их по R равно

M = mR,

откуда следует формула (34).

• 25

Число R, образующее смысловую кодовую комбинацию рав-_ номерного кода, называется разрядом кода. По аналогии, число R [формула (33)] может быть названо средним разрядом неравно­ мерного кода.

В ряде случаев число символов на кодовую комбинацию, рас­ считанное по формуле (34), Сказывается дробным, поэтому для практических расчетов (34) преобразуют к виду:

Решение же вопросов о способах достижения этого минимума, оптимальности того или иного кода, его эффективности представ­ ляет значительно более сложную задачу, к рассмотрению которой

Формула отражает неопределенность в отношении следую­ щего символа, если известен предыдущий. Если бы корреляция между символами отсутствовала, тЬ неопределенность кода харак­ теризовалась бы безусловной энтропией

Но поскольку всегда # х (у) < Н (у), то, следовательно, корре­ ляция всегда уменьшаёт среднее количество информации на сим­ вол.

Это рассуждение можно отнести и на случай, когда корреля­ ция распространяется на сочетание символов. Формула (36) справедлива и для этого случая, только переменная х связыва­ ется теперь с некоторым сочетанием символов, а у — с символом, следующим за этим сочетавшем.

26

Отношение энтропии данного кода при наличии определенных вероятностных ограничений и корреляции между символами к энтропии, кода, составленного из тех же символов в отсутствии каких-либо взаимных связей и ограничений, характеризует вели­ чину, на которую удлиняются сигналы при использовании этого кода, по сравнению с минимально потребной длиной. Это отно­ шение носит название относительной энтропии кода. Величина, равная

ностью обладает единственный код, при котором появление всех символов независимо и равновероятно.

Изложенные соображения подводят вплотную к проблеме оп­ тимального кодирования.

Наилучшим является тот метод кодирования, при котором обеспечивается минимальная избыточность и, следовательно, мак­ симальное количество информации на символ.

Если i есть средняя информация на символ, и если символы выдаются на вход канала (участка канала между кодирующим

Смысл операции оптимального кодирования заключается в наиболее эффективном согласовании потока информации или ско­ рости передачи информации с пропускной способностью канала. Действительно, при ограниченной пропускной способности канала увеличивать поток информации сверх некоторого значения за счет выбора все более и более экономичного кода не имеет смысла, так как канал сам по себе будет неспособен справиться с таким по­ током. П'оэтому прежде всего следует обсудить свойства канала

него пропускную способность.

Пр и м е р ы .

7.Закодировать двоичным кодом (т = 2) ансамбль в 27 сооб щений, каждое из которых состоит из трех знаков: A i, Л2 и А3.

Определить:

—среднее необходимое количество символов кода на одни знак сообщения;

—требуемый средний разряд неравномерного кода;

. — требуемый разряд равномерного кода без учета вероятно­ стей появления отдельных сообщений.

27

Н (А) — — 0,25 log 0,25 - 0,25 log 0,25 - 0,5 log 0,5 =

=1,5 дв. ед./знак;

г■

Требуемый разряд равномерного кода, считая все сообщения

8.Ансамбль сообщений закодирован кодом с основанием т =

О 92

/=1~tS; = 0'42-

Избыточность кода составляет 42%.

§ 4. ОПРЕДЕЛЕНИЕ КАНАЛА И ЕГО ПРОПУСКНОЙ СПОСОБНОСТИ

Проектирование канала всегда начинается с определения вида связи (проводная, акустическая, оптическая, радио и т. п.) и установления физических возможносте/i этого вида. Затем возникает техническая проблема построения системы символов (алфавита), согласованной с выбранным каналом и удовлетворяющей задачам связи: импульсы постоянного тока, Паузы, сигналы различной ин­ тенсивности, частоты, полярности и т. д. Если этот выбор сделан, тем самым определен канал.

28

Для обсуждения вопроса со статистической точки зрения до­ статочно рассматривать применяемую совокупность т символов ,4Ь А2, . . . , А j , А т и их длительности tu 12, . . . , tp . . . , 1т. Физическую природу этих символов в дальнейшем можно игнори­ ровать, только их длительности играют роль в дальнейшем обсуж­ дении.

Предположим, что символы независимы и произвольная щ по­ следовательность способна представить некоторое сообщение. Полная длительность сигнала (кодированного сообщения) Г есть сумма длительностей /j отдельных символов, составляющих си­ гнал.

Обозначим М ( Т ) — число возможных сигналов длительности Т, различающихся выбором символов и порядкомих размещения. Будем считать, что все М сигналов длительностью Т априори рав­ новероятны. Тогда информация на один такой сигнал

ЦТ. Эта скорость изменяется с изменением Т, но можно показать, что во всех практически интересных случаях она стремится к не­ которому пределу при неограниченном возрастании Т.

Ниже мы определим С для наиболее часто встречающегося на практике случая, когда алфавит состоит из пг символов различной длительности и сигналы, составленные из этих символов, имеют длительность Т.

Затем покажем, что пропускная способность канала соответ­ ствует наибольшему среднему потоку информации, когде все воз­ можные комбинации символов разрешены.

Наконец, исследуем вопрос о том, как следует кодировать со­ общения для того, чтобы полностью использовать пропускную спо­ собность канала. Это приведет нас к практической постановке за­ дачи кодирования: дана совокупность сообщений и некоторый алфавит символов, требуется составить код, согласованный с ка­ налом, так, чтобы приблизиться по возможности к скорости пере­ дачи информации, равной пропускной способности канала.

Докажем, что эта задача разрешима и обсудим 'общие усло­ вия,-которые должны быть выполнены при кодировании -угля до­ стижения технического предела скорости передачи информации.

29