книги из ГПНТБ / Гойхман Э.Ш. Основы теории передачи информации в автоматизированных системах управления

Вычисляемая таким образом энтропия является условной эн­ тропией и в соответствии с (3.10) определяется выражением

p(xilyj)—условная вероятность появления буквы ду при усло­ вии, что предыдущей является буква у,.

Индекс «2» указывает на то, что при вычислении условной эн­ тропии учитывалась зависимость между двумя соседними буквами.

Усреднение неопределенности производится по всем возможным очередным (х:) и Предшествующим (уг) буквам.

Энтропия русского текста при учете статистических связен между двумя и тремя соседними буквами составляет соответ* ственио

<Эв. ед.

//,=3,32 И Н. 3,0 буква

Для оценки близости энтропии источника // к ее .максимально

ления различных символов. Иногда желательно бывает раздельно оценить степень влияния к;#кдого из этих факторов.

Для этой цели вводят понятия о частной избыточности, обуслов­ ленной взаимосвязью (гв ), и частной избыточности, обусловленной неравновероятностью появления различных символов (г „):

(3.22)

где Я —-энтропия на символ (букву), полученная с учетом обоих факторов;

G1

—значение энтропии, рассчитанное с учетом

неравновероятности распределения, но не учитывающее взаимосвязн .между символами:

(3.23)

/Л

Полная избыточность (обычно слово „полная“ опускают) ха­ рактеризуется выражением (3.21).

Можно показать, что

Избыточность русского текста, если условно полагать И—Н2,

Как показал Шэннон, избыточность английского алфавита со­ ставляет не менее 0,6.

Это означает, что в английском тексте 60% передаваемых сим­ волов не несут информации и, следовательно, являются излишними.

.Сократив их, удалось бы соответственно уменьшить длину сообще­ ния и длительность его передачи, обеспечив тем самым более эко­ номное использование канала связи. Иногда мы это делаем, запи­ сывая, например, в тексте телеграммы «тык» вместо слова «точка», «зпт» вместо «запятая».

Вместе с тем наличие избыточности играет и некоторую поло­ жительную роль, облегчая правильную расшифровку сообщения при искажении отдельных символов помехами.

П р и м е р 3.9. Зона обнаружения РЛС разбита на два сектора. Производится два обзора. Вероятности появления цели в первом

секторе р{х-1)—р[у1)=Ъ 4, во втором секторе р(х2) = р(у2) = ~ •

Здесь индексом у обрзначены результаты первого обзора; индек­ сом х— результаты второго. Условные вероятности появления цели по секторам при втором обзоре в зависимости от результа­ тов первого равны:

Требуется определить избыточность за счет неравновероят­ ности появления цели по секторам при первом обзоре, избыточ­ ность при передаче данных второго обзора за счет взаимозави­ симости и полную избыточность.

Р е ш е н и е

Неопределенность появления цели по секторам при первом обзоре

62

Частная избыточность за счет взаимозависимости между ре­ зультатами первого м второго обзоров

гп= 1 - " ; = о , о э .

Полная избыточность при передаче данных второго обзора

Г— 1— /7о 0,26.

§ 3.4. Канал для передачи дискретных сообщений при отсутствии помех

Анализ дискретного канала будем вести применительно к.наи­ более простому и вместе с тем представляющему наибольший практический интерес случаю передачи двоичных сигналов, когда любое сообщение (буква) представляет собой кодовую комбина­ цию (т. е. определенное сочетание) из символов «0» и «1». Дли­ тельность сигналов «0» и «1» будем полагать одинаковой.

3.4.1.Основные определения

1.Средняя скорость передачи сообщений V — это среднее число сообщений (букв), которое может быть передано по каналу за од­

I

личествп информации, которое может быть передано по данному каналу за единицу времени, т. е. С= С1макс.

При анализе дискретного канала без помех основной является задача наиболее эффективного использоЬания пропускной способ­ ности канала. В соответствии с этим рассмотрим следующие ос­ новные вопросы:

1.Какова пропускная способность канала для передачи двоич­ ных сигналов?

2.Можно ли так закодировать передаваемые сигналы, чтобы полностью использовать пропускную способность капала?

3.Как осуществить такое оптималыю’е кодирование?

3.4.2.Пропускная спо£обность

Максимальное количество двоичных символов В, которое может у быть передано по данному каналу, за 1 секунду, зависит от элек­ трических характеристик капала связи (см. п. 2.6.2) и для данного капала является велйчиной вполне определенной.

Пропускная способность капала будет полностью использована, если среднее количество информации, приходящееся па один двоичный символ (а следовательно, и равная ему энтропия па сим­ вол) будет максимально. В этом случае для передачи сообщений потребуется минимальное .количество двоичныхсимволов и сред­ няя длина сообщения будет минимальной. Это будет достигнуто, если символы «О» и «1» будут равновероятны и независимы друг от друга. В таких условиях црн приеме каждого очередного сим­ вола имеет место случай выбора из двух равновероятно ожидае­ мых символов «О» и «1». При этом количество информаций, при­ ходящееся на один принятый символ, равно одной двоичной еди­ нице; соответственно энтропия источника сообщений, отнесенная на один символ, равна

Это — максимальное количество информации, которое в прин­ ципе может нести один двоичный символ. Тогда

т. е. пропускная способность канала для передачи двоичных сиг­ налов без помех равна количеству элементарных посылок «О» или «1», которые могут быть переданы по каналу за I секунду.

Методика расчета пропускной способности капала при других видах сигналов приведена в [Л.

3.4.3. Оптимальное кодирование

Естественно, что если буквы (элементарные сообщения), со­ ставляющие алфавит источника сообщений, закодировать излишне длинными кодовыми комбинациями, то канал связи будет исполь-

64

зоваи неэкономно, т. е. количество информации; передаваемое за 1 сек, будет меньше его пропускной способности.

Такое кодирование, при котором пропускная способность кана­ ла используется полностью, называется оптимальным.

Важно установить, всегда ли имеется принципиальная возмож­ ность осуществлений оптимального кодирования. Положительный ответ на этот вопрос дает первая теорема Шэннона:

Если имеется канал с пропускной способностью С, то сообще­ ние любого источника с энтропией Н на символ можно закодиро­

вать так, что окажется возможным передавать эти сообщения со

Q

скоростью, сколь угодно близкой к -ц символов в секунду, или,

что то же самое, С двоичных единиц в секунду.

Здесь под символом подразумевается элементарное сообщение (например, буква), а не двоичный символ.

Не приводя строгого доказательства теоремы, поясним ее сущ­ ность и рассмотрим соображения, доказывающие ее справедли­ вость для канала передачи двоичных сигналов.

Для полного использования пропускной способности капала неойходимо, чтобы па каждый двоичный символ в среднем прихо­ дилась одна двоичная единица информации. При этом элементар­ ные сообщения (буквы), несущие в среднем /7 двоичных единиц информации, должны иметь среднюю длину т С1„ равную//. Меньше,

чем Н, средняя длина букв не может быть (т. е. шыи„ —Н), так как при этом на каждый двоичный сигнал в среднем приходилось бы более одной двоичной единицы информации, что невозможно.

Максимальное количество двоичных символов, которое может быть передано по каналу за одну секунду, равно В. Поэтому полному использованию пропускной способности канала соответствует мак­ симальная скорость передачи элементарных сообщений (букв), равная

Q симв

Эта максимальная скорость передачи сообщений может быть достигнута при оптимальном кодировании, условием которого яв­ ляется равенство

Таким образом, для доказательства теоремы Шэннона необходи­ мо показать, что всегда можно построить оптимальный код, в ко­ тором упомянутое равенство выполняется как угодно точно.

Покажем принципиальную возможность реализации оптималь­ ного кодирования.

Пусть алфавит источника сообщений образует конечную си­ стему

1)применением равномерного кода;

2)введением разделительного знака между кодовыми комбина­ циями;

3)применением специальным образом построенного неприводи­ мого неравномерного кода.

Однако использование первых двух способов приводит к избы­ точности. Действительно, при применении равномерного кода все кодовые комбинации имеют одинаковую длину независимо от рас­ пределения вероятностей отдельных сообщений, что приводит к из­ быточности.

Введение специального разделительного диака между кодовыми комбинациями также приводит к избыточности, ибо средняя длина кодовых комбинаций увеличивается.

Обеспечить разделение кодовых комбинации, нс нарушив при этом возможности выполнения, первого условия, можно, создав та­ кой неравномерный код, у которого любая кодовая комбинация не используется в .качестве начальной части другой, более длинной кодовой комбинации. Условиям оптимального кодирования может отвечать лишь специальным образом построенный неравномерный неприводимый код.

Прежде чем перейти к методике образования оптимального ко­ да, поясним приведенные выше соображения некоторыми приме­

Заметим, что вследствие неравновероятности появления отдель­ ных букв

Н < Н „аКс= 2.

На первый взгляд представляется целесообразным применить следующий наиболее краткий код:

Однако такой код не является неприводимым, так как кодовые комбинации одних букв являются началом кодовых комбинаций других букв.

67

Закодируем буквы равномерным кодом

*,->00; х2-^01; л'3->10; а4^11.

Пусть, например, капал связи имеет пропускную способность

С=1000 Поскольку на передачу каждой буцвы в нашем

Следовательно, канал связи будет использован не полностью. Причиной этого явилось то, что при кодировании нс учитывалась статистическая структура источника сообщений.

Обоим условиям удовлетворяет следующий код:

а,->0; *2->10; * s->110; х4-И11.

Для оценки степени оптимальности кода найдем среднюю дли­

К од Ш э н н о н а — Фэ но

Рассмотрим предложенный Шэнноном и Фэно метод построе­ ния оптимального двоичного кода.

Вся совокупность возможных сообщений (букв) записывается в порядке убывания вероятностей и затем разбивается на две группы так, чтобы суммы вероятностей всех сообщений в одной

идругой группах были примерно равны.

Вкачестве первой цифры кодовых комбинаций для одной (на­ пример, верхней) группы выбирается нуль, а для другой группы —

единица. После этого каждая группа делится на две подгруппы с примерно одинаковыми суммарными йероятностями, причем в верхних подгруппах в качестве следующей цифры выбирается нуль, а в нижних — единица. Процесс повторяется до'тех пор, пока в каждой подгруппе не останется по одному сообщению.

Рассмотрим предложенный метод на конкретном примере, при­ веденном в табл. 3.1.

68

В первом столбце таблицы указаны порядковые номера сооб­ щений, расположенных в порядке убывания вероятностей, во вто­ ром— значения вероятностей, в последнем — последовательность разбивок на группы и подгруппы. В таблице показаны также ли­ нии, соответствующие определенным «тагам» разбиения последо­ вательности на группы и подгруппы (сплошные, пунктирные и др. линии).

Проследим, в какой мере рассмотренный метод обеспечивает выполнение ус­ ловий оптимального кодирования.

Во-первых, ни одна кодовая комбинация не может являться началом дру­ гой. Это объясняется тем, что последний знак дописывается лишь тогда, когда данная комбинация является единственной в своей группе. Поэтому любая дру­ гая комбинация, которая до сих пор совпадала с данной (заканчиваемой), ока­ жется в другой группе и, следовательно, в нее теперь запишется знак, противо­ положный последнему знаку данной комбинации.

Во-вторых, поскольку при каждом разбиении мы подписываем к одной под­ группе нуль, а к другой единицу, обеспечивается равновероятность числа нулей и единиц, являющаяся необходимым условием полного использования пропуск­ ной способности канала.

Наконец, покажем, что длины коювых комбинаций оказываются примерно равными—log/),-. При каждом разделении сообщений на две группы с пример­ но равными суммарными вероятностями эти вероятности в сообщении каждой группы оказываются примерно вдвое меньше первоначальных. Поэтому веро­

69