книги из ГПНТБ / Бездудный, В. Г. Техника безопасности в шахтном строительстве

что соответствует высокому уровню помех. Если Л и В статистически жестко связаны, то

Я (А/В) = 0; Я (А, В) = Н (А) = Н (В),

что соответствует низкому уровню помех либо полному их отсутствию. Таким образом, при передаче ансамбля сообщений А количество

информации в принятом ансамбле В, согласно выражению (58),

1(В,А) = Н ( А ) - Н ( А / В ) .

Однако на основании формулы (66) Я (AIB) = Я (В, А) — Я (В). Следовательно,

Известно, что

Н(А) = — 2 р (a,) log/? (а,); i

Н(В) = - ^ р ф ,) 1 о ш р ( Ь ,) ;

/

=—2 2 p fa) p fafa)los pfa) p fafa).

100

Выражения (69) и (70) позволяют определить среднее количество информации, содержащееся в принятом ансамбле сообщений В отно­ сительно переданного ансамбля сообщений А в условиях действия помех. Используя формулу (60), находим

Выражения (69) и (70) удобны при вычислениях, так как для определения количества информации в принятом ансамбле В относи­ тельно переданного ансамбля А используют вероятности, не прибегая

квычислению вероятности совместных событий Л и В. Выражение

(71)интересно тем, что оно иллюстрирует возможность выражения среднего количества информации как через энтропию источника со­

характеристикой как источника сообщений Л, так и адресата В. Коли­ чество информации характеризует взаимосвязь между источником сообщений и адресатом и является мерой соответствия принятых сигналов переданным.

Выводы: 1. Влияние помех в каналах связи полностью описывается канальной матрицей. При наличии канальной матрицы может быть подсчитана средняя условная энтропия для произвольного количества качественных признаков, а следовательно, и количество информации, передаваемой по симметричному каналу с шумами при любом основа­ нии кода.

2.Средняя энтропия может характеризовать информационные потери в канале связи с шумами.

3.Информационные характеристики реальных каналов связи могут

быть описаны при помощи как условной энтропии, так и энтропии

101

объединения, устанавливающей степень взаимозависимости между пере­ данными и принятыми сигналами.

4.Количество информации может быть определено как со стороны источника сообщений, так и со стороны адресата. Являясь отражени­ ем одного объекта другим и мерой соответствия состояний объектов на передающем и приемном концах, информация обладает свойством симметрии. .

5.При отсутствии шумов количество информации на элемент

сообщения будет равно энтропии. Вследствие свойства симметрии, эта энтропия может быть энтропией как источника, так и адресата.

Задачи к теме 11

В ы ч и с л и т ь к о л и ч е с т в о и н ф о р м а ц и и , к о т о р о е п е р е н о с и т с я о д н и м с и м в о л о м с о ­ о б щ е н и я :

а ) п р и р а в н о в е р о я т н о м п о я в л е н и и с и м в о л о в в с о о б щ е н и и ;

В ы ч и с л и т ь к о л и ч е с т в о и н ф о р м а ц и и в с о о б щ е н и и , с о д е р ж а щ е м 1 5 0 0 с и м в о л о в , и с г щ л ь з у я э н т р о п и ю о б ъ е д и н е н и я .

102

Пропускная способность канала связи определяется максимальным числом знаков, пропускаемых данным каналом связи в единицу време­ ни. При отсутствии помех пропускная способность ограничивается частотными характеристиками отдельных элементов канала связи, разрешающей способностью цифропечатающих аппаратов, инерцион­ ностью реле. В общем случае пропускная способность системы передачи информации при отсутствии помех определяется быстродействием аппаратуры приемно-передающего тракта.

Наличие помех приводит к неоднозначности между входными и выходными сигналами. Соответствие определенных значений принятых сигналов определенным значениям передаваемых сигналов уже лишь предполагается с различными степенями вероятности. Наличие по­ мех увеличивает неоднозначность, уменьшает количество принимаемой информации, а уменьшение количества информации за единицу време­ ни есть уменьшение пропускной способности. Таким образом помехи уменьшают пропускную способность канала связи.

Количество недостающей информации в сигнале, или, другими словами, неопределенность того, какой из сигналов ас источника сообщений А был передан, когда на выходе канала связи принят сигнал bj, является характеристикой влияния помех и равен условной эн­ тропии Н (А/В), которая численно равна неопределенности на пере­ данную букву.

Пропускная способность канала связи при наличии помех Сп вычисляется как произведение количества принятых знаков на раз­ ность энтропии источника сообщения и условной энтропии источника сообщений относительно принятого сигнала:

Используя формулы (65) — (67), характеризующие свойства ус­ ловной энтропии и энтропии объединения, выражение (72) можно

Первое выражение представляет пропускную способность как раз­ ность передаваемой в секунду информации и неопределенности пере­ даваемой информации относительно принятой, второе — как меру принятой информации за вычетом информации, пораженной шумами,

103

а третье— как сумму переданной и принятой информации минус количество информации, обусловленное энтропией совместных собы­ тий [имеется в виду энтропия объединения Я (Л, б)].

Как видим, и в этом случае проявляется свойство симметричнос­ ти информации, позволяющее характеризовать систему передачи информации как со стороны источника, так и со стороны адресата, определяя во всех случаях степень соответствия переданных и приня­ тых сигналов.

Если проанализировать выражение (73), то нетрудно заметить, что чем больше значения энтропий Н (А) и Я (В), тем больше пропускная способность. Сами же энтропии Я (Л) и Я (В), в свою очередь, зависят от значений априорных вероятностей появления символов на входе канала связи и достигают максимальной величины при равновероятном распределении символов (см. рис. 10). Таким образом, максимальная пропускная способность достигается при равномерном распределении вероятностей появления символов на входе канала связи.

Это утверждение не справедливо лишь для случая, когда в ре­ зультате эксплуатации канала связи установлено, что помехи пора­ жают одни символы сильнее, чем другие Е Тогда, естественно, сигналы, которые ( чаще поражаются помехами, следует использовать реже. Выигрыш в значениях пропускной способности будет за счет уменьше­ ния членов Н (A/В) и Н (А, В), которые как раз и характеризуют

равна произведению энтропии источника сообщений на количество переданных знаков, т. е. равна пропускной способности канала связи при отсутствии шумов.

Рассмотрим более подробно соотношения в канале связи с шумами. При этом обозначим: А — ансамбль передаваемых сообщений, В — ансамбль принимаемых сообщений, Я (А ) — энтропия источника со­ общений, неопределенность того, какой символ будет передан; Я (В) — неопределенность того, какой символ будет принят от данного источ­ ника сообщений по данному каналу связи; Я (В/А) — условная эн­ тропия, характеризующая степень неопределенности принятой ин­ формации; Н (А/В) — неопределенность того, что было передано А, если принято В; Н (Л, В) — неопределенность того, что будет передано А, а принято В; Т — длительность сообщения (время использования канала связи); п — количество символов в сообщении за единицу времени; пТН ( А ) — общее число переданных двоичных символов

за время Т ; 2пТН(А) — приблизительное число высоковероятностных последовательностей передаваемых сигналов; 2 пТН {В) — приблизи­ тельное число высоковероятностных последовательностей принимае-1

1 Такие случаи редки, но возможны. Например, наличие постоянной помехи на одной из частот при передаче сигналов с частотными качественными признаками.

104

мых сигналов; 2 пТН<л,в> — приблизительное число высоковероят­ ностных последовательностей передаваемых сигналов а, которые могут

привести к приему сигнала 6; 2пТН (В/Л>— приблизительное число высоковероятностных последовательностей принимаемых сигналов Ь, которые могут быть получены в результате передачи сигнала а.

Предположим, при передаче сигнала а{ мы должны были получить сигнал bj. В результате действия помех может быть получен какой-то другой сигнал. Если проделать много опытов, то получим группу

имы получим:

но ш

оооп |

о н и U .

01001

о ю ю

Вероятность того, что одновремен­ но два символа исказятся таким

образом, что две единицы будут приняты как два нуля, уже меньше. И совсем маловероятно, хотя теоретически допустимо, что все знаки будут приняты как противоположные. Поэтому группа кодов S может быть отнесена к высоковероятностным последовательностям принимае­ мых сигналов при передаче сигнала 01011, а код 10100 — к маловероят­ ностным последовательностям.

При вычислениях учитывают только высоковероятностные последо­ вательности сигналов, а они могут лишь приблизительно характеризо­ вать возможное число принимаемых сигналов.

Если при отсутствии помех каждой принятой последовательности

каждой принятой последовательности сообщений будет соответство­ вать уже

последовательностей переданных сообщений. В выражении (74) учтено действие помех введением условной энтропии. Если существует неодно­ значность приема, когда одному посланному сигналу могут с какой-то

105

средняя вероятность того, что, кроме одной точки веера (рис. 23),

соответствующей отправленному сообщению, все остальные 2пТ1,(А/в> сигналов являются ложными, или, другими словами, вероятность

Выражение (76) позволяет перейти непосредственно к доказатель­ ству основной теоремы Шеннона о кодировании в присутствии шумов.

Теорема 1. Если источник с энтропией Н (А) создает информацию на входе шумящего канала без памяти со скоростью R, меньшей про­ пускной способности С данного канала связи, то существует такой код, при котором вероятность ошибки на приемном конце сколь угодно мала.

106

безошибочного приема можно сколь угодно приблизить к единице, а вероятность ошибки — к нулю.

Вторая часть основной теоремы доказывается особо и в литературе фигурирует как вторая теорема Шеннона о кодировании в присутствии шумов. Доказательство этой теоремы приводим по Ф. П. Тарасен­ ко [32].

Теорема 2. Если Я ■< С, то при кодировании достаточно длинными блоками среди кодов, обеспечивающих сколь угодно малую вероятность ошибки, существует код, при котором скорость передачи информации

Rсколь угодно близка к скорости создания информации Я.

Вусловиях шумов скорость передачи информации

где Я (AJB) — апостериорная энтропия переданного сигнала, харак­ теризующая минимальную избыточность на символ, необходимую на восстановление информационных потерь в канале связи, т. е. ту вели­ чину информации, которой не достает, чтобы передача велась со ско­ ростью С.

Доказав, что существует код, при котором Н (А/В) сколь угодно мала, мы докажем теорему.

Пусть вероятность ошибки при приеме сигнала равна р (е). Тогда количество информации на символ, необходимое для обнаружения

Я (Л /Б )< — p(e)logp(e> — {1 — p(e)log[l — р(е)]} + р (е) log (т — 1). (84)

Для сигнала любой длины выражение (84) записывается следующим образом:

Я * (Д /Б )< —-aloga — (1 — cs)log(l — a) -f-alog(Ar — 1), (85)

где Я* (А/В) — апостериорная энтропия переданных сигналов; а — вероятность ошибочного отождествления сигнала; N = тп — число сигналов; п — число символов в сигнале.

Очевидно, что формулу (85) можно записать в виде

откуда количество недостающей информации на символ

107

Так как (согласно основной теореме) а может быть сделано сколь угодно малым, то при кодировании достаточно длинными блоками (п оо) рассеяние информации в канале связи также можно сделать сколь угодно малым. При этом скорость передачи R будет сколь угодно близка к скорости создания информации Н.

Доказанные выше теоремы Шеннона не указывают на конкретный метод кодирования, при котором с бесконечно малой вероятностью ошибки скорость передачи информации могла бы быть сколь угодно близкой к пропускной способности. Этого метода не найдено по сей

связи действие помех учитывается вероятностями рп ложного приема. При этом, вероятность рп правильного приема pn = 1 — рл. Если по каналу связи передаются дискретные сообщения при помощи равнове­ роятных качественных признаков, соответствующих 0 и 1, то интен­ сивность помех характеризуется вероятностями перехода 0 в 1 и на­ оборот, т. е. соответствующими условными вероятностями.

Рассмотрим теперь выражение для пропускной способности сим­ метричного бинарного канала. При этом бинарным будем называть канал связи, в котором сообщения передаются при помощи двух ка­ чественных -признаков. Бинарный канал, в котором вероятности лож­ ных переходов равны друг другу и вероятность правильного приема одного сигнала равна вероятности правильного приема другого сигна­ ла, будем называть симметричным. Модель симметричного бинарного

Из симметрии бинарного канала следует, что максимальная скорость передачи информации будет достигнута для источников,

Имеется в виду доказательство основной теоремы для канала с шумами.

1 P S

у которых вероятности передачи 1 и 0 равны. Тогда р (1) = р (0) =

=V2, а

Н(Л) = Н (В) = — (V2 log2 Vg + V2 log2 V2) = 1 бит/символ.

Именно эту единицу и видно в выражении (88), а остальная его часть — условная энтропия, которую мы отнимаем от энтропии источника (либо адресата). Если в выражении (88) значения рл достигают 0,5, то нарушается всякая корреляция между переданными и принятыми сигналами, а пропускная способность такого канала связи равна нулю. Как заметил Шеннон, в таком случае можно получать столь же «хоро­ шую» информацию, подбрасывая монету в точке приема, обходясь вообще без канала связи.

Перейдем теперь к выводу общего выражения для бинарного ка­ нала с шумами без памяти, под которым будем подразумевать канал связи со статистической независимостью искажений передаваемых символов.

Предположим, передаются сигналы Л (0) и Л (1), априорные вероятности которых рА (1) и рА (0) = 1 — рА (1), вероятности лож­ ных переходов р (%) и р (1/0), вероятности правильного приема р (1/1) = = 1 — р (%-) и р (°/0) = 1 — р (х/о). На приемном конце переданному сигналу Л (1) соответствует принятый сигнал В (1), а сигналу Л (0) — сигнал В (0). В этом случае, согласно правилам теории вероятностей, вероятности правильного приема сигнала:

t.i

+ P (°/i) log2 p (“/x)] — P^ (0) [p (°/o) log2 P (°/o) + p (1/„) log2 p (Vo)]•

Пропускную способность таких каналов связи удобно вычислять при помощи вспомогательных таблиц. Примером может служить табл. 18, составленная для случая, когда вероятности появления 0 и 1 равны. Для вычисления Сп достаточно соответствующие значения из табл. 18 подставить в выражение (73).

Рассмотрим конкретный пример расчета пропускной способности

109