Космические системы связи

41

Таблица 2.2.5

Определить энтропию на один символ текста. X (1) X (2) . Вычислить избыточность источника.

2.2.8. Выполнить задачу 2.2.7, если условные вероятности

2.2.9.Символы азбуки Морзе могут появиться в сообщении

свероятностями: для точки — 0,51, для тире — 0,31, для промежутка между буквами — 0,12, между словами — 0,06. Определить среднее количество информации в сообщении из 500 символов данного алфавита, считая, что связь между последовательными символами отсутствует.

2.2.10.Система радиозонда измеряет давление. Барометр имеет 10 отметок шкалы, и его отсчеты могут изменяться до любого допустимого значения за 0,01 с. Связь между отсчетами отсутствует. Найти энтропию источника за 1 с, если показания барометра будут появляться со следующими вероятностями (табл. 2.2.7).

Таблица 2.2.7

42

2.2.11. Измеряемое напряжение лежит в пределах 0 6 В. Телеметрический датчик регистрирует приращение напряженияu 0,01 В . Найти наибольшее среднее количество информа-

ции, получаемое за 10 независимых отсчетов.

2.2.12*. В двоичной системе связи для передачи символов 0 и 1 используются импульсы длительности 2 и 4 мкс соответственно. Определить наибольшее среднее количество информации, которое можно передать в такой системе в 1 с.

2.2.13.На радиорелейной линии для передачи символов 0 и 1 используются радиоимпульсы мощностью 1 и 10 Вт соответственно. Для нормальной работы передатчика необходимо, чтобы отдаваемая им средняя мощность не превышала 3,4 Вт. Найти наибольшее количество информации, которое в среднем может переносить один импульс.

2.2.14.Показать, что энтропия Н(Х) ансамбля X с конечным

множеством символов хi, i 1, m достигает максимума, когда все символы равновероятны, и это максимальное значение равно

Hmax (X ) log m.

2.2.15.Узлу связи А было передано 3 радиограммы, уз-

лу связи В — 4 радиограммы. Вероятности неискаженного приема одной радиограммы на узлах соответственно равны 2/3

иѕ. Считая, что качество связи характеризуется числом m правильно принятых радиограмм, подчиняющимся биномиальному закону распределения, оценить степень неопределенности качества связи для каждого из узлов.

2.2.16.Вероятность того, что проводная линия выдержит испытание, уменьшается с увеличением ее длины L по экспоненциальному закону

p exp(L / L0 ) , где L0 200 км.

При какой длине линии исход испытания обладает наибольшей неопределенностью?

2.2.17. Передатчик, описанный в задаче 2.2.13, передает символы 1 и 0 с вероятностями 0,1 и 0,9 соответственно. Найти избыточность при ограничении на среднюю мощность передат-

43

чика.

2.2.18.Доказать, что любое преобразование вероятностей двух элементов ансамбля, которое делает эти вероятности более близкими друг к другу, увеличивает энтропию ансамбля.

2.2.19.Из многолетних наблюдений за погодой известно, что в некотором пункте А вероятность того, что 15 июня будет дождь, равна 0,4, а вероятность того, что осадков не выпадет, равна 0,6. Вероятность того, что будет дождь 15 ноября, равна 0,2, а вероятность того, что выпадет снег, равна 0,45. В какой из названных дней погоду в п. А следует считать более неопределенной, если:

а) интересоваться вопросом о наличии и характере осадков, б) интересоваться вопросом только о наличии осадков.

2.3 Средняя взаимная информация

Определения. В изучении проблем связи, кроме рассмотренных выше величин, важную роль играет среднее значение взаимной информации между элементами различных ансамблей.

Рассмотрим условное среднее значение взаимной информации для объединенного ансамбля XY. Пусть сигнал принял значение уk. Тогда информация, содержащаяся в реализации уk принятого сигнала относительно ансамбля передаваемых сообщений X,

есть средняя взаимная информация между ансамблем X и реализацией yk.

Аналогично информация, содержащаяся в ансамбле принятых сигналов Y относительно реализации переданного сообщения xj, определяется как

44

Это средняя взаимная информация между ансамблем Y и реали-

зацией xj.

Средняя взаимная информация между ансамблем принимаемых сигналов Y и ансамблем передаваемых сообщений X

есть то количество информации, которое содержится в среднем в ансамбле принимаемых символов Y относительно ансамбля передаваемых символов X.

Основные свойства средней взаимной информации.

1) Средняя взаимная информация симметрична

2) Средняя взаимная информация не превышает собствен-

ную

H ( X )

I ( X ;Y ) (2.3.5)

H (Y ).

3) Средняя взаимная информация всегда неотрицательна

4) Следующее свойство устанавливает соотношение между средней взаимной информацией и энтропиями, относящимися к объединенному ансамблю. Величина

– среднее количество информации о сообщении, содержащееся в принятом сигнале – равна среднему количеству информации, требуемому для определения сообщения X, минус среднее количество информации, которое все еще потребуется для определе-

45

ния X после приема сигнала Y. Тогда энтропию Н(Х) мы понимаем как среднее количество переданной информации, а условную энтропию H(X/Y) – как среднее количество информации, потерянное вследствие влияния шума («ненадежность»).

В другом варианте

среднее количество информации есть разность между средним количеством информации, необходимым для определения принятого сигнала, и средним количеством информации, необходимым для определения того же сигнала, когда известно переданное сообщение. Тогда H(Y/X) можно трактовать как среднее количество информации, необходимое для определения помехи в канале, т. е. это есть энтропия шума в канале.

При отсутствии в канале помех

т.е. принимаемый сигнал Y доставляет получателю всю информацию, содержащуюся в переданном сигнале.

В этом случае уk и xj связаны однозначно

и условная энтропия H(X/Y)=0.

При значительном уровне помех прием уk не дает ответа относительно переданного xj, следовательно, X и Y можно приближенно считать статистически независимыми, тогда

p(xj / yk ) p(xj ) – прием символа уk никак не определяет пе-

реданного символа xj – и среднее количество информации

I (X ;Y ) H (X ) H (X / Y ) 0 .

Очевидно, формулы (2.3.3), (2.3.7) и (2.3.8) дают тождественные результаты, и выбор той или иной формулы при решении конкретной задачи производится из соображений удобства математических выкладок.

РЕШЕНИЕ ТИПОВЫХ ПРИМЕРОВ Пример 2.3.1. Вычислить для конкретного канала, заданно-

го в примере 2.1.4, средние количества информации.

48

ступают посылки (1) и паузы (0). Априорные вероятности р(0)=р(1)=1/2. Из-за помех посылка, появившаяся на входе приемника, регистрируется в решающем устройстве правильно (как посылка) с вероятностью 0,8 , ошибочно (как пауза) – с ве-

роятностью 1 . При поступлении паузы на вход приемника она принимается правильно (как пауза) с вероятностью 0,6 и ошибочно (как посылка) – с вероятностью 1 . Определить

среднюю информацию о входном сигнале, содержащуюся в наблюдаемом сигнале на выходе приемника.

Решение. Обозначим X – ансамбль сигналов на входе, Y – ансамбль сигналов на выходе. Ищем среднюю взаимную информацию по формуле (2.3.8)

I (X ;Y ) H (Y ) H (Y / X ),

условная энтропия шума в канале, определяемая условными вероятностями искажений p( yk / xj ) . По условию задачи они имеют следующие значения

Для вычисления вероятностей появления сигналов на выходе p(Y=1) и p(Y=0) воспользуемся формулой полной вероятности

p( y 1) p(x 1) p( y 1 x 1) p(x 0) p( y 1 x 0) 0,5 0,8 0,5 0, 4 0, 6.

p( y 0) p(x 0) p( y 0 x 0) p(x 1) p( y 0 x 1) 0,5 0, 6 0,5 0, 2 0, 4.

50

Ищем условные вероятности p( yk / xj ) . Поскольку по-

ловина всех букв принимается правильно, то p( yk / xj ) 1/ 2 при k j.

Другая половина случаев есть ошибочный прием, причем по условию задачи все возможные ошибки равновероятны. Число возможных переходов (ошибок) равно 7. Тогда вероятность ошибки p( yk / xj ) 0,51/ 7 1/14 при k j.

Вероятности появления букв на выходе найдем по (1.3)

Этот же результат следует непосредственно из того факта, что рассматриваемый канал – симметричный (набор вероятностей ошибок одинаков для любого Х), тогда при равномерном распределении на входе распределение на выходе также равномерно.

Среднюю взаимную информацию находим по формуле

(2.3.3)

ЗАДАЧИ