книги из ГПНТБ / Гойхман Э.Ш. Основы теории передачи информации в автоматизированных системах управления

Требования к полосе пропускания различных систем передачи двоичных сигналов рассматриваются в IV главе.

Реальные каналы связи не обладают равномерной частотной и линейной фазовой характеристиками. В этих условиях максималь­ ная возможная скорость передачи дискретных сигналов . оказы­ вается меньшей, чем 2F, и ограничивается неравномерностью вре­ мени группового распространения в пределах используемого участ­ ка спектра. На рис. 2.16 приведена примерная частотная характе­ ристика неравномерности времени группового распространения для телефонного канала.

Для того, чтобы при передаче импульса длительностью Тс ис­ кажения не превысили .допустимых пределов, необходимо, чтобы неравномерность тп> в пределах используемой полосы канала пе превышала (0,4-д-1,0) Т с. В реальных каналах связи малая нерав­ номерность времени группового распространения имеет место в средней части характеристики (рис. 2.16). Поэтому в тех случаях, когда к качеству передачи телекодовых сигналов предъявляются особо высокие требования, для передачи используется средний участок частотного диапазона канала. Так, для передачи по стан­ дартному телефонному каналу телекодовых сигналов в американ­ ской автоматизированной системе управления ПВО «Сейдж» ис­ пользуется участок частотного диапазона 1000—2500 гц, в котором неравномерность времени группового распространения не превы­ шает ±250 мксек. В этих условиях обеспечивается высококаче­ ственная передача со скоростями до 1600 бод.

Контрольные вопросы ко II главе

1.Что понимается под сообщением?

2.Что понимается в электросвязи под сигналами?

40

3.Какие операции включает в себя преобразование сообще­ ния в сигнал?

4.Изобразить эпюры линейных сигналов при передаче кодо­

вой комбинации 1010 методами амплитудной, частотной и фазовой манипуляции, а также при использовании широтно-импульсной и фазово-импульсной модуляции.

7.Каким количеством дискретных отсчетов отображается не­ прерывная функция, спектр которой не начинается с нулевой час­ тоты?

8.Каковы основные свойства функции отсчетов?

9.Что называется комбинированным квантованием?

10.Из каких соображений выбирается шаг квантования?

11.Что называется неравномерностью времени группового рас­

пространения и в чем заключается физическая сущность этого по­ нятия?

12. Что называется скоростью телеграфирования и как она за­ висит от электрических характеристик канала связи?

ЛИТЕРАТУРА

1. Чугреев А. П. и Паюсов К■ А. Диалектический материализм и современ­ ное естествознание. АРТА, 1963.

2.Гугкин Л. С. Теория оптимальных методов радиоприема при флкжтуационных помехах. Эиергоиздат, ,1961.

3.Крейн М. Т. Об одной экстраполяционной проблеме А. Н. Колмогорова.

ДАН СССР, 1944, стр. 46, 306 309.

4. Железнов Н. А. Некоторые вопросы теории информационных электриче­ ских систем. ЛКВВИА, 1960.

5.Голдман С. Теория информации. ИИЛ, 1957.

6.Nvquist N. Certain topics in telegraph transmission theory. Trans. Anier. Inst. Elect. Engrs. 1928, April, vol. 47, p. 017—644.

7. Харкевич А. А. Очерки .общей теории связи. Гостехнздат, 1955.

8. Харкевич А. А. О теореме Котельникова. «Радиотехника», 1958, № 8.

41

ГЛАВА III

ОСНОВЫ ТЕОРИИ ИНФОРМАЦИИ

»

§ 3.1. Предмет теории информации

Вопросы эффективной и надежной передачи информации пред­ ставляют большой практический интерес для целого ряда разно­ образных отраслей науки, техники и военного дела, к которым, в частности, относятся электросвязь, телеуправление, радиолока­ ция, вычислительная техника, автоматика, лингвистика, физиоло­ гия и другие. В связи с этим возникла необходимость разработки теории, изучающей закономерности, свойственные сообщениям и способам их передачи независимо от того, какой характер имеют эти сообщения (телеграфные и радиолокационные сигналы, сигна­ лы управления, сигналы нервного возбуждения и др.). Такой тео­ рией и явилась теория информации.

Теория информации представляет собой науку, изучающую ко­ личественные закономерности, связанные с получением, передачей, обработкой и хранением информации.

Передача информации является случайным процессом, ибо обычно содержание передаваемого сообщения заранее неизвестно (в противном случае не возникла бы необходимость самой переда­ чи). Случайный характер имеют и воздействующие на процесс пе­ редачи информации помехи. Поэтому изучение закономерностей передачи и преобразования информации производится методами теории вероятностей, а теорию информации иногда называют ста­ тистической теорией передачи сообщений.

Следует, однако, иметь в виду, что рассматриваемая в широ­ ком смысле слова статистическая теория передачи сообщений охва­ тывает весьма большой круг вопросов, связанных со статистикой сообщений и помех, разработкой оптимальных методов передачи, приема и преобразования информации; некоторые из них (приме­ нительно к электросвязи) рассматриваются и в других главах на­ стоящего пособия.

Вместе с тем теория информации рассматривается часто и бо­ лее узко — как теория меры количества информации и кодирова­ ния. Именно в таком аспекте рассматривается теория информации в настоящей главе. ^

Важнейшими задачами теории информации являются:

1. Установление меры количества информации, позволяющей производить количественную оценку процессов передачи и преоб­

42

разования информации и изучение свойственных этим процессам закономерностей.

2.Определение предельного количества информации, которое может быть передано по данному каналу за единицу времени.

3.Нахождение эффективных методов кодирования, обеспечи­ вающих возможно более достоверную передачу требуемого коли­ чества информации наиболее экономным способом, т. е. с по­ мощью минимального количества символов.

§ 3.2. Количество» информации и ее мера

Введение численной меры количества информации позволяет:

—| сравнивать различные сообщения по их содержательности; 1 — оценивать скорость передачи информации в различных си­ стемах связи и сравнивать эти системы по их эффективности;

—определять предельное количество информации, которое может быть передано в данных конкретных условиях;

—определять наилучшие условия кодирования.

В качестве объекта, о котором передается информация, обычно рассматривается некоторая физическая система, которая может случайным образом оказаться в том или ином состоянии*.

Такой системой может быть, например, какой-либо физический процесс, параметры которого случайным образом изменяются во времени, автоматизированная система управления ПВО, в кото­ рую поступают различные сведения о воздушной обстановке, дей­ ствиях активных средств и т. д.

Потребность в передаче информации возникает лишь тогда, когда интересующая пас система может иметь ряд случайных со­ стояний.

Предполагается, что статистические свойства системы (вероят­ ности ее возможных состояний) априорно (т. е. заранее) известны.

Так, например, можно считать априорно известным, что вхо­ дящая в зону обороны цель может быть с соответствующими ве­ роятностями Рс, Рр и Ро сбита истребителями, зенитными раке­ тами либо пропущена.

Каждому из этих событий может быть поставлено в соответ­ ствие определенное сообщение. До,его получения в месте приема существует неопределенность в отношении того, какое из возмож­ ных сообщений поступит,- При приеме сообщения, содержащего информацию о том, какое событие фактически наступило, эта не­ определенность снимается полностью либо частично, в' зависимо­ сти от достоверности принятого сообщения. Чем больше существо­ вавшая ранее и снимаемая при получении сообщения неопреде­ ленность, тем большее количество информации содержит сообще­ ние.

* Синонимами термина «случайное состояние» являются термины «случай­ ное событие», «случайный исход».

43

Сообщение о событии, наступление которого заранее точно из­ вестно, не содержит информации; его передача вообще не имеет смысла. Из двух сообщений, одно из которых содержит результа­ ты двух возможных исходов (бросок монеты), а другое — резуль­ таты шести возможных исходов (бросание игральной кости), второе содержит' больше информации. В первом случае неопреде­ ленность исхода была сравнительно мала; поэтому, еще не полу­ чив сообщения о том, что, например, выпал «герб», с вероят­ ностью Яг --~Ч2 можно предугадать наступление исхода. Во втором случае [Рч—Чб) неопределенность была значительно больше, а поэтому полученное сообщение в большей мере содержало эле­ мент неожиданности, новизны.

Таким образом, количество информации, содержащееся в со­ общении, может быть количественно оценено по вероятности по­ ступления этого сообщения. Такой критерий оценки позволяет установить объективную численную меру количества информации, содержащегося в любых возможных сообщениях независимо от их конкретного смысла.

В соответствии с вышеизложенным требования, которым долж­ на удовлетворять мера количества информации, можно сформу­ лировать в следующем виде:

1.Количество информации, содержащееся в данном сообще­ нии, должно определяться не его конкретным смыслом, а лишь степенью неопределенности, снимаемой при получении данного сообщения.

2.Количество информации должно быть равно нулю, если ин­ тересующее нас событие им<)ет только один исход. Это требование логически следует из предыдущего.

3.Должен быть соблюден принцип аддитивности, т. е. количе­ ство информации, содержащееся в данном сообщении, должно быть пропорционально его длине. Это означает, например, что вдвое более длинное сообщение должно содержать вдвое большее

количество информации.

При рассмотрении вопроса о численной мере количества ин­

Каждое из N сообщений может быть передано в виде кодовой комбинации длиной п, представляющей собой сочетание из т воз­ можных символов. При этом N~-mn. Например, с помощью кода

44

Бодо .(in---2; /; = !)) может быть передано 32 различных сообще­ ния.

С первого взгляда кажется, что проще всего в качестве чис­ ленной меры количества информации взять само число возмож­ ных сообщений N. Однако при этом не выполняются второе и третье требования. Так, если в коде Бодо количество символов в

чина N, которую мы хотели принять за меру количества инфор­ мации, возрастет до 64, т. е. вдвое. Следовательно, требование

Эта мера впервые была предложена Хартли в 1928 году.

Таким образом, в случае равновероятных сообщений в качестве численной меры количества информации принимается логарифм числа возможных сообщений (исходов) или, что в данном случае то же самое, логарифм обратной вероятности каждого из них.

Выбор вснования логарифма не существен, так как переход от одной системы логарифмов к другой сводится лишь к умноже­ нию логарифма с данным основанием на соответствующий множи­ тель. Он равен 1,443 при переходе от натуральных логарифмов к двоичным, и 3,32 — при переходе от десятичных логарифмов к двоичным. Обычно пользуются двоичными логарифмами. При N---2 получим

/= lo g 22 = 1.

В соответствии с этим за единицу количества информации при­ нято считать такое количество информации, которое снимает не­ определенность при выборе одного из двух равновероятных исхо­

дов.

Такая единица количества информации называется двоичной единицей информации или битом.

45

держащееся в сообщении о том, что цель появилась в определен­ ном секторе.

жениями: для того, чтобы опре­ делить в данном примере сектор, в котором находится цель, доста­ точно произвести последователь­

равновероятных событий. Снача­ ла выбирается четверка секто­ ров, в которой находится цель. Затем из четверки выбирается па­

ра секторов и, наконец, из пары выбирается тот сектор, в котором находится цель.

П р и м е р 3.2. Бомбометание производится по участку квад-

чратной формы, который разбит на 64 равных квадрата (8 квадра­ тов в длину и 8 — в ширину). Попадание в любой из 64 квадратов равновероятно. Требуется определить количество информации, со­

держащееся в сообщении, указывающем номер квадрата, в кото­ рый попала бомба. Считая сообщение вполне достоверным, полу­ чим /= lo g 264 = 6 двоичных единиц информации.

Эту ж,е информацию можно было передать двумя сообщения­

Количество информации, содержащееся в конкретном сообщении

До сихпор рассматривались случаи приема равновероятных сообщений при отсутствии помех и искажений в канале связи.

В более общем случае приема неравновероятных сообщений неопределенность появления конкретного (/-того) сообщения так­ же характеризуется его вероятностью р,-.

Мерой количества информации, содержащегося в конкретном /-том сообщении, является величина /*;=—logp;.

Рассмотрим пример подсчета количества информации, содер­

4 6

роятности обнаружения цели в различных секторах неодинаковы и равны:

Тогда сообщения о появлении цели в каждом из секторов бу­ дут содержать следующие количества информации:

Наибольшее количество информации содержит наименее веро­ ятные сообщения.

До сих пор предполагалось, что каждое полученное сообщение вполне достоверно, т. е. что с получением сообщения имевшаяся до его приема начальная неопределенность полностью снимается. Однако в реальных условиях при наличии помех полученное сооб­ щение не всегда полностью снимает начальную неопределенность.

Пусть вероятность поступления конкретного (/-того) сообще­ ния равна pi . Ей соответствует априорная неопределенность, ха­

рактеризуемая величиной log —. При наличии помех и после

приема /-того сообщения априорная неопределенность снимается не полностью. В этих условиях, приняв /-тое сообщение, можно лишь с определенной вероятностью р 'г< 1 предполагать, что фак­ тически имело место /-тое Событие. Этой вероятности соответ­ ствует остаточная неопределенность, характеризуемая величиной

log 4 : = - logp'i-

I’ l

Происшедшее в результате приема /-того сообщения уменьше­ ние неопределенности численно равно количеству информации, со­ держащемуся в сообщении.

Последнее равно

Таким образом, количество информации, содержащееся в кон­ кретном сообщении, равно разности .неопределенностей, суще­ ствующей у получателя до и после приема этого сообщения.

При отсутствии помех p'i= 1 и получим прежнее выражение

/ = | 0Е 7Г'

47

§ 3.3. Энтропия как мера неопределенности

3.3.1. Понятие энтропии

До сих пор рассматривался вопрос о количестве информации, содержащемся в сообщении об одном из возможных событий. Каждое из этих событий в зависимости от его вероятности харак­ теризуется своим значением неопределенности. Необходимо уметь количественно оценивать среднюю неопределенность, свойствен­ ную данной физической системе в целом. В теории информации всегда рассматриваются системы событий xi(i---\, 2 ... т ), в ко­ торых при каждом испытании наступает одно и только одно из этих событий. Такие системы событий называются полными.

событий удобно записать в виде следующей таблицы:

Примерами конечных систем событий являются, в частности, речь, телеграфный текст и т. п. При передаче по каналу связи текста, состоящего из букв русского алфавита, в каждый момент времени передаются сигналы, отображающие появление какой-

что в русском тексте вероятность появления буквы «О» составля­ ет 0,11; буквы «Ф»—‘0,002 и т. д.).

Рассмотрим вопрос о количественной оценке степени неопре­ деленности, свойственной конечной системе. В общем случае вхо­

3.3). Так, например, сообщения о появлении цели в 6 и 7-м сек­ торах снимают наибольшую неопределенность (содержат наиболь­ шее количество информации). Однако вероятность поступления таких сообщений мала. Обратная картина имеет место с сообще­ нием о появлении цели в 1-м секторе.

За количественную меру оценки неопределенности системы в целом (Я) естественно принять математическое ожидание неопре­

деленностей появления каждого из возможных сообщений:

N

н = —Coilogp, + p2\ogp2+ ...+pN\0 gpN) = - £ Pi logpi ■ (3.4)

i

N

Величина H — — V]pt log/?/ называется энтропией.

48

Таким образом, энтропией системы называется сумма произ­ ведений вероятностей различных состояний системы на лога­ рифмы этих вероятностей, взятая с обратным знаком.

Это — средняя величина неопределенности наступления случай­ ных событий в конечной системе.

Если все N возможных событий равновероятны, т. е.

Р1=р,=...=р=

то

-гичное выражение характеризует' среднюю неопределенность со­ стояния системы молекул. •

Энтропия характеризует степень разнообразия возможньус со­ стоянии конечной системы (степень разнообразия возможных со­ бытий). В зависимости от конкретных условий под событием мо­ жет, в частности, подразумеваться передача того или иного сооб­ щения, буквы, символа и т. д. В соответствии с этим в теории информации встречаются понятия «энтрбиия на букву», «энтропия на символ» и т. п.

Выражение «источник сообщений имеет энтропию //, двоичных единиц в секунду» означает, что источник (например, телеграфный аппарат) выдает'-/i, двоичных единиц информации в секунду. Эн­ тропия источника сообщений, отнесенная к единице времени, рав­ на энтропии па букву, умноженной на количество букв V, пере­

она характеризует не то, что в данный момент передается, а то, что о среднем могло бы быть 'передано (независимо от того, ведет­ ся сейчас передача или нет).

Рассмотрим основные свойства энтропии.

1. Величина эйтропин характеризует меру неопределенности для совокупности событий, составляющих в целом конечную си­ стему.

2.Энтропия является неотрицательной функцией, так как вхо­ дящие в ее выражение вероятности всегда положительны.

3.Энтропия системы, состояние которой точно известно, равна

пулю.

В этом случае все вероятности pi равны нулю, кроме одной,