§ 5.8. Об основных результатах теории информации

Теория информации приводит к ряду новых понятий, описывающих информационные процессы, происходящие в любых системах, к введению новых количественных параметров, позволяющих проводить измерения и расчеты. Часть этих понятий и величин мы рассмотрели в предыдущих параграфах, некоторые другие опишем ниже. Однако главная ценность теории информации заключается в полученных ею новых результатах, в открытии ранее неизвестных свойств систем.

Чтобы познакомиться с основными из этих результатов, введем еще несколько понятий и параметров информационных процессов и систем.

ИЗБЫТОЧНОСТЬ

Одной из важнейших характеристик сигнала является содержащееся в нем количество информации. Однако по ряду причин количество информации, которое несет сигнал, обычно меньше, чем то, которое он мог бы нести по своей физической природе; информационная нагрузка на каждый элемент сигнала меньше той, которую элемент способен нести. Для описания этого свойства сигналов введено понятие избыточности и определена ее количественная мера.

Пусть сигнал длиной в n символов содержит количество информации I. Если это представление информации обладает избыточностью, то такое же количество информации I может быть представлено с помощью меньшего числа символов. Обозначим через n₀ наименьшее число символов, необходимое для представления I без потерь. На каждый символ в первом случае приходится I₁ = I/n бит информации, во втором I_1max = I/n₀ бит. Очевидно, nI₁ = n₀I_1max = I. В качестве меры избыточности R принимается относительное удлинение сигнала, соответствующее данной избыточности:

. (1)

В дискретном случае имеются две причины избыточности: неравновероятность символов и наличие статистической связи между символами. В непрерывном случае – это неэкстремальность распределений (т.е. отклонение от распределений, обладающих максимальной энтропией), что в широком смысле сводится к отклонениям от экстремальности распределения первого порядка и от минимальности связи во времени (от равномерности спектра при его ограниченности).

Не следует думать, что избыточность – явление всегда отрицательное. При искажениях, выпадениях и вставках символов именно избыточность позволяет обнаружить и исправить ошибки.

СКОРОСТЬ ПЕРЕДАЧИ И ПРОПУСКНАЯ СПОСОБНОСТЬ

Следующим важнейшим понятием является скорость передачи информации. Так называется количество информации, передаваемое в единицу времени. Эта величина определяется по формуле

R = Н(Х) – Н(Х | Y), (2)

где указанные энтропии исчисляются на единицу времени^*. В дискретном случае единицей времени удобно считать время передачи одного символа, тогда в формуле (2) фигурируют априорная и апостериорная энтропии на один символ. Для непрерывных каналов единицей времени может служить либо обычная единица (например, секунда), либо интервал между отсчетами (см. § 5.5); тогда в формулу (2) входят соответствующие дифференциальные энтропии. Для более наглядного представления о величине R укажем, что темп обычной речи соответствует скорости порядка 20 бит/с, муравьи обмениваются информацией путем касания усиками со скоростью около 1/10 бит/с.

Скорость передачи информации по каналу связи зависит от многих фак­торов – от энергии сигнала, числа символов в алфавите избыточ­ности, полосы частот, способа кодирования и декодирования. Если име­ется возможность изменять некоторые из них, то, естественно, следует де­лать это так, чтобы максимально увеличить скорость. Оказыва­ется, что обычно существует предел, выше которого увеличение скорости не­возможно. Этот предел называется пропускной способностью канала:

, (3)

где R_А – скорость передачи информации при условиях А, {А} – мно­жество вариантов условий, подлежащих перебору. Так как множество {А} можно определить по-разному, то имеет смысл говорить о нескольких типах пропускных способностей. Наиболее важным является случай, когда мощность сигнала (объем алфавита) фиксирована, а варьировать можно только способ кодирования. Именно таким образом пропускную способность определил К.Шэннон [9]. С другой стороны, В.И.Сифоров показал, что целесообразно рассмотреть предел, к которому стремится шэнноновская пропускная способность С при стремлении мощности полезного сигнала к бесконечности. Оказалось, что все каналы связи разбиваются на два класса: каналы первого рода (терминология Сифорова), для которых указанный предел бесконечен, и каналы второго рода, имеющие конечную пропускную способность даже при бесконечной мощности передатчика. Этот предел называют собственной пропускной способностью. При других требованиях, предъявляемых к множеству {А}, мы придем к тем или иным условным пропускным способностям.

Для представления о порядках величин С приведем примеры. Прямыми измерениями установлено, что пропускные способности зрительного, слухового и тактильного каналов связи человека имеют порядок 50 бит/с (вопреки распространенному мнению о сильном отличии зрительного канала). Возможно, ограничивающим фактором являются не сами рецепторы, а нервные волокна, передающие возбуждения. Если включить в канал и “исполнительные” органы человека (например, предложить ему нажимать педаль или кнопку в темпе получения сигналов), то пропускная способность близка к 10 бит/с. Интересно отметить, что многие бытовые технические устройства слабо согласованы с органами чувств человека. Например, канал телевидения имеет пропускную способность в десятки миллионов бит/с.

КОДИРОВАНИЕ В ОТСУТСТВИЕ ШУМОВ

С помощью введенных понятий можно рассмотреть многие информа­ционные процессы. Начнем с дискретных систем без шумов. Здесь главное внимание привлекает проблема эффективности: важно, чтобы дан­ная информация заняла в запоминающем устройстве как можно мень­ше ячеек, при передаче желательно занимать канал связи на максимально короткий срок. В такой постановке задачи легко распознается проблема устранения всякой избыточности. Однако эта проблема не тривиальна.

Пусть алфавит системы состоит из m символов. Средствами этого алфавита требуется представить любой из M возможных сигналов {u_k}, , вероятности которых {р(u_k)} заданы. Обычно М > m, поэтому каждый из сигналов, подлежащих передаче, невозможно обозначить только одним символом и приходится ставить им в соответствие некоторые последовательности символов; назовем их кодовыми словами. Так как возможна последовательная передача разных кодовых слов, то они не только должны различаться для разных u_k, но и не должны быть продолжением других, более коротких. Пусть сигналу u_k соответствует кодовое слово длиной l_k символов. При стационарной передаче сигналов с вероятностями {р(u_k)} средняя длина кодового слова равна .

Возникает вопрос о том, как выбирать L и {l_k}. Он не имеет смысла, пока не задан критерий выбора этих величин. Определим этот критерий так: L и {l_k} должны быть минимальными величинами, такими, при которых еще не происходит потери информации. Напомним, что в отсутствие шумов среднее количество информации на один элемент u_k ансамбля {u_k} равно энтропии этого ансамбля, т.е. Н(U) = = , а индивидуальное количество информации вu_k есть i(u_k) = – logр(u_k). С другой стороны, на один символ придется максимальное количество i информации, если символы равновероятны и независимы; при этом i = logm. Поскольку кодирование должно вестись без потерь информации, сразу получаем

, (4) . (5)

Так из общих соображений находим нижние границы для L и l_k. В теории информации доказываются теоремы об условиях достижимости этих границ. Мы не будем приводить эти теоремы; укажем лишь, что речь идет не только о принципиальной возможности: разработаны про­це­дуры построения кодов, обеспечивающих безызбыточное кодирование (либо в случае невозможности этого – сколь угодно близкое к нему).

КОДИРОВАНИЕ ПРИ НАЛИЧИИ ШУМОВ

Наиболее интересные и важные результаты были получены при рассмотрении передачи информации по каналам связи с шумами. В этом случае безызбыточное кодирование приведет к безвозвратным потерям информации: искаженный символ нельзя ни обнаружить, ни исправить. Для борьбы с влиянием помех необходимо ввести избыточность в сигнал. Основываясь на интуитивных соображениях (например, на опыте многократного повторения), легко прийти к выводу, что при неограниченном повышении требований к малости вероятности ошибки избыточность и при любом способе кодирования должна неограниченно возрастать, а скорость передачи – стремиться к нулю. Здесь мы имеем яркий пример того, как сильно интуиция может привести к заблуждению. Шэннон показал, что существуют такие способы введения избыточности, при которых обеспечиваются одновременно и сколь угодно малая вероятность ошибки, и конечная (отличная от нуля) скорость передачи информации, причем эта скорость может быть сколь угодно близкой к пропускной способности канала. Это замечательное открытие и привлекло столь большое внимание к теории информации.

Воспроизведем упрощенное доказательство указанного утверждения. Рассмотрим схему передачи по каналу с шумом (рис. 5.5). Будем считать, что на вход кодера сигналы поступают закодированными безызбыточно. Кодер вносит в сигналы избыточность, увеличивая длительность кодовых слов. Число возможных последовательностей сразу резко увеличивается, но избыточность и состоит в том, что к отправке предназначаются не все из них, а лишь разрешенные (отмеченные на рис. 5.5 черными кружками). Согласно фундаментальному свойству энтропии (см. формулу (8) § 5.6), число всевозможных последовательнос­тей^* длины n равно 2^nH(X), а число разрешенных* к отправке равно 2^nH < 2^nH(X) (считаем, что энтропия исчисляется в битах); Н – энтропия на символ во множестве разрешенных к отправке последовательностей (“энтропия источника”, или “скорость создания информации”), Н(Х) – энтропия на символ во множестве всевозможных последовательностей. В результате воздействия шумов какие-то из символов отправленной последовательности подменяются другими и на приемный конец поступает другая, отличная от отправленной, последовательность. Поскольку р(х | у) считается известным, каждой принятой последовательности соответствует 2^nH(Х | Y) возможно отправленных*. Декодирование (т.е. принятие решения о том, какая последовательность была отправлена) можно выразить как разбиение всего множества Y принимаемых последовательностей на 2^nH подмножеств, сопоставляемых с разрешенными к отправке: если, например, принят сигнал i-й группы, то считается, что был послан i-й разрешенный сигнал, который тут же выдается в “чистом” виде получателю.

5.5 ————— Схема передачи информации по каналу с шумами

Итак, в построенной модели проблема выбора кода (способа передачи) состоит в размещении разрешенных последовательностей среди множества всевозможных на передающем конце и в разбиении этого множества из 2^nH(Х) пос­ле­довательностей на 2^nH подмножеств на прием­ном конце. Идея Шэннона состоит не в том, что­бы указать некоторый регулярный способ ко­ди­рования со сколь угодно малой вероят­ностью ошибки, а в том, чтобы показать, что та­кой код вообще существует. Рассмотрим класс всевоз­можных кодов, которые получаются, если раз­ре­шенные последовательности размещать сре­ди всевозможных случайным образом, а в качестве декодирующего подмножества брать 2^nH(Х | Y) последовательностей высоковероятностной группы, соответствующей принятому сигналу.

GAUSSIAN гауссов (канал)

REDUNDANCY избыточность

CODING кодирование

CAPACITY пропускная способность (канала)

RATE скорость (передачи)

Для информационных процессов в отсутствие шумов главной проблемой является наиболее эффективное (безызбыточное) представление информации. Свойства таких оптимальных кодов легко определяются из эвристических соображений (хотя могут быть доказаны и строго), что иллюстрирует полезность введенных понятий (см. (5) и (6) ).

Пожалуй, самым важным открытием в теории информации является установленная К. Шэнноном возможность практически безошибочной передачи информации по каналу с шумом со скоростью, близкой к пропускной способности.

Вероятность ошибки при этом равна вероятности того, что среди 2^nH(Х | Y) последовательностей окажется более одной разрешенной. Так как код получается в результате случайного (равновероятностного) выбора 2^nH последовательностей среди 2^nH(Х), то вероятность того, что данная последовательность окажется разрешенной, равна 2^nH/2^nH(Х) = 2^{n(H – H(Х))}. Средняя вероятность того, что в декодирующем подмножестве из 2^nH(Х | Y) последовательностей имеется только одна разрешенная, выразится соотношением

; (6)

это и есть вероятность безошибочного приема. Поскольку Н < С = Н(Х) – Н(Х | Y), имеем Н – Н(Х) = – Н(Х | Y) – , где  > 0. Отсюда (пренебрегая единицей по сравнению с 2^nH(Х | Y) находим

. (7)

Логарифмируя и применяя правило Лопиталя, легко показать, что , т.е. что при кодировании достаточно длинными блоками средняя вероятность ошибки может быть сделана сколь угодно малой. Доказательство завершается утверждением, что существуют коды с вероятностями ошибок меньше средней.

ПРОПУСКНАЯ СПОСОБНОСТЬ ГАУССОВА КАНАЛА СВЯЗИ

Перейдем теперь к знакомству с основными результатами для систем с непрерывными сигналами. Наиболее известным выводом теории является формула для пропускной способности гауссова канала связи, которую мы сейчас получим.

Гауссовым каналом называется канал связи, для которого выполняются следующие условия:

1⁰) сигналы и шумы в нем непрерывны;

2⁰) канал занимает ограниченную полосу частот шириной F;

3⁰) шум n(t) в канале распределен нормально (“гауссов шум”);

4⁰) спектр мощности шума равномерен в полосе частот канала и равен N единиц мощности на единицу полосы частот;

5⁰) средняя мощность полезного сигнала х(t) фиксирована и равна Р₀;

6⁰) сигнал и шум статистически независимы;

7⁰) принимаемый сигнал y(t) есть сумма полезного сигнала и шума: y(t) = х(t) + n(t) (“шум аддитивен”).

Эти предположения позволяют вычислить пропускную способность гауссова канала. Во-первых, ограниченность полосы частот позволяет применить теорему отсчетов (см. § 5.5) и вести рассуждения для каждого отсчета в отдельности. Далее, аддитивность шума и его независимость от Х позволяют представить количество информации в Y об Х в виде

, (8)

где h(N) – дифференциальная энтропия шума. Следовательно, пропускная способность такова:

Согласно условиям 3⁰ и 4⁰, имеем

. (9)

В силу условий 4⁰ – 7⁰ мощность принимаемого сигнала есть

. (10)

Максимум h(Y) при условии (10) достигается в случае нормального распределения (см. упражнение 2б) к § 5.6), т.е.

(11)

Так как шум имеет равномерный спектр (см. условие 4⁰) и спектр смеси y(t) также равномерен (вследствие независимости отсчетов), то и полезный сигнал должен иметь равномерный спектр. Вводя спектральную плотность Р = Р₀/F и вычитая равенство (9) из (11), получаем известную формулу Шэннона – Таллера

(12)

Таким образом, мы не только определили пропускную способность, но и заодно показали, что она реализуется, если полезный сигнал закодировать так, чтобы его спектр был равномерным в представленной полосе частот, а распределение мгновенных значений – нормальным.

Дальнейшие обобщения связаны с рассмотрением “небелых” сигналов и шумов (предполагается зависимость от частоты их спектральных мощностей Р( f ) и N( f )), а также с допущением случайности величины Р (например, в случае замираний радиосигналов). Решения возникающих при этом задач имеются в литературе по теории информации.

Подведем итог Теоремы Шзннона о кодировании в каналах без шумов и при наличии шумов, приведенные в данном параграфе, относятся к числу основных результатов теории информации. Эти теоремы сильно расширили понимание природы информационных процессов, происходящих во всех системах.

Summary Shannon's theorems of coding in noiseless and in noisy channels, given in this section, are among the main findings of information theory. These theorems have greatly broadened our understanding of the nature of information processes in various systems.