ДС Радиооптика_1 / Литература ч.1 / История техники связи

Глава 4. Создание и развитие теории информации

§ 1. Предыстория

Годом рождения теории информации следует считать 1948 г., когда выдающийся американский ученый Клод Шеннон опубликовал свою знаменитую статью «Математическая теория связи» об основных закономерностях передачи информационных сообщений по каналам связи.

Подобно тому, как за открытием Исааком Ньютоном законов механики последовало бурное развитие многих современных технологий (например, всех видов наземного и воздушного транспорта, космической техники и т.д.), так и открытие новых закономерностей передачи информационных сообщений создало предпосылки быстрого и глобального развития телекоммуникаций. Эти закономерности связаны с двумя разными аспектами проблем, которые с давних пор стояли перед инженерами, разрабатывающими новые системы связи.

Первая из них касалась возможностей устранения избыточности передаваемых сообщений, что позволило эффективнее использовать каналы связи, вторая — возможностей передачи сообщений с минимальными искажениями по каналам связи с шумом.

Для решения обеих проблем необходим был адекватный аппарат, позволяющий математически описывать сигналы, передаваемые по каналам связи. Ни одно из крупных научных направлений, естественно, не возникает на пустом месте. Фундамент, на котором К. Шеннон построил свою теорию, подготавливался его предшественниками, в работах которых, выполненных в первой трети ХХ столетия, были сформулированы новые понятия и установлены важные принципы теории связи.

Математическое описание сигналов, передаваемых по каналу связи. Отметим две важные работы, которые в начале ХХ в. формировали представление инженеров о свойствах сигналов, используемых для передачи информации. Дж. Карлсон в 1922 г. ввел понятие спектра сигналов и определил спектр сигналов с ЧМ [1], подведя черту под спором, который инженеры вели несколько лет, о возможности сокращения с помощью ЧМ полосы частот, занимаемой системой передачи сообщения в эфире. Интересно отметить, что на самом деле за шесть лет до Дж. Карлсона важнейшее для теории связи понятие спектра сигналов было введено применительно к сигналам с АМ академиком М.В. Шулейкиным. Однако его работа [2] была опубликована в малоизвестном журнале и не стала доступной широкому кругу специалистов. В 20-е гг. дискуссия об адекватности спектральных представлений в теории связи была весьма жаркой. Так, знаменитый изобретатель вакуумного диода американский инженер Дж. Флеминг резко выступал против их использования и считал возможным, применяя ЧМ, сократить занимаемую системой связи в эфире полосу частот. Важной работой оказалась статья Д. Габора [3], в которой в теорию связи было введено, по-видимому,

впервые плодотворное понятие комплексного аналитического сигнала, действительную часть которого представляет сам сигнал, а мнимая — является его преобразованием Гильберта. Эти понятия сегодня играют в теории связи ключевую роль.

Один из основных законов теории связи был установлен в 1924 г. Г. Найквистом (США) [4] и К. Купфмюллером (Германии) [5]. Согласно этому закону, по каналу с шириной полосы F за время Т можно передать не более 2FТ значений телеграфного сигнала. Математически этот закон выражает важнейшую закономерность в теории связи следующим образом:

N ≥ 2FT,

где N — число отсч¸тов, необходимое для представления временного отрезка сигнала длительностью T, а F — полоса частот, занимаемая телеграфным сигналом. При данном критерии информация не утрачивается и этот сигнал может быть полностью восстановлен. Установленные Найквистом основополагающие принципы теории связи оказали огромное влияние на прогресс в области телекоммуникаций, связанный с переходом от аналоговых систем передачи сообщений (аналоговые сигналы вырабатываются большинством источников информации — микрофонами, телевизионными камерами и т.п.) к цифровым. В цифровых системах каждый из отсч¸тов сигнала преобразуется в цифровую форму и в виде последовательности символов (чаще всего бинарных) переда¸тся по каналу связи.

К знаковым работам, относящимся к предыстории теории информации, относится работа академика В.А. Котельникова [6], который в 1933 г. установил знаменитую теорему, позволяющую представить любую функцию S(t) с ограниченной полосой частот F своими отсч¸тами, взятыми через интервалы времени τ = 1/2F следующим образом:

∞

S(t) = ∑S(nτ )[sin 2πF (t − nτ )/ 2πF (t − nτ )].

n= −∞

Позже, в 1948 г., эта же формула независимо была установлена Клодом Шенноном. В честь этих крупнейших уч¸ных ХХ в. данную формулу иногда называют формулой Котельникова—Шеннона—Найквиста. Важную роль в развитии теории связи сыграли исследования Д.В. Агеева [7], который рассмотрел возможности передачи в одном канале нескольких сообщений, осуществляющих модуляцию различных ортогональных сигналов. Он был, по-видимому, первым, кто плодотворно стал использовать в теории связи понятия многомерного пространства. Позже эти понятия эффективно применяли в своих основополагающих исследованиях В.А. Котельников и К. Шеннон.

Сокращение избыточности сообщений привлекало внимание людей еще в древние времена. Так, со времен Юлия Цезаря для ускорения записи его речей использовалась стенография — способ кодирования слов речи, при котором для записи наиболее часто употребляемых оборотов речи применялись наиболее простые и короткие символы.

Для сокращения избыточности телеграфных сообщений знаменитый американский изобретатель телеграфа Самуэль Морзе создал в 1837 г. код, который в его честь называют кодом Морзе. Этот код был построен таким образом, что наиболее часто встречающимся в тексте буквам английского алфавита были присвоены наиболее

короткие последовательности, состоящие из точек и тире. Он позволял передавать телеграфные сообщения по каналу связи, используя наименьшее в среднем число символов, т.е. затрачивая на передачу меньшее время. Этот код, учитывающий распределение вероятностей в текстах букв английского алфавита, явился первым практическим примером статистического кодирования дискретного источника сообщений. О высокой эффективности кода Морзе говорит то, что он до сих пор находит практи- ческое применение.

Речевые сигналы также обладают большой избыточностью. В 1939 г. американский инженер Г. Дадли (США) изобрел вокодер — устройство, использующее особенности речи для сокращения пропускной способности канала связи, необходимой для ее передачи, в 5—10 раз [8].

Хотя отдельные проблемы устранения избыточности в сообщениях были решены задолго до появления теории информации, это нисколько не умаляет значения открытых Шенноном общих принципов сжатия данных, относящихся к источникам информации произвольной природы. Это направление теории информации имеет важное прикладное значение. В последние годы на основе этих принципов разработан ряд весьма эффективных практических методов для сжатия сигналов телеметрии, фототелеграфии, телефонии, телевидения, звукового вещания и пр. Следует подчеркнуть, что сжатие данных чрезвычайно важно не только для электросвязи, где оно позволяет эффективнее использовать каналы связи, передавая по ним только наиболее существенную часть информации, но и для других областей техники, где требуется запомнить большой объем информации, так как при этом экономится значительное число ячеек памяти.

Первой работой, в которой было введено одно из важнейших понятий теории связи — понятие информации, содержащейся в сообщении, стала статья [9] американского ученого Р. Хартли, опубликованная в 1928 г. До этой работы само понятие «сообщение» носило расплывчатый характер. В работе Хартли информация, содержащаяся в сообщении, связывалась с последовательным выбором на передающем конце линии связи символов или слов независимо от их смысла. Он показал, что в сообщении из N символов, выбранных из алфавита, имеющего К «букв», возможно формирование М = КN сообщений. Р. Хартли предполагал, что каждая «буква» выбирается для передачи по каналу связи с одинаковой вероятностью 1/К, и предложил определять информацию, содержащуюся в одном передаваемом символе сообщения, равной logМ/N = logК. Идея Р. Хартли использовать логарифмическую меру информации, содержащейся в сообщении, была позже существенно обобщена

К. Шенноном.

Следует отметить, что характерной чертой современной теории связи является статистический подход к описанию как сообщений, передаваемых по каналу связи, так и действующих в канале связи шумов. Такой подход также начали применять в теории связи до публикации работ К. Шеннона. Одной из первых работ, в которых вопросы помехоустойчивости приема нескольких используемых в те годы на практике методов передачи дискретных сообщений были исследованы с учетом действия в канале связи случайных шумов, явилась докторская диссертация члена-корреспон- дента АН СССР В.И. Сифорова [10]. Многими своими принципами современная статистическая теория связи обязана Н. Винеру. Его классическая работа [11] «Ин-

терполяция, экстраполяция и сглаживание временных рядов», выполненная в 1942 г., но рассекреченная и опубликованная только в 1949 г., содержала первую четкую формулировку теории связи как статистической проблемы.

Таковы были основные результаты теории связи, полученные учеными до появления работы К. Шеннона.

§ 2. Создание теории информации

Â1948 г. отдельные разрозненные идеи предшественников были обобщены

Ê.Шенноном в его знаменитой работе «Математическая теория связи» [1]. В ней дано четкое математическое описание проблем, стоящих перед теорией связи, и указаны пути их решения. Система связи любого назначения представлена структурной схемой (рис. 4.1), на которой выделены основные функциональные элементы.

Ðèñ. 4.1

Источник на рис. 4.1 представляет собой случайный генератор данных или аналогового стохастического сигнала, а кодер источника осуществляет отображения его выхода в дискретную последовательность символов (обычно двоичную). Назначение кодера источника сообщений — устранение избыточности сообщений, поступающих от источника. Например, если источником сообщений являются буквы алфавита, закодированные равномерным кодом, то, учитывая вероятности их появления в тексте, в кодере источника можно наиболее вероятные буквы перекодировать, как это осуществлено в коде Морзе, короткими кодовыми комбинациями. Простейшим примером кодера аналогового источника служит аналого-цифровой преобразователь, называемый также квантователем; для него декодер источника — цифроаналоговый преобразователь. Мерой достигаемого сжатия данных источника служит скорость, выраженная числом символов (обычно двоичных) в единицу времени, которое необходимо для полного представления и последующего восстановления декодером источника выходной последовательности источника. При этом учитываются статистические характеристики источника и допускается определенный уровень искажений сигнала, поступающего от источника сообщений. Чем выше допускаемый уровень искажений, тем экономнее описание сообщения, поступающего от источника. Кодеры и декодеры должны осуществлять взаимно однозначные преобразования таким образом, чтобы получатель сообщений в отсутствие искажений в канале получал тот же сигнал, который действует на входе кодера источника.

ника формируются номера каждой из М типовых последовательностей, поступающих от источника сообщений, количество которых с учетом того, что вероятности рi значи- тельно отличаются друг от друга, существенно меньше КN.

Ê.Шеннон указал еще на один метод кодирования источника, когда сообщению

ai, появляющемуся с вероятностью рi, ставится в соответствие кодовая комбинация, длина которой приблизительно равна log(1/pi). При таком методе кодирования короткие коды присваиваются наиболее вероятным сообщениям. Независимо от Шеннона этот метод был открыт также другим американским ученым Р. Фано.

Ê.Шенноном было введено еще одно очень важное понятие — «кодирование сообщений при данной точности воспроизведения» и указан метод определения скорости создания сообщений при таком кодировании. Согласно К. Шеннону в кодере непрерывного сигнала x(t) осуществляется его преобразование в сигнал у(t). «Мгно-

венное» значение погрешности преобразования кодируемого сигнала в кодере определяется функцией ρ(х,у). Среднее значение возникающих при этом искажений равно

ε2 = ∫∫ ρ (x, y)p(x, y)dxdy.

Ê.Шеннон показал, что скорость создания сообщений R при заданном ε2 может быть определена следующим образом:

Для гауссовского источника сообщений, имеющего полосу F и мощность σ2 ïðè ρ(õ,ó) = (õ – ó)2 из (3), следует, что

R(ε) = Flog2(σ2/ε2) áèò/c.

К. Шенноном были установлены общие теоремы, определяющие возможности устранения избыточности как дискретных, так и непрерывных источников информации, обладающих разными статистическими характеристиками.

2. Кодирование канала, т.е. преобразование последовательности информационных символов, передаваемых по каналу связи, в код таким образом, чтобы было минимизировано влияние шумов канала связи и тем самым минимизированы различия в информационных символах между входной последовательностью кодера канала и выходной последовательностью декодера канала.

Решение этой проблемы позволяет при заданном отношении сигнал/шум в месте приема, определяющем пропускную способность канала связи, передать по нему сообщения со сколь угодно высокой достоверностью. Для этого, как показал К. Шеннон, необходимо использовать помехоустойчивые коды, а скорость передачи информации по этому каналу должна быть меньше его пропускной способности. Им же было показано, что, вводя в кодере канала достаточную, но конечную избыточность, можно добиться безошибочной передачи сообщений, передаваемых по каналу с шумом. Единственным и необходимым условием этого является то, чтобы скорость R передачи сообщений была меньше пропускной способности канала связи С.

Для симметричного двоичного канала, в котором ошибки символов 0 и 1 происходят независимо с вероятностью р, пропускную способность можно определить, используя следующие соображения К. Шеннона. При передаче любой достаточно длинной

290 ПИОНЕРЫ ИНФОРМАЦИОННОГО ВЕКА. История развития теории связи

последовательности из N символов она из-за ошибок в канале преобразуется в одну из последовательностей, отличающихся от исходной в Np позициях. Количество таких возможных последовательностей составляет N!/(Np)!(Nq)!, где q = 1 – p. Если для передачи сообщений использовать не все 2N возможных последовательностей, а только

Ì = 2N/[N!/(Np)!(Nq)!],

то вероятность перехода одной из М последовательностей в другую из-за ошибок в канале при больших N будет ничтожно мала. Пропускная способность канала, т.е. максимально возможная скорость безошибочной передачи информации в этом канале, составит

Доказав теорему о пропускной способности дискретного канала, К. Шеннон привел простой пример семизначного кода, предложенного Р. Хэммингом. Этот код позволяет исправлять одиночные ошибки в кодовой комбинации, возникающие в процессе приема сигналов.

Для непрерывных каналов связи К. Шеннон ввел формулы совместной энтропии H(x,y) непрерывного распределения процессов x(t) и y(t) и условных энтропий Hy(x) è Hx(y):

H(x, y) = −∫∫ p(x, y)log p(x, y)dxdy ;

Hy (x) = −∫∫ p(x, y) log[p(x, y) / p(y)]dxdy ;

Hx (y) = −∫∫ p(x, y)log[p(x, y) / p(x)]dxdy .

Используя введенные понятия, он показал, что пропускная способность канала связи может быть определена следующей общей формулой:

Для пропускной способности непрерывного канала связи с полосой частот F, в котором действует «белый» тепловой шум мощности Pn, а мощность принимаемого сигнала равна PS, им была установлена следующая знаменитая формула:

Ñ = Flog[1 + PS/ Pn].

Следует отметить, что данная формула (как было отмечено самим К. Шенноном) независимо была выведена и другими учеными — Н. Винером [2] и В.Г. Таллером [3].

Шеннон доказал, что по любому каналу связи возможна передача информации без искажений, если скорость передачи меньше пропускной способности канала. Эта пропускная способность определяется отношением сигнал/шум на входе приемника и полосой частот, используемой для передачи. Открытие Шенноном теоремы о пропускной способности принадлежит к той категории человеческих достижений, о которых писатель С. Цвейг сказал: «Нет прекраснее правды, кажущейся неправдоподобной». Оно явилось для инженеров-связистов сенсацией, так как до работы Шеннона инженеры были убеждены, что уменьшить искажения сигналов при действии помех можно только путем уменьшения скорости передачи информации — повторяя передачу од-

ного и того же сигнала несколько раз. Так, для борьбы с искажениями при приеме телеграфных сигналов в 30-е гг. ХХ в. использовалась французская система Вердана — трехкратное автоматическое повторение сигналов.

В оригинальных работах К. Шеннона не было предложено конкретных инженерных решений, совершенствующих используемые в 40-х гг. методы передачи сообщений. Однако он установил фундаментальные закономерности передачи сообщений по каналам связи, которые определяли для любых систем передачи информации предельные возможности ее воспроизведения на приеме с заданной точностью. Эти закономерности открывали новые направления разработок систем связи, и круг ученых, ведущих исследования в этой области, стал быстро расширяться.

Пионерские идеи К. Шеннона оказались важными не только для технологии телекоммуникаций и других областей техники, но и для других научных направлений. Сам К. Шеннон до середины 60-х гг. продолжал активные научные исследования и получил ряд основополагающих результатов. К разработке идей К. Шеннона на строгой математической основе подключились известные математики. В США и в нашей стране возникли крупные научные школы, в которых были выполнены важные работы по созданию эффективных методов кодирования источников сообщений и канала связи.

Роберт ФАНО

Выдающийся американский ученый Роберт М. Фано родился 11 ноября 1917 г. в Торонто в Италии. В 1939 г. там же окончил Инженерную школу. Однако работать в Италии не стал, так как в этом же году семья Фано была вынуждена эмигрировать из фашистской Италии. Свое образование он продолжил в Массачусетском технологическом институте (МТИ) в Бостоне, где в 1941 г. получил степень бакалавра, а в 1947 г. ——доктора наук. Во время Второй мировой войны он был сотрудником радиационной

лаборатории МТИ, в которой занимался разработкой компонентов микроволновой техники и фильтров. В МТИ он проработал начиная с 1941 г. всю жизнь, будучи профессором факультета электротехники и ведя научные исследования в Исследовательской лаборатории электроники (ИЛЭ). В его деятельности можно выделить три периода, в течение которых он работал в нескольких направлениях: в области теории цепей и электромагнитной теории, теории информации и компьютерной техники. С 1950 по 1953 г. возглавлял группу радиолокационной техники в лаборатории им. Линкольна, в начале 60-х гг. в центре его научных интересов оказываются проблемы теории информации, а в 1963 г. он возглавляет крупный проект создания компьютерных сетей связи.

В первом из указанных направлений им было проведено ставшее классическим исследование вопросов согласования произвольных импедансов, которые являются ключевыми при проектировании электрических цепей и фильтров. Его работа [4], в которой были изложены

полученные им оригинальные результаты, была переведена и опубликована на русском языке в 1965 г. В соавторстве со своими коллегами по МТИ он написал в 1960 г. книгу [5] по теории электромагнитного поля. Эта книга была переиздана в 1968 г. В этом же году вышла еще одна книга [6], написанная теми же авторами.

К проблемам теории информации Р. Фано обратился в конце 40-х гг. В 1949 г. им был предложен эффективный метод кодирования источников информации, на выходе которых распределение вероятностей рi появления символов, передаваемых в канал связи, существенно неравномерно. Коды, предложенные Р. Фано [7], ставили в соответствие передаваемым символам кодовые комбинации, длина которых была пропорциональна log(1/рi). Этот метод кодирования источников информации в современной литературе называют методом Шеннона—Фано, так как он был независимо предложен К. Шенноном. В 1951 г. Р. Фано дал задание одному из своих студентов, Давиду Хаффмену, разработать оптимальный алгоритм кодирования источников сообщений. Д. Хаффмену удалось создать оптимальные коды, носящие теперь его имя. Эти коды нашли широкое применение для сжатия данных во многих отраслях техники. Их используют в системах передачи факсимильных сообщений, системах телевидения высокой четкости, устройствах памяти, компьютерной технике и т.д.

Â1955 г. группе ученых ИЛЭ, возглавляемой Р. Фано, удалось создать первые в мире эффективные с практической точки зрения кодирующее и декодирующее устройства для кода, позволяющего при заданной скорости передачи информации по каналу связи корректировать многократные ошибки. В 1956 г. им были открыты сверточные коды. За эти науч- ные достижения он был в 1998 г. награжден Секцией теории информации Института инженеров по электротехнике и электронике (IEEE) золотой юбилейной медалью.

Â1952 г. Р. Фано создал один из первых учебных курсов по теории информации [8].

Â1961 г. выходит его замечательная книга [9], в которой на высоком методическом уровне изложены основные результаты теории, известные к этому времени. В свою книгу Р. Фано включил ряд полученных им новых результатов, которые касались обратной теоремы кодирования для каналов связи, оценки сверху и снизу вероятности ошибочного приема ортогональных сигналов, вычисления на основе метода случайного кодирования К. Шеннона, показателя экспоненты E(R) в формуле для вероятности ошибки при приеме кодовой комбинации. Им был сделан также эвристический вывод границы сферической упаковки для вероятности ошибки при приеме сигналов в дискретном канале без памяти. В 1965 г. эта книга под названием «Передача информации. Статистическая теория связи»»вышла на русском языке.

Â1963 г. Р. Фано предложил новый алгоритм последовательного декодирования [10], который совершенствовал изобретенную Дж. Возенкрафтом процедуру последовательного декодирования. Этот алгоритм описан во всех книгах по теории кодирования и информации.

С 1963 по 1968 г. профессор Р. Фано — руководитель крупного проекта МАС (MachineAided Cognition and Multi-Access Computer). Идею данного проекта выдвинул ученый МТИ Дж. Ликлайдер, который возглавлял его проект с 1968 по 1971 г. Проект МАС следует отнести к крупнейшим проектам ХХ в. Он был направлен на разработку глобальной информационной системы на базе сетей, объединяющей многие компьютеры. Кроме того, в нем предусматривалось создание методов доступа к компьютерным сетям многих пользователей. Создание такой системы определило новое направление разработок в компьютерной технике. Права на ее разработку в 1965 г. приобрела Белл-лаборатория, и необходимое для него программное обеспечение создавалось в США объединенными усилиями ученых нескольких организаций. Данный проект разрабатывался в интересах Министерства обороны США. На его основе

должны были создать системы контроля и принятия коллективных решений с учетом информации, которой обладают многие офицеры в разных точках земного шара. Этот проект был также направлен на создание системы, позволяющей многим пользователям работать с программами, находящимися на одном мощном центральном компьютере. Автор проекта Дж. Ликлайдер полагал, что распределение времени доступа к центральному компьютеру между многими пользователями позволит достичь высокой эффективности его использования. Разработка данного проекта явилась предтечей создания сети Интернет, которой сейчас пользуются миллионы людей в разных странах мира. Многопользовательские компьютерные сети в настоящее время созданы во многих университетах в США и других странах. Развитие компьютерных технологий, которое обусловливает переход нашей цивилизации к новой форме организации — к информационному обществу, берет свое начало от проекта МАС, первым руководителем которого был видный американский ученый Р. Фано.

Ð. Ôàíî — заслуженный профессор МТИ. В 1973 г. за работы, выполненные при создании первой интерактивной компьютерной системы для многих пользователей, и за значи- тельный вклад в разработку проблем теории связи он был избран почетным членом Института радиоинженеров.

Профессор Р. Фано является также членом Американской академии искусств и наук и ряда других профессиональных обществ. Он входил в состав административного комитета Секции теории информации IEEE и был председателем редакционного совета журнала IEEE Transaction on Information Theory.

§ 3. Развитие математических основ теории информации

Шенноном были рассмотрены только простейшие математические модели источ- ников сообщений и каналов связи. Предполагалось, что статистические характеристики источников и каналов связи заранее точно известны и не имеют памяти. Идеи Шеннона породили лавину работ в открытой им новой научной области. В научных обзорах [1—28] освещались новые результаты, полученные многими учеными на протяжении более чем полувекового периода развития теории информации.

Обоснование теории информации. Поскольку теория информации зародилась при решении задач электросвязи, то ее большое значение для других областей знаний, и в частности для математики, не сразу было понято. На первых порах к идеям

Ê.Шеннона многие отнеслись со скептицизмом. Так, крупный американский специалист в области теории вероятностей Дж. Л. Дуб в своей рецензии на работу

Ê.Шеннона отмечал, что она целиком основана на эвристических предположениях и не содержит ни одного математически строго доказанного результата.

Â1963 г. академик А.Н. Колмогоров писал: «Значение работ Шеннона для чистой математики не сразу было достаточно оценено. Мне вспоминается, что еще на международном съезде математиков в Амстердаме (1954 г.) мои американские коллеги, специалисты по теории вероятностей, считали мой интерес к работам Шеннона несколько преувеличенным, так как это более техника, чем математика. Сейчас такие мнения вряд ли нуждаются в опровержении».

Âсередине 50-х гг. за разработку математических аспектов теории информации взялись крупные математики. Из американских ученых в первую очередь назовем математиков Б. МакМилана, обобщившего в 1953 г. [29] установленные К. Шенноном