Теория Информации / Введение

1

Введение

Теория информации является одной из фундаментальных теорий, имеющих общее значение. Первоначально она предназначалась для решения проблем техники связи, однако вскоре была осознана возможность использования методов теории информации в других технических, а затем и в естественных и общественных науках, в той или иной степени обслуживающих материальное и духовное производство.

В настоящее время теория информации рассматривается как теоретическая основа техники получения, передачи, хранения и обработки информации. Теорию информации можно рассматривать как составную часть кибернетики, которая, по определению А.Н. Колмогорова «занимается изучением систем любой природы, способных воспринимать, хранить и перерабатывать информацию и использовать ее для управления и регулирования».

Определились две ветви теории информации – математическая, где дается строгое изложение результатов теории, и прикладная, направленная на использование основных положений теории при решении конкретных технических задач.

Математическое обоснование теории было представлено в 40-50-х годах XX столетия трудами К. Шеннона, Н. Винера, А.Н. Колмогорова и В.А. Котельникова. В основу теории информации Шенноном было положено измерение количества информации, содержащейся в сообщениях, на базе статистического описания источников сообщений и каналов связи, по которым эти сообщения передаются. Исходя из фундаментальных информационных характеристик, вытекающих из понятий энтропии источника и взаимной информации между ансамблями, была сформулирована совокупность теорем, составивших основное содержание «математической теории информации», которая в целом может быть охарактеризована как исследование методов кодирования для наиболее экономного представления сообщений от различных источников и для надежной передачи сообщений по каналам связи с помехами. Предметом этой теории являются положения, устанавливающие потенциальные возможности различных методов передачи, обработки и хранения информации.

Математическая теория информации практически не дает непосредственных рекомендаций инженерам — разработчикам техники связи. Тем не менее, она является важным инструментом синтеза и анализа систем связи; во многих случаях логика вывода, используемая в теории информации, подсказывает возможные пути поиска наиболее рациональных решений в области передачи и надежного приема сообщений. Со времени создания математических основ теории информации многие отечественные и зарубежные ученые внесли огромный вклад в дальнейшее развитие теоретических положений и дали достаточно прозрачную инженерную интерпретацию ее фундаментальных положений.

В настоящем курсе основное внимание уделяется прикладным во-

2

просам теории информации, являющимся необходимыми сведениями для современного специалиста в области передачи сообщений по электрическим, радио и оптическим каналам связи. Во многих случаях даже основные теоремы теории информации здесь даются без строгих доказательств. Вместе с тем, будучи введением в одно из важнейших направлений современной науки, этот курс еще раз подтверждает ценность основных положений математической теории вероятностей и статистики в приложениях к теории связи.

Применение теории информации дает возможность получить численные оценки, характеризующие состояние и поведение систем управления, систем передачи и преобразования информации, систем обработки и отображения информации.

Стройная система принципов, положений и теорем, которая в настоящее время составляет теорию информации, естественно, возникла не сразу. Бурное развитие техники электро- и радиосвязи с конца двадцатых – начала тридцатых годов поставило ряд принципиальных задач научного обоснования основных характеристик систем связи и объективной оценки качества передачи сообщений. В этот период стали появляться работы, посвященные различным аспектам этих задач. В 1928 г. Р. Хартли предпринял попытку количественного описания информации и ввел логарифмический закон ее изменения в зависимости от числа возможных выборов. В 1933 г. В.А. Котельников опубликовал работу с формулировкой теоремы о дискретном представлении функции времени с ограниченным спектром, с помощью которой были даны практические рекомендации по оценке пропускной способности каналов связи. В конце сороковых годов были сформулированы принципы, составившие современную теорию информации, и статистическая концепция в теории связи и управления стала доминирующей. Фундаментальные работы А.Н. Котельникова (1941) и Н. Винера (1948) по интерполяции, экстраполяции и фильтрации случайных процессов, исследования В.А. Котельникова в области помехоустойчивости связи (1946) и, наконец, опубликованная в 1948 г. работа К. Шеннона»Математическая теория связи» завершили формирование основ нового научного направления, которое составило стержень всех последующих разделов статистической теории связи и управления.

Все проблемы, которыми занимается теория информации, более или менее отчетливо разделяются на несколько разделов. Совокупность вопросов, связанных со строением сигналов, образует первый раздел – теорию структуры сигналов. Проблемы второго раздела состоят в обосновании и детальном изучении основных понятий теории – энтропии и количества информации. В третий раздел входят вопросы описания и изучения основных свойств информационных систем. Четвертый раздел – теория построения оптимальных и близких к оптимальным кодов. Многочисленные и разнообразные приложения можно отнести к пятой группе проблем теории информации.