Рецензенты:

завкафедрой математического моделирования систем и процессов Пермского государственного технического университета доктор физ.-мат. наук, профессор П.В. Трусов;

профессор кафедры естественных дисциплин Пермского филиала РГТЭУ, заслуженный работник высш ей школы РФ

доктор техн. наук П.В. Боровцов

Пахомов, Г.И.

П12 Теория информации: учеб, пособие / Г.И. Пахомов. - Пермь: Издво Перм. гос. техн. ун-та, 2007. - 217 с.

ISBN 978-5-88151-835-6

В пособии дан анализ основных понятий и направлений развития современ­ ной теории информации. Основное внимание уделено статистической теории ин­ формации, нашедшей в настоящее время наиболее широкое применение во многих практических задачах техники связи и управления. В пособии изложены методы аналитического описания детерминированных и случайных сигналов с оценкой адекватности их реальным сигналам, принципы дискретизации и квантования сиг­ налов. Подробно рассмотрены основные характеристики ансамблей и источников сообщений и каналов передачи информации, проанализированы методы их согла­ сования для повышения эффективности передачи информации.

Предназначено для студентов вузов, при изучении курса «Теория информации»обучающихся по направлению «Информационная безопасность телекоммуникационных систем».

Издано врамках приоритетного национального проекта «Образование» по программе Пермского государственного технического университета «Создание инновационной системы формирования профессиональных компетенций кадров и центра инновационного развития региона на базе многопрофильного технического университета».

Предисловие

Теория информации в ее современном виде - это научная дисцип­ лина, изучающая способы передачи, хранения и переработки инфор­ мации наиболее надежным и экономным методом.

В настоящее время специалист в области передачи и обработки сообщений должен не только глубоко осознавать, но и представлять возможные области применения теории информации на практике. Теория информации устанавливает количественные характеристики информации, определяет физические и статистические параметры каналов связи, формулирует условия согласования источников ин­ формации с каналами связи, развивает идеи о применении кодирова­ ния для повышения помехоустойчивости передачи по каналам связи

сшумом и построении оптимальных кодов для передачи информации

вотсутствие шумов и т.д.

Предлагаемое учебное пособие охватывает круг вопросов, со­ ответствующих теоретическим основам передачи и преобразования информации в телекоммуникационных системах. Поэтому сущест­ венное внимание уделяется как дискретной, так и непрерывной инфор­ мации, передаваемой, преобразуемой и хранящейся в таких системах. В общем плане рассматриваются методы выявления детерминирован­ ных и случайных сигналов на фоне помех, приводятся рекомендации по выбору оптимальных видов дискретных сигналов и преобразова­ нию непрерывных, способам согласования источников информации с потребителями в сетях связи телекоммуникационных систем. Зна­ чительное внимание уделяется информационному подходу к оценке качества функционирования систем связи. Анализируется верность преобразования информации в подсистемах сбора и передачи и уста­ навливаются границы эффективного использования избыточности для обеспечения заданного качества функционирования.

Основу учебного пособия составляют материалы лекций, кото­ рые в течение ряда лет читались автором в Пермском государствен­ ном техническом университете для студентов, специализирующихся в области телекоммуникаций.

Введение

Теория информации является одной из фундаментальных теорий, име­ ющих общее значение. Первоначально она предназначалась для решения проблем техники связи, однако вскоре была осознана возможность ис­ пользования меюдов теории информации в других технических, а затем и в естественных и общественных науках, в той или иной степени обслу­ живающих материальное и духовное производство.

иобработки информации. Теорию информации можно рассматривать как составную часть кибернетики, которая, по определению А.Н. Колмогорова, «занимается изучением систем любой природы, способных воспринимать, хранить и перерабатывать информацию и использовать ее для управления

ирегулирования».

Определились две ветви теории информации - математическая, ще дается строгое изложение результатов теории, и прикладная, направ­ ленная на использование основных положений теории при решении конк­

но в 40-50-х годах XX столетия трудами К. Шеннона, Н. Винера, А.Н. Колмогорова и В.А. Котельникова. В основу теории информации Шенноном было положено измерение количества информации, содержа­ щейся в сообщениях, на базе статистического описания источников сооб­ щений и каналов связи, по которым эти сообщения передаются. Исходя из фундаментальных информационных характеристик, вытекающих из поня­ тий энтропии источника и взаимной информации между ансамблями, была сформулирована совокупность теорем, составивших основное содержание «математической теории информации», которая в целом может быть оха­ рактеризована как исследование методов кодирования для наиболее эко­ номного представления сообщений от различных источников и для надеж­ ной передачи сообщений по каналам связи с помехами. Предметом этой теории являются положения, устанавливающие потенциальные возмож­ ности различных методов передачи, обработки и хранения информации.

Математическая теория информации практически не дает непос­ редственных рекомендаций инженерам - разработчикам техники связи. Тем не менее, она является важным инструментом синтеза и анализа сис­

тем связи; во многих случаях логика вывода, используемая в теории ин­ формации, подсказывает возможные пути поиска наиболее рациональных решений в области передачи и надежного приема сообщений. Со времени создания математических основ теории информации многие отечествен­ ные и зарубежные ученые внесли огромный вклад в дальнейшее развитие теоретических положений и дали достаточно прозрачную инженерную интерпретацию ее фундаментальных положений.

В настоящем курсе основное внимание уделяется прикладным вопросам теории информации, являющимся необходимыми сведени­ ями для современного специалиста в области передачи сообщений по электрическим, радио и оптическим каналам связи. Во многих слу­ чаях даже основные теоремы теории информации здесь даются без строгих доказательств. Вместе с тем, будучи введением в одно из важ­ нейших направлений современной науки, этот курс еще раз подтверж­ дает ценность основных положений математической теории вероят­ ностей и статистики в приложениях к теории связи.

Применение теории информации дает возможность получить численные оценки, характеризующие состояние и поведение систем управления, систем передачи и преобразования информации, систем обработки и отображения информации.

Стройная система принципов, положений и теорем, которая в настоящее время составляет теорию информации, естественно, возникла не сразу. Бурное развитие техники электро- и радиосвязи с конца двадца­ тых - начала тридцатых годов поставило ряд принципиальных задач на­ учного обоснования основных характеристик систем связи и объективной оценки качества передачи сообщений. В этот период стали появляться ра­ боты, посвященные различным аспектам этих задач. В 1928 г. Р. Хартли предпринял попытку количественного описания информации и ввел лога­ рифмический закон ее изменения в зависимости от числа возможных вы­ боров. В 1933 г. В.А. Котельников опубликовал работу с формулировкой теоремы о дискретном представлении функции времени с ограниченным спектром, с помощью которой были даны практические рекомендации по оценке пропускной способности каналов связи. В конце сороковых годов были сформулированы принципы, составившие современную тео­ рию информации, и статистическая концепция в теории связи и управле­ ния стала доминирующей. Фундаментальные работы А.Н. Котельникова (1941) и Н. Винера (1948) по интерполяции, экстраполяции и фильтрации

случайных процессов, исследования В.А. Котельникова в области поме­ хоустойчивости связи (1946) и, наконец, опубликованная в 1948 г. работа К. Шеннона «Математическая теория связи» завершили формирование основ нового научного направления, которое составило стержень всех последующих разделов статистической теории связи и управления.

Все проблемы, которыми занимается теория информации, более или менее отчетливо разделяются на несколько разделов. Совокуп­ ность вопросов, связанных со строением сигналов, образует первый раздел - теорию структуры сигналов. Проблемы второго раздела со­ стоят в обосновании и детальном изучении основных понятий теории - энтропии и количества информации. В третий раздел входят воп­ росы описания и изучения основных свойств информационных сис­ тем. Четвертый раздел - теория построения оптимальных и близких к оптимальным кодов. Многочисленные и разнообразные приложения можно отнести к пятой группе проблем теории информации.