ФЕДЕРАЛЬНОЕ АГЕНТСТВО ПО ОБРАЗОВАНИЮ

ГОУ ВПО Омский государственный технический университет

Радиотехнический факультет

Кафедра средства связи и информационная безопасность

О.Т.Данилова Теория информации

Учебное пособие

Омск- 2009

В предлагаемом учебном пособии кратко изложены основные положения теории передачи информации.

Каждый параграф начинается с теоретического введения, затем подробно разбираются характерные, для данного раздела, примеры.

В пособии предлагаются вопросы для самопроверки знаний и задачи для самостоятельной работы студентов, что способствует углублению знаний основных понятий, теорем и результатов, известных в теории информации.

Введение

Возникновение теории информации связывают обычно с появлением фундаментальной работы американского ученого К.Шеннона «Математическая теория связи» (1948). Однако в теорию информации органически вошли и результаты, полученные другими учеными, например Р.Хартли, впервые предложившим количественную меру информации (1928), акад. В.А.Котельниковым, сформулировавшим важнейшую теорему о возможности представления непрерывной функции совокупностью ее значений в отдельных точках отсчета (1933) и разработавшим оптимальные методы приема сигналов на фоне помех (1946), акад. А.Н.Колмогоровым, внесшим огромный вклад в статистическую теорию колебаний, являющуюся математической основой теории информации (1941).

Дальнейшее развитие теория информации получила дальнейшее развитие в трудах советских ученых (А. Н. Колмогорова, А. Я. Хинчина, В. И. Сифорова, Р. Л. Добрушина, М. С. Пинскера, А. Н. Железнова, Л. М. Финка и др.), а также ряда зарубежных ученых (В. Макмиллана, А. Файнстейна, Д. Габора, Р. М. Фано, Ф. М. Вудворта, С. Гольдмана, Л. Бриллюэна и др.).

Теория информации - область, в которой изучаются основные количественные закономерности, связанные с получением, хранением, передачей и обработкой информации.

Теория информации позволяет сравнивать различные системы связи. Решение указанных задач стало возможным лишь с введением в ней таких понятий как энтропия и количество информации, которые позволили получить количественное описание процессов передачи информации и установить их общие закономерности.

Теория информации - это наука об оптимальном использовании алфавитов, из которых составлены сообщения, а не об информации, которая передается этими сообщениями. Одной из главных (если не самой главной) задач теории информации и кодирования является определение избыточности первичных сообщений (алфавитов) и построение оптимальных кодов с целью увеличения эффективности передачи. Теория информации игнорирует ценность и срочность информации. Более того, многие закономерности теории информации, в частности следствие фундаментальной теоремы Шеннона о целесообразности кодирования крупными блоками, справедливы лишь при допущении, что на передающем конце канала связи сообщений всегда так много, что они стоят в непрерывной очереди и ждут, когда их оптимально закодируют и передадут.