МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РОССИЙСКОЙ ФЕДЕРАЦИИ
ФЕДЕРАЛЬНОЕ АГЕНТСТВО ПО ОБРАЗОВАНИЮ
ГОУ ВПО «ЧЕРЕПОВЕЦКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ»
Инженерно-экономический институт
А.А. Кузьмин
ОСНОВЫ ТЕОРИИ
ИНФОРМАЦИИ
Учебное пособие
Череповец
2008
ББК
32.81
УДК
004.33
К 89
Одобрено УМС ГОУ ВПО ЧГУ, протокол № 3 от 22.11.07 г.
Кузьмин А.А. Основы теории информации: Учеб. пособие. – Череповец: ГОУ ВПО ЧГУ, 2008. –с. – ISBN .
В пособии рассматриваются вопросы описания информационных возможностей источников сообщений, количественной оценки информации, характеристики дискретных и непрерывных каналов связи. Особое место отводится вопросам эффективного кодирования сообщений дискретных источников.
Р е ц е н з е н т ы: А.Н. Зуев, канд. техн. наук, доцент (ГОУ ВПО ЧГУ); А.И. Савина, канд. техн. наук, проф. (ГОУ ВПО ЧГУ)
Н а у ч н ы й р е д а к т о р: В.В. Плашенков, д - р воен. наук, проф.
ISBN
©
ГОУ ВПО «Череповецкий государст-
венный университет», 2008
Введение
Система интенсивного обмена информацией в современных структурах управления техникой, производственными процессами и целыми отраслями народного хозяйства в условиях комплексной автоматизации и совершенствования вычислительных машин играет определяющую роль. Главным критерием качества работы информационных устройств служит способность передавать, накапливать или преобразовывать максимальное количество информации в единицу времени при допустимых искажениях и затратах.
Возникновение и развитие теории информации связано с трудами как отечественных (советских ученых В. А. Котельникова, А.Я. Хинчина, А.Н. Колмогорова Л. А. Вайнштейна, В.Д. Зубакова, Л.С. Гуткина), так и зарубежных ученых (Р. Л. Хартли, К. Шеннона, Л. Файнстейна, Н. Винера, Д.О. Норе и др.).
Теория информации – раздел кибернетики, в котором математическими методами изучаются способы измерения количества информации, содержащейся в сообщениях. Понятия «информация» и «сообщение» в настоящее время близки по смыслу и неразрывно связаны между собой, так что дать их точные определения через более простые достаточно трудно.
В данное учебное пособие вошли вопросы энтропийного подхода к оценке количества информации, содержащейся в сообщении, рассматриваются элементы теории кодирования и основные подходы к способам кодирования источников сообщений и каналов связи, оцениваются предельные возможности скорости передачи информации радиотехническими системами.
1. Энтропия вероятностной схемы
1.1.Основные принципы, понятия и определения теории информации
Теория информации базируется на следующих основных принципах:
1. Теория информации имеет дело не с конкретными ситуациями во всем их многообразии, а с математическими моделями, составляемыми исходя из логики поставленной задачи, абстрагируясь от физической стороны и конкретного содержания изучаемых явлений. Адекватность математической модели изучаемому явлению обеспечивает качество решения задачи.
2. В теории информации учитываются только те стороны изучаемого явления, которые существенны с точки зрения оценки количества получаемой об этом явлении информации. Например, если интересует содержание документа, то не учитываются особенности шрифтового оформления и размещения на носителе (характерный пример – телеграмма).
3. Количество информации, которое несет сообщение, определяется уменьшением неопределенности, раскрытой в результате получения этого сообщения.
Слова «информация» и «сообщение» употребляют достаточно часто. Это близкие по смыслу понятия, однако между ними имеются существенные различия.
В общем случае под информацией понимают совокупность сведений о каких-либо событиях, явлениях или предметах.
Для передачи или хранения информации используют различные знаки (символы), позволяющие выразить (представить, закодировать) ее в некоторой форме. Этими знаками могут быть слова и фразы в человеческой речи, жесты и рисунки, математические знаки и т.п.
Информация, представленная в виде соответствующей последовательности знаков, называется сообщением. Сообщение – форма представления информации.
Объект представления информации называется источником сообщений.
Особенность информации в том, что она образуется в одном месте, а используется в другом, удаленном от первого на значительное расстояние. Сообщения от источника к потребителю передаются по каналу связи. Так, например, при телеграфной передаче сообщением является текст телеграммы, представляющий собой последовательность отдельных знаков – букв и цифр.
Сообщения в подавляющем большинстве случаев не могут быть непосредственно переданы по каналам связи от источника к получателю и поэтому преобразуются в сигналы.
Каналом связи является передающая и приемная аппаратура, совокупность промежуточных технических средств, обеспечивающих требуемое качество передачи, а также физическая среда распространения сигналов. Канал связи часто называют линией связи.
Сигнал – физический процесс, параметры которого изменяются в соответствии с передаваемым сообщением. В радиотехнике в основном используются электрические (радио) сигналы. Электрический сигнал по сути является переносчиком информации, а канал связи – техникой транспортирования сигналов.
В системах передачи информации способы формирования сигнала известны получателю сообщения и используются для обратного преобразования сигнала в сообщение.
При распространении сигналов по физической среде (проводным линиям, коаксиальному кабелю, витой паре, радиоэфиру) на сигнал оказывают воздействие различные факторы, например, грозовые разряды, работающие электростанции, электротранспорт, другие системы передачи информации.
Помехой называется любое случайное (мешающее) воздействие на сигнал. Помеха естественного происхождения называется шумом. Шум неизменно присутствует в любом канале, ограничивая его возможности по скорости передачи информации. Помехи являются дополнительными ограничителями предельных возможностей каналов передачи информации.