2.5. Информация и энтропия
Можем ли мы ввести разумную меру информации? Над этим вопросом задумался американский математик и инженер Клод Шеннон. Результатом размышлений стала опубликованная им в 1948 г. статья «Математическая теория связи». Ее выход положил начало работе с информацией как реальным, поддающимся измерению объектом. Коротко обсудим основные понятия, введенные и исследованные Шенноном.
Рисунок 2.3 - Клод Шеннон
Шеннон назвал информацией любой набор сообщений. Мы рассмотрим только дискретные (состоящие из набора символов) сообщения, то есть такие, которые представляют собой последовательности символов определенного заранее известного алфавита.
Пример подобного алфавита — азбука Морзе. Пример сообщения: « — » (точка-тире-точка).
2.5.1Сообщения и сигналы
Шеннону удалось придумать удивительно простую и глубокую модель передачи информации, без которой теперь не обходится ни один учебник. Он ввел понятия: источник сообщения, передатчик, канал связи, приемник, получатель сообщения и источник шума, который может исказить сигнал (Рисунок 2 .4). Практически любой, даже очень сложный, обмен сообщениями можно успешно описать в этих терминах.
Рисунок 2.4 – Схема процесса передачи информации.
Дискретное сообщение — это любой набор символов, который формируется Источником (им может быть, например, человек). От Источника сообщение переходит к Передатчику, который преобразует его к виду, который уже можно передавать по Каналу связи. Например, Передатчик может кодировать сообщение. Преобразованное сообщение называется Сигналом. Канал связи — это технический комплекс аппаратуры, который позволяет передать Сигнал. В общем случае в процессе передачи сигнал в канале искажается шумом, который исходит от Источника шума. Приемник обычно выполняет операцию, обратную по отношению к той, что производится передатчиком, — т. е. восстанавливает сообщение по сигналам. Процесс преобразования сигнала в сообщения, осуществляемый в Приемнике, называют декодированием. Получатель — это человек или аппарат, для которого предназначено сообщение.
2.5.2Схема передачи информации
Поясним технические термины на простом примере. Вася передает Пете свое имя. Они сидят по разные стороны стола. Вася пишет на листе бумаги букву и передвигает лист к Пете. Петя читает букву и переносит ее на свой лист бумаги. Если передача завершится успешно, на листе у Пети будет последовательность: «ВАСЯ». Если по столу бегает котенок, который все время норовит столкнуть передаваемый листок на пол или расцарапать бумагу, то аналогия с шумом при передаче дискретного сообщения будет полной.
Вася здесь — Источник сообщений. Лист бумаги и написанный на нем символ (буква русского алфавита), рука, которая передвигает лист — Передатчик. Стол — Канал связи. Котенок — Источник шума (особенно если любит помяукать). Петя, получающий лист с написанной на нем буквой, — Приемник. Он копирует букву на свой лист. Если Петя понимает то, что прочел (то есть он умеет читать и ни один символ не был утрачен во время передачи), значит, Сообщение дошло до Получателя. Если Петя читать не умеет — передача Сообщения не состоится. Получатель — не может его принять. Эта простая схема воспроизводится в любой сколь угодно технически изощренной системе передачи информации.