2 Этапы обращения информации

Рассмотрим рис. В.1.

Рис. В.1Основные преобразования информации при ее передаче

от источника к получателю

Источником информации может быть природа, человек, ЭВМ и т.д. С помощью преобразователя, функции которого выполняет «ПреобразовательI» (кодирующее “устройство” источника), информация преобразуется в сообщениев видеданных (символах какого-либо “языка”, алфавита). Сообщение может представлять собой результаты наблюдения естественного явления, устные или письменные фразы, последовательность двоичных символов и т.д. Часть информации может бытьнесущественна (не нужна) получателю. Допустимы также небольшиеискажения, которыеявляютсякритериемточности работыпреобразователяI (а также выбора алфавита, языка).

Источник и получатель разделены в пространстве (при передаче информации на расстояние) или во времени (при хранении информации). Система связиилиустройство хранения, способное преодолеть это разделение, называетсяканалом.

Процесс передачи или хранения информации в канале может быть основан на самых разнообразных физических принципах (электромагнитных явлениях, механических законах и т.д.). Поэтому для согласованияисточника (или преобразователя I) c каналом сообщениепреобразуется преобразователем II в сигнал той природы, на которой основана передача или хранение информации. Сигнал «несет» сообщение, содержащее информацию. После прохождения канала сигнал подвергается преобразованиям в обратном порядке с целью представления информации получателю в необходимом для его восприятия виде.

3Измерение информации

Один из интереснейших результатов исследований, полученный Шенноном и изученный его многочисленными последователями, состоит в открытии явления, которому можно дать следующую эвристическую интерпретацию: Информация, подобно жидкости, ”имеет объем, но не имеет формы”,т.е. количество информации является скалярной величиной, так же как и время, необходимое для того, чтобы жидкость, содержащаяся в большом сосуде, вылилась через трубу при заданной скорости течения, определяется отношением объема жидкости к сечению трубы, так ивремя передачи информации от источника к получателю равно отношению двух чисел, одно из которых зависит от источника и критерия точности преобразования информации в сообщение (рис.В.1), а другое определяется каналом.Первое число интерпретируется какколичество информации, заключенное в источнике, тогда как второе являетсяпропускной способностьюканала. При этом подмерой количества информации понимается то количество информации, которое необходимо в среднем для восстановления одного символа источника. Под мерой пропускной способности канала понимается среднее количество информации, которое передается в единицу времени по каналу.

Обычно, в качестве стандартного, берут простейший канал, который можно использовать для передачи информации, а именно, канал без шума с двумя входными и двумя выходными символами, например, “0” и ”1” (рис.В.2). Пропускная способность такого канала, т.е. количество информации, передаваемое посредством

g

1

1

ош

Р

ош

0

0

Р

g

Рис.В.2Модель двоичного симметричного

дискретного канала без помех

одного двоичного символа (“0” или ”1”) за единицу времени, называется 1 бит в секунду, а единица количества информации1 бит.

В соответствии с приведенными определениями для оценки количества информации, содержащейся в источнике, необходимо измерять количество информации, содержащейся в единственном выходе источника (“0” или ”1”), т.е. нужно научиться сопоставлять некоторое количество информации произвольной случайной величине.

Будем опираться на интуитивное представление о том, что наблюдение совокупности независимых случайных величин дает количество информации, равное сумме количеств информации, содержащихся в отдельных величинах. В соответствии с этим определяется энтропия(содержание информации) случайной величины как количество информации, приходящейся в среднем на один символ источника, который (источник) представляет собой последовательность независимых копий рассматриваемой случайной величины.Энтропияявляетсямерой количества неопределенности, содержащейся в этой случайной величине до ее наблюдения.