5. Канал передачи данных без помех (кодер, декодер).

Передача сообщения от источника к приёмнику всегда связана с некоторым нестационарным процессом, происходящим в материальной среде – это условие является обязательным, поскольку сама информация материальным объектом или формой существования не является. Способов передачи информации существует множество: почта, телефон, комп. сети и пр. Обобщённая схема передачи информации:

Любой реальный канал связи подвержен внешним воздействиям, а так же в нём могут происходить внутренние процессы, в результате которых искажаются передаваемые сигналы и, следовательно, связанное с ними сообщение. Такие воздействия называются шумами (помехами).

Основной характеристикой каналов передачи информации является их пропускная способность (скорость передачи информации). Пропускная способность канала равна количеству информации, которое может передаваться по нему в единицу времени. Применительно к каналу данных без помех возникают 3 главных вопроса:

1. Какова пропускная способность канала? Оценивается кол-во букв из двоичного алфавита, передаваемых в секунду.

2. Можно ли полностью использовать пропускную способность канала при передаче сообщения в алфавите источника?

3. Как осуществить процедуру кодирования так, чтобы получить максимальную пропускную способность канала передачи данных?

Простейшим вариантом протокола передачи данных является синхронный, при котором время, отводимое на 1 символ, является неизменным (). В таком случае пропускная способность канала определяется так:. Если же с передачей одного импульса связано кол-во информации, то.

Процедура оптимального кодирования.

А. Вариант установления соответствия.

	0
	1
	01
	10

В таком случае взаимнооднозначное соответствие для букв есть, но применительно к декодированию возникает проблема: существуют коды (0,1), (1,0), началом которых являются коды для предыдущих букв.

Б. Решение проблемы.

	00
	01
	10
	11

Но при таком кодировании не обеспечивается максимальная пропускная способность канала.

Задано исходное множество букв и гистограмма, характеризующая вероятности появления этих букв.

	0,5
	0,25
	0,125
	0,125

В основу построения оптимального кода положено требование равной частоты появления букв 0, 1 в двоичном слове, передаваемом по каналу передачи данных. Это требовании обеспечивается в помощью след. процедуры.

Исходное множество распадается на 2 подмножества так, что осуществляется баланс вероятности.

Тогда в первой позиции:

	0
	1
	1
	1

Во второй позиции:

	0
	10
	11
	11

В третьей позиции:

	0
	10
	110
	111

Таким образом, баланс вероятности выполняется.

Суть первой теоремы Шеннона состоит только в установлении факта существования кода, наилучшего по пропускной способности канала. Собственно процедура кодирования Шенноном не рассматривается.