Основная теорема Шеннона о кодировании для канала без помех

1. При любой производительности источника сообщений, меньшей пропускной способности канала, существует способ кодирования, позволяющий передавать по каналу все сообщения, вырабатываемые источником.

2. Не существует способа кодирования, обеспечивающего передачу сообщений без их неограниченного накопления, если производительность источника сообщений больше пропускной способности канала.

Кодирование, о котором идет речь в этой формулировке, называется эффективным(безызбыточным) кодированием.

Пример эффективного кода 

Источник		Код
Сообщения	Вероятности	Эффективный	Обычный
x1	0,22	11	000
x2	0,20	101	001
x3	0,16	100	010
x4	0,16	01	011
x5	0,10	001	100
x6	0,10	0001	101
x7	0,04	00001	110
x8	0,02	00000	111

Множество сообщений – X = {x₁, ... , x₈}.

Энтропия множества сообщений – H(X) = 2,76 бит.

Максимальная энтропия источника – H_max= 3,00 бит.

Избыточность источника – R= (3,00– 2,76)/3 = 0,08 .

Среднее число символов на сообщение–l_i p_i= 2,84 .

Избыточность (остаточная) кода – R_к= (3,00– 2,84)/3 =0,05 .

Основная теорема Шеннона о кодировании для канала с помехами

1. При любой производительности источника сообщений, меньшей, чем пропускная способность канала, существует такой способ кодирования, который позволяет обеспечить передачу всей информации, создаваемой источником, со сколь угодно малой вероятностью ошибки.

2. Не существует способа кодирования, позволяющего вести передачу информации со сколь угодно малой вероятностью ошибки, если производительность источника сообщений больше пропускной способности канала.

Здесь речь идет о помехоустойчивом кодировании. Помехоустойчивость достигается за счет специальным образом введеннойизбыточности. Это означает, что количество возможных кодовых комбинаций в коде превышает количество сообщений, которые требуется представить (закодировать) в коде. При этом можно построить коды, обнаруживающие ошибки заданной кратности, исправляющие ошибки заданной кратности, а также и то, и другое вместе. Простейшим кодом, обнаруживающим одиночные ошибки, является код спроверкой на четность (добавляется один дополнительный разряд таким образом, чтобы общее число единиц в каждой кодовой комбинации было четным).

Пример помехоустойчивого кода

Исходный неизбыточный код	Помехоустойчивый избыточный код с проверкой на чётность
000	0000	Разрешённые кодовые комбинации
001	0011
010	0101
011	0110
100	1001
101	1010
110	1100
111	1111
	0001	Запрещённые (избыточные) кодовые комбинации
	0010
	0100
	0111
	1000
	1011
	1110

Основным практическим следствием теорем Шеннона является построение системы передачи данных с использованием двух ступеней кодирования‑декодирования: для устранения избыточности источника и для повышения помехоустойчивости, как это показано на Error: Reference source not found.

9.Эксперимент по нахождению модели объекта.