Параграф 2.4. Задача согласования дискретного источника с дискретным каналом с шумом.

Рассмотрим теперь ситуацию, когда в процессе передачи сигнал искажается шумом, т.е. некоторым случайным процессом. Предположим, что в соответствии с обозначениями (рисунок 2.1), что Z - ансамбль сигналов на входе дискретного канала, а Z* - ансамбль сигналов на его выходе. Наличие в канале шума приводит к тому, что по сигналу Z* нельзя однозначно определить сигнал Z. С точки зрения теории информации этот эффект характеризуется наличием потерь информации или ненадежностью канала H(Z/Z*)>0 и описывается соотношением I (Z,Z*) = H(Z) – H(Z/Z*), где I(Z,Z*) - информация переданная по каналу, H(Z)-энтропия или собственная информация ансамбля сигналов на входе канала. Переходя к информационным характеристикам, отнесенным к единице времени последнее выражение можно переписать в виде I (Z,Z*)=H (Z)-H(Z/Z* ) (2.13), где I(Z,Z*)-скорость передачи информации по каналу, H (Z)-производительность ансамбля на входе канала, H (Z/Z* )-потери информации в единицу времени. При этом пропускная способность канала С хоть и уменьшается по сравнению со случаем канала без шума см.(1.25б), но в общем случае принимает конечное значение (за исключением не принимаемого здесь во внимание экстремального случая обрыва канала). Положим далее, что имеется некоторый дискретный источник с производительностью H(U) C сообщения которого необходимо передать по каналу. Для решения этой задачи по-прежнему воспользуемся системой передачи изображенной на рисунке 2.1. Функции выполняемые кодером и декодером в этом случае будут ясны из дальнейших рассуждений.

Поскольку H(U) C возможна передача информации I(Z,Z*) по каналу со скоростью I (Z,Z*)=H (U) (2.14), т.к. по определению С – максимально возможная скорость передачи информации по каналу. Приравнивая правые части неравенств (2.13-14), приходим к соотношению H (Z)-H(Z/Z*)=H (U). Из которого следует, что H(Z)=H(U)+H (Z/Z*) H (U). Последнее неравенство означает, что производительность ансамбля сигналов Z (назовем его кодом) на входе канала должна быть выше производительности источника сообщений U, и, следовательно, Z , кроме информации об U должен содержать дополнительную собственную информацию. При этом если бы удалось ввести дополнительную информацию таким образом, чтобы при прохождении сигнала Z по каналу с шумом вследствие ненадежности канала терялась бы именно она, а не полезная информация о сообщении U, то оказалось бы возможным обеспечить безошибочную передачу сообщений U по каналу с шумом с конечной скоростью H (U) C. Таким образом, задачей кодера в данной ситуации является согласование источника с каналом, заключается во внесении в сообщение источника избыточности, обладающей описанной выше свойством. Однако не тривиальным является вопрос, а возможно ли в принципе построение такого кодера. Идея борьбы с мешающим влиянием шума за счет введения избыточности, при кодировании дискретных сообщений, существовала и до появления Теории Информации и трактовалась следующим образом: предполагалось сообщение двоичного источника U₁ =0 и U₂ =1 передавать по симметричному двоичному каналу (см. п 1.6) с вероятностями ошибок Р 0,5 двумя кодовыми комбинациями, содержащими соответственно n единиц или n нулей. ; . Если в месте приема регистрировать 1 или 0 по большинству принятых знаков в комбинации т.е. принимать так называемое мажоритарное декодирование , то ясно, что ошибка произойдет при условии, если в кодовой комбинации не верно будет принято n/2 или более символов. Согласно закону больших чисел вероятность уклонения числа ошибок m в кодовой комбинации длины n от их математического ожидания np (см. задачу 1.11) стремится к 0 при n→ ∞, т.е.

Поскольку np < 0,5n при n→ ∞ вход обеспечит безошибочный прием. Однако передачу одного символа необходимо будет осуществлять бесконечно долго, т.е. скорость передачи информации по каналу будет стремится к 0. Таким образом, на основании приведенных ранее рассуждений полагалось, что безошибочная передача информации в канале с шумом возможна лишь в пределе при нулевой скорости передачи. Поэтому положительные решения сформулированного выше вопроса позволяют существенно изменить представление о потенциальных возможностях систем передачи дискретной информации и имеет принципиальное значение в развитии теории и практики связи. Ответ на данный вопрос содержится в теореме Шеннона для дискретного канала с шумом.