Помехоустойчивое кодирование

Лекция №

Из рассмотренной выше теоремы Шеннона следует, что для канала с помехами выполняется следующее условие: если скорость передачи информации меньше пропускной способности канала, то всегда можно найти такой способ кодирования, который обеспечит передачу всех сообщений, вырабатываемых источником, а вероятность ошибочного опознавания любого передаваемого сообщения будет сколь угодно малой. Иными словами вероятность ошибки при передачи сообщения может быть обеспечена сколь угодно малой выбора соответствующего способа кодирования сигналов. Это положение, сформулированное Шенноном явилось фундаментальным. Оно доказывало теоретическую возможность передачи информации по каналам связи с любой степенною достоверностью, не смотря на наличие помех. Следует отметить, что задачу достоверного приема и передачи информации пытались решить многие. При этом общим направлением являлось отыскание наилучших способов способов обработки уже принятых сигналов. Т.е. сигналы начинали обрабатываться и исследоваться на наличие ошибок только после их приема. Основные идеи этого направления были выдвинуты крупными учеными как А.М. Колмогоров, В.А. Котельтиков, отец кибернетики – М. Вернер и др. И ими были получены некоторые интересные результаты, кардинально этот вопрос решен не был. Однако основа для кардинального решения задачи надежной передачи информации была установлена Шенноном, в 1948 году который в отличие от ранее существовавшего направления показал, что решение может быть получено при соответствующем кодировании сообщений до их передачи. Повторю, что такое сейчас кажущееся в общем то очевидное решение, на самом деле явилось фундаментальным и послужило мощным толчком для широких исследований в области передачи информации по каналам связи с помехой, явилось основной, теоретической платформой.

Итак, Шеннон доказал, что для достоверной передачи информации по каналу связи, в кототром действуют помехи, необходимо предварительное кодирование информации. Однако, данные теоремы Шеннона не указывают конкретный способ.

Классификация кодов, контролирующих ошибки.

1. Начало – 1948 г. – К. Шеннон.

Шеннон показал, что с каждым каналом связано значение – пропускная способность: С, имеющая следующее значение: если требуемая от системы связи скорость передачи информации V<C, то используя коды, контролирующие ошибки, для данного канала можно построить такую систему связи, что вероятность ошибки на выходе будет сколь угодно мала.

Из шенноновской теории информации следует важный практический вывод о том, что построение слишком хороших каналов является расточительным – экономически более выгодным является использование кодирования.

2. Однако Шеннон не указал, как найти подходящие коды, а лишь доказал их существование, т.е. не существовало какого-либо полного доказательства о принципиальной возможности (т.е. возможности которая чисто теоретической) решения данной задачи, на которой была построена сама теория передачи информации.

Передаваемая информация

Кодирование

Канал с помехами

Декодирование

Можно построить такой код, который позволил передавать информацию, но конкретно построить такой код – на это теорема не отвечает.

Последовательно рассмотрим следующие вопрсы:

1. Основная идея кодирования

2. Классификация помехоустойчивых кодов

3. Основные понятия и характеристики

1. а) Помехоустойчивыми называются коды, позволяющие обнаруживать или исправлять ошибки, происходящие при передаче информационных сообщений по каналам.

Помехоустойчивые коды

обнаруживающие ошибки

направляющие (корректирующие) ошибки

В последнее время: помехоустойчивые коды  коды, контролирующие ошибки.

б) Наиболее широкое применение на практике получил двоичный код, т. н. код с основанием q = 2; в дальнейшем будем рассматривать только двоичные коды.

в) Основная идея построения помехоустойчивых кодов (основная суть) – искусственное введение информационной избыточности, т.е. добавление к информационным символам – дополнительных символов (которые часто называются проверочными).

г) В зависимости от методов построения кодов и способов введения избыточности все известные в н.в. коды делятся на 2 больших класса:

• блоковые коды;

• непрерывные коды

Классификация помехоустойчивых кодов.

Двоичные коды

Блоковые

Непрерывные (рекуррентные)

Осуществляется независимое а) Коды бесконечной длины (на практике

построение и передача блока y n символов ~10 тыс., 100 тыс.)

^{(конечной длины)} б) Кодирование [введение избыточноти

носит непрерывный характер]

В зависимости от явного или неявного разделения на информационные и проверочные символы

в) Проверочные символы размещаются

в определенном порядке между

информационными .

Разделимые (n, x)

Неразделимые

Международный тумрафный код: 7 позиций (3

токовые и 4 битовые)

Не линейные коды. Коды Бергера

Линейные (групповые коды)

- наиболее распространенные в н.в. коды.

Код Хэмминга

Циклические коды

а) 1^ый блоковый код, исправляющий.