- •Министерство образования и науки, молодёжи и спорта украины
- •Тема 1. Предмет теории информации и количественная мера информации
- •1.2 Этапы обращения информации
- •1.3 Система передачи информации
- •1.4 Задачи и постулаты прикладной теории информации
- •1.5. Количественная оценка информации дискретного источника. Энтропия.
- •1.6 Фундаментальные свойства энтропии
- •Тема 2. Основные виды энтропии дискретных источников. Условная и взаимная энтропии.
- •2.1 Условная энтропия.
- •2.2 Основные свойства условной энтропии.
- •2.3 Взаимная энтропия. Свойства энтропии объединения.
- •Тема 3. Эффективное кодирование источника дискретных сообщений в канале без помех.
- •3.1 Избыточность информации, причины ее появления.
- •3.2 Способы сокращения избыточности.
- •3.3 Теорема Шеннона для канала без помех.
- •4.1 Общие понятия и элементы теории кодирования
- •4.2 Цели кодирования
- •4.3 Оптимальные неравномерные коды
- •4.4 Коды Шеннона-Фэно
- •4.5 Коды Хаффмена
- •4.6 Особенности эффективных кодов.
- •Тема 4. Кодирование источника дискретных сообщений в канале с помехами. Общие принципы помехоустойчивого кодирования.
- •5.1 Кодирование информации для канала с помехами. Теорема Шеннона для канала с помехами.
- •5.2 Общие принципы использования избыточности
- •5.3 Связь корректирующей способности кода с кодовым расстоянием
- •6.1 Корректирующие свойства кодов с избыточностью.
- •6.2 Классификация корректирующих кодов
- •Тема 5. Регулярные методы построения двоичных помехоустойчивых кодов
- •7.1 Линейные коды. Общие медоды построения.
- •7.2 Определение числа добавочных разрядов r.
- •7.3 Построение образующей(порождающей) матрицы |om|.
- •7.4 Порядок кодирования
- •7.5 Порядок декодирования
- •7.6 Систематические коды. Код Хэмминга.
- •7.7 Обнаружение и исправление ошибок в коде Хэмминга
- •8.1 Двоичные циклические коды
- •8.2 Некоторые свойства циклических кодов
- •8.3 Матричное описание циклических кодов
- •8.4 Выбор образующего полинома
- •8.5 Декодирование циклических кодов
- •Тема 6. Построение кодов заданой помехоустойчивости. Применение недвоичных помехоустойчивых кодов.
- •9.1 Матричное описание циклических кодов.
- •9.2 Коды Боуза — Чоудхури — Хоквингема (бчх)
- •9.3 Систематический вид циклического кода.
- •9.4 Коды Рида–Соломона и их применение.
- •9.5 Циклический избыточный код crc
- •Тема 7. Информационные характеристики источников непрерывных сообщений. Источники с максимальной энтропией. Максимальная пропускающая способность канала связи с помехами.
- •10.1 Информационные характеристики источников непрерывных сообщений
- •10.2 Энтропия равномерного закона распределения
- •10.3 Энтропия гауссового закона распределения.
- •11.1 Пропускная способность канала связи с помехами для непрерывных сообщений
- •Тема 8. Методы кодирования информации со сжатием.
- •12.1 Подстановочные или словарно-ориентированные алгоритмы сжатия информации. Методы Лемпела-Зива.
- •13.1 Описание алгоритма сжатия lzw
- •Декодирование по lzw
- •Достоинства и недостатки lzw
- •13.2 Применение lz-алгоритмов упаковки данных
- •14.1 Кодирование длин повторений
- •14.2 Дифференциальное кодирование
- •Тема 9. Методы кодирования со сжатием и с потерями информации..
- •15.1 Методы сжатия с потерей информации
- •15.2 Точность. Помехи и искажения. Приближенное восстановление
- •15.5 Кодирование преобразований. Стандарт сжатия jpeg
- •Или же, в матричной форме,
- •Тема 10. Методы кодирования физических сигналов в компьютерных сетях.
- •16.1 Кодирование на физическом уровне.
- •16.2 Самонихронизирующиеся коды - коды rz и Манчестер-II
- •16.3 Несамосинхронизирующиеся коды. - код nrz
- •16.4 Высокоскоростные коды - код mlt-3 и pam 5
- •Еще более высокоскоростной код - код pam 5
- •16.5 Требуемая полоса частот для передачи данных и ширина спектра сигнала
- •Ширина спектра сигнала
Тема 4. Кодирование источника дискретных сообщений в канале с помехами. Общие принципы помехоустойчивого кодирования.
Лекция 5
5.1 Кодирование информации для канала с помехами. Теорема Шеннона для канала с помехами.
На этой лекции мы приступим к изучению помехоустойчивого кодирования. Оно предназначено для обнаружения и исправления ошибок символов в кодовыхсловах, возникающих в канале передачи при воздействии помех и шумов.
Рассмотрим вначале, какие ошибки возникают чаще всего а какие реже.
Для этого рассмотрим простейшую модель канала с помехами. Это Двоичный СимМетричный Канал (ДСМК). Симметричность канала означает, что вероятность ошибки, для 0 и для 1 одинакова и равна p.
При передаче информации через ДСМК помеха способна с некоторой вероятностью p превратить 0 в 1 или 1 в 0. Передачу информации через ДСМК можно представить в виде следующего графа, изображенного на рис. 5.1:
Рис.5.1
Расчет вероятности искажения кодового слова в ДСМК
Преположим, кодовое слово состоит из n двоичных символов. Вероятность неискажения всего кодового слова, как несложно доказать, равна:
Вероятность искажения одного символа (однократная ошибка):
А для одновременного искажения нескольких символов (кратная ошибка)
Pr=pr*(1-p)(n-r)
При вероятности ошибки p<0.5, (то есть канал не слишком плохой) из этого выражения следует, что с ростом кратности ошибки (r) ее вероятность быстро уменьшается. Таким образом малократные ошибки (1, 2, 3 символа) гораздо более вероятны, чем многократные. С ними и следует бороться в первую очередь.
Кодирование информации для канала с помехами. Теорема Шеннона для канала с помехами.
Ошибка в кодовой комбинации появляется при ее передаче по каналу связи вследствие замены одних элементов другими под воздействием помех. Например, 2-кратная ошибка возникает при замене (искажении) двух элементов. Например, если кодовая комбинация 01101 принята как 01011 то имеет место двукратная ошибка.
Напомним кратко основные характеристики канала связи. Пропускная способность канала связи определяется как максимальное количество информации, которое канал может пропустить за единицу времени. Скорость передач это количество информации , которое канал реально пропускает за единицу времени. То есть пропускная способность - это максимальная скорость передачи.
Производительность источника - это количество информации, вырабатываемое источником за единицу времени.
Теория помехоустойчивого кодирования базируется на результатах исследований, проведенных Шенноном и сформулированна в виде теоремы из двух частей.
Теорема Шеннона
1.При любой производительности источника сообщений, меньшей, чем пропускная способность канала, существует такой способ кодирования, который позволяет обеспечить передачу всей информации, создаваемой источником сообщений, со сколь угодно малой вероятностью ошибки.
2. Не существует способа кодирования, позволяющего вести передачу информации со сколь угодно малой вероятностью ошибки, если производительность источника сообщений больше пропускной способности канала.
Из теоремы Шеннона следует, что помехи в канале не накладывают ограничений на точность передачи. Ограничение накладывается только на скорость передачи, при которой может быть достигнута сколь угодно высокая точность передачи. То есть даже при больших помехах в канале можно точно, но медленно передавать информацию.
Теорема не дает нам метода или способа построения кодов, обепечивающих безошибочную передачу информации при воздействии помех , но обосновывает принципиальную возможность такого кодирования, что позволяет с оптимизмом вести разработку конкретных помехоустойчивых кодов.
При любой конечной скорости передачи информации вплоть до пропускной способности канала, сколь угодно малая вероятность ошибки достигается лишь при безграничном увеличении длительности кодируемых последовательностей знаков. Таким образом, безошибочная передача при наличии помех возможна лишь теоретически.
Обеспечение передачи информации с весьма малой вероятностью ошибки и достаточно высокой эффективностью возможно лишь при кодировании чрезвычайно длинными последовательностями знаков.
На практике точность передачи информации и эффективность каналов связи ограничивается двумя факторами:
1. размером и стоимостью аппаратуры кодирования/декодирования;
2. временем задержки передаваемого сообщения.
Разновидности помехоустойчивых кодов
Коды, которые обеспечивают возможность обнаружения и исправления ошибки, называют помехоустойчивыми. Эти коды используют для:
1) исправления ошибок - корректирующие коды;
2) обнаружения ошибок.
Корректирующие коды и коды для обнаружения ошибок основаны на введении избыточности.
Помехоустойчивые коды подразделяются на два класса:
1) блоковые;
2) непрерывные.
В случае блоковых кодов процедура кодирования заключается в преобразовании или кодировании последовательности информационных символов входного кодового слова в помехоустойчивое кодовое слово но уже большей длины. Большая длина помехоустойчивого кода обусловлена введением при кодировании дополнительных или корректирующих символов, которые и обеспечивают обнаружение и исправление ошибок.
В операциях по кодированию принимают участие только информационные символы входного слова и выходная последовательность помехоустойчивого кодового слова зависит только от них.
Блоковый код называют равномерным, если его длина n остается постоянным для всех информационных кодовых слов длиной k символов,
Различают систематические и несистематическиее блоковые коды. При кодировании систематическимии кодами выходные последовательности состоят из символов, роль которых может быть отчетливо разграничена. Это информационные символы, совпадающие с символами последовательности, поступающей на вход кодера канала, и избыточные (проверочные) символы, вводимые в исходную последовательность кодером канала и служащие для обнаружения и исправления ошибок.
При кодировании несистематическими кодами разделить символы входной последовательности на информационные и проверочные невозможно.
Непрерывными -называют такие коды, в которых введение избыточных символов в кодируемую последовательность информационных символов осуществляется непрерывно, без разделения ее на независимые блоки. Непрерывные коды также могут быть разделимыми и неразделимыми. Мы их рассматривать не будем.