- •Министерство образования и науки, молодёжи и спорта украины
- •Тема 1. Предмет теории информации и количественная мера информации
- •1.2 Этапы обращения информации
- •1.3 Система передачи информации
- •1.4 Задачи и постулаты прикладной теории информации
- •1.5. Количественная оценка информации дискретного источника. Энтропия.
- •1.6 Фундаментальные свойства энтропии
- •Тема 2. Основные виды энтропии дискретных источников. Условная и взаимная энтропии.
- •2.1 Условная энтропия.
- •2.2 Основные свойства условной энтропии.
- •2.3 Взаимная энтропия. Свойства энтропии объединения.
- •Тема 3. Эффективное кодирование источника дискретных сообщений в канале без помех.
- •3.1 Избыточность информации, причины ее появления.
- •3.2 Способы сокращения избыточности.
- •3.3 Теорема Шеннона для канала без помех.
- •4.1 Общие понятия и элементы теории кодирования
- •4.2 Цели кодирования
- •4.3 Оптимальные неравномерные коды
- •4.4 Коды Шеннона-Фэно
- •4.5 Коды Хаффмена
- •4.6 Особенности эффективных кодов.
- •Тема 4. Кодирование источника дискретных сообщений в канале с помехами. Общие принципы помехоустойчивого кодирования.
- •5.1 Кодирование информации для канала с помехами. Теорема Шеннона для канала с помехами.
- •5.2 Общие принципы использования избыточности
- •5.3 Связь корректирующей способности кода с кодовым расстоянием
- •6.1 Корректирующие свойства кодов с избыточностью.
- •6.2 Классификация корректирующих кодов
- •Тема 5. Регулярные методы построения двоичных помехоустойчивых кодов
- •7.1 Линейные коды. Общие медоды построения.
- •7.2 Определение числа добавочных разрядов r.
- •7.3 Построение образующей(порождающей) матрицы |om|.
- •7.4 Порядок кодирования
- •7.5 Порядок декодирования
- •7.6 Систематические коды. Код Хэмминга.
- •7.7 Обнаружение и исправление ошибок в коде Хэмминга
- •8.1 Двоичные циклические коды
- •8.2 Некоторые свойства циклических кодов
- •8.3 Матричное описание циклических кодов
- •8.4 Выбор образующего полинома
- •8.5 Декодирование циклических кодов
- •Тема 6. Построение кодов заданой помехоустойчивости. Применение недвоичных помехоустойчивых кодов.
- •9.1 Матричное описание циклических кодов.
- •9.2 Коды Боуза — Чоудхури — Хоквингема (бчх)
- •9.3 Систематический вид циклического кода.
- •9.4 Коды Рида–Соломона и их применение.
- •9.5 Циклический избыточный код crc
- •Тема 7. Информационные характеристики источников непрерывных сообщений. Источники с максимальной энтропией. Максимальная пропускающая способность канала связи с помехами.
- •10.1 Информационные характеристики источников непрерывных сообщений
- •10.2 Энтропия равномерного закона распределения
- •10.3 Энтропия гауссового закона распределения.
- •11.1 Пропускная способность канала связи с помехами для непрерывных сообщений
- •Тема 8. Методы кодирования информации со сжатием.
- •12.1 Подстановочные или словарно-ориентированные алгоритмы сжатия информации. Методы Лемпела-Зива.
- •13.1 Описание алгоритма сжатия lzw
- •Декодирование по lzw
- •Достоинства и недостатки lzw
- •13.2 Применение lz-алгоритмов упаковки данных
- •14.1 Кодирование длин повторений
- •14.2 Дифференциальное кодирование
- •Тема 9. Методы кодирования со сжатием и с потерями информации..
- •15.1 Методы сжатия с потерей информации
- •15.2 Точность. Помехи и искажения. Приближенное восстановление
- •15.5 Кодирование преобразований. Стандарт сжатия jpeg
- •Или же, в матричной форме,
- •Тема 10. Методы кодирования физических сигналов в компьютерных сетях.
- •16.1 Кодирование на физическом уровне.
- •16.2 Самонихронизирующиеся коды - коды rz и Манчестер-II
- •16.3 Несамосинхронизирующиеся коды. - код nrz
- •16.4 Высокоскоростные коды - код mlt-3 и pam 5
- •Еще более высокоскоростной код - код pam 5
- •16.5 Требуемая полоса частот для передачи данных и ширина спектра сигнала
- •Ширина спектра сигнала
8.2 Некоторые свойства циклических кодов
Все свойства циклических кодов определяются образующим полиномом.
1. Циклический код, образующий полином которого содержит более одного слагаемого, обнаруживает все одиночные ошибки.
Строго доказывать это не будем. Покажем это на примере простейшего образующего полинома g(X) =Х+1. Вектор однократной ошибки в i-м разряде описывается полиномом ВО(Х)=Хi.
Найдем опознаватель
Таким образом, поскольку ВО имеет вес 1 (не равен нулю), ошибка обнаруживается.
2. Можно показать, что циклический код, образованный при помощи простейшего первообразного полинома g(Х)=Х+1, позволяет обнаруживать не только одиночные но и любые ошибки нечетной кратности. Доказательство базируется на том факте, что при использовании образующего полинома X+1 получаемые в результате кодовые слова обязательно имеют четное число единичных разрядов.
Любое искажение с нечетным числом ошибок преобразует разрешенное кодовое слово с четным числом единиц в запрещенное слово с нечетным числом единиц. Такое кодовое слово, поскольку оно является запрещенным, сразу же будет обнаружено по наличию остатка от его деления на образующий полином.
Найдем теперь для случая образующего полинома Х+1 упрощенный вариант процедуры кодирования.
Ранее была приведена следующая формула получения кодового слова (случай систематического кода):
Остатком от деления любого полинома на Х+1 может быть либо 0 (остатка нет) либо 1. Следовательно, r=1, то есть образующий полином Х+1 дает нам один дополнительный корректирующий разряд.
Учитывая вывод о том, что при использовании образующего полинома Х+1 получаемые в результате кодовые слова обязательно имеют четное число единичных разрядов, делаем вывод, что этот один разряд должен дополнять число единиц в информационной части кода до четного числа. В этом и заключается упрощенный способ кодирования при использовании разделимого циклического кода с образующим полиномом X+1.
8.3 Матричное описание циклических кодов
Циклические коды можно, как и любые линейные коды, описывать с помощью матриц.
Вспомним, что
Вспомним также на примере порядок умножения полиномов:
Это соответствует описанному выше упрощенному способу умножения матриц:
Видно, что, если в качестве строк образующей матрицы взять наборы сдвинутых вправо коэффициентов образующего полинома, вычисление кодовых слов при помощи матриц полностью эквивалентно вычислению кодовых слов при помощи полиномов.
Согласно второму способу кодирования, позволяющего получить систематический код, кодовое слово находится по формуле:
Образующая матрица ||ОМ|| в этом случае должна состоять из 2 частей - единичной матрицы ||I|| и матрицы дополнительных разрядов ||МДР||, то есть:
||ОМ ||= || I, МДР || .
Результат кодирования при помощи матриц будет совпадать с результатом кодирования при помощи полиномов в том случае, если строки матрицы дополнительных разрядов образовать по следующей формуле:
i- ая строка МДР= ост(( Xi)/gr(X)).
Далее по МДР легко построить ТПМ найти опознаватели и воспользоваться описанными выше для линейных кодов процедурами кодирования-декодирования.