
- •Министерство образования и науки, молодёжи и спорта украины
- •Тема 1. Предмет теории информации и количественная мера информации
- •1.2 Этапы обращения информации
- •1.3 Система передачи информации
- •1.4 Задачи и постулаты прикладной теории информации
- •1.5. Количественная оценка информации дискретного источника. Энтропия.
- •1.6 Фундаментальные свойства энтропии
- •Тема 2. Основные виды энтропии дискретных источников. Условная и взаимная энтропии.
- •2.1 Условная энтропия.
- •2.2 Основные свойства условной энтропии.
- •2.3 Взаимная энтропия. Свойства энтропии объединения.
- •Тема 3. Эффективное кодирование источника дискретных сообщений в канале без помех.
- •3.1 Избыточность информации, причины ее появления.
- •3.2 Способы сокращения избыточности.
- •3.3 Теорема Шеннона для канала без помех.
- •4.1 Общие понятия и элементы теории кодирования
- •4.2 Цели кодирования
- •4.3 Оптимальные неравномерные коды
- •4.4 Коды Шеннона-Фэно
- •4.5 Коды Хаффмена
- •4.6 Особенности эффективных кодов.
- •Тема 4. Кодирование источника дискретных сообщений в канале с помехами. Общие принципы помехоустойчивого кодирования.
- •5.1 Кодирование информации для канала с помехами. Теорема Шеннона для канала с помехами.
- •5.2 Общие принципы использования избыточности
- •5.3 Связь корректирующей способности кода с кодовым расстоянием
- •6.1 Корректирующие свойства кодов с избыточностью.
- •6.2 Классификация корректирующих кодов
- •Тема 5. Регулярные методы построения двоичных помехоустойчивых кодов
- •7.1 Линейные коды. Общие медоды построения.
- •7.2 Определение числа добавочных разрядов r.
- •7.3 Построение образующей(порождающей) матрицы |om|.
- •7.4 Порядок кодирования
- •7.5 Порядок декодирования
- •7.6 Систематические коды. Код Хэмминга.
- •7.7 Обнаружение и исправление ошибок в коде Хэмминга
- •8.1 Двоичные циклические коды
- •8.2 Некоторые свойства циклических кодов
- •8.3 Матричное описание циклических кодов
- •8.4 Выбор образующего полинома
- •8.5 Декодирование циклических кодов
- •Тема 6. Построение кодов заданой помехоустойчивости. Применение недвоичных помехоустойчивых кодов.
- •9.1 Матричное описание циклических кодов.
- •9.2 Коды Боуза — Чоудхури — Хоквингема (бчх)
- •9.3 Систематический вид циклического кода.
- •9.4 Коды Рида–Соломона и их применение.
- •9.5 Циклический избыточный код crc
- •Тема 7. Информационные характеристики источников непрерывных сообщений. Источники с максимальной энтропией. Максимальная пропускающая способность канала связи с помехами.
- •10.1 Информационные характеристики источников непрерывных сообщений
- •10.2 Энтропия равномерного закона распределения
- •10.3 Энтропия гауссового закона распределения.
- •11.1 Пропускная способность канала связи с помехами для непрерывных сообщений
- •Тема 8. Методы кодирования информации со сжатием.
- •12.1 Подстановочные или словарно-ориентированные алгоритмы сжатия информации. Методы Лемпела-Зива.
- •13.1 Описание алгоритма сжатия lzw
- •Декодирование по lzw
- •Достоинства и недостатки lzw
- •13.2 Применение lz-алгоритмов упаковки данных
- •14.1 Кодирование длин повторений
- •14.2 Дифференциальное кодирование
- •Тема 9. Методы кодирования со сжатием и с потерями информации..
- •15.1 Методы сжатия с потерей информации
- •15.2 Точность. Помехи и искажения. Приближенное восстановление
- •15.5 Кодирование преобразований. Стандарт сжатия jpeg
- •Или же, в матричной форме,
- •Тема 10. Методы кодирования физических сигналов в компьютерных сетях.
- •16.1 Кодирование на физическом уровне.
- •16.2 Самонихронизирующиеся коды - коды rz и Манчестер-II
- •16.3 Несамосинхронизирующиеся коды. - код nrz
- •16.4 Высокоскоростные коды - код mlt-3 и pam 5
- •Еще более высокоскоростной код - код pam 5
- •16.5 Требуемая полоса частот для передачи данных и ширина спектра сигнала
- •Ширина спектра сигнала
9.3 Систематический вид циклического кода.
На практике иногда требуется закодировать в БЧХ- коде одну или несколько информационных посылок, для этого поступаем следующим образом:
1) выбираем образующий полином (методика выбора образующего полинома описана выше);
2) информационную комбинацию умножаем на одночлен той же степени, что и образующий полином;
3) делим полученную комбинацию на образующий полином;
4) суммируем остаток от деления с информационной комбинацией, умноженной на одночлен той же степени, что и образующий полином.
Например: информационную комбинацию вида 1001101 закодировать в БЧХ -коде, так чтобы код был способен исправлять ошибки кратности 2.
1. информационное слово семиразрядное и корректирующие способности кода равны 2, следовательно для этого случая подходит полином, выбранный в предыдущем примере.
2. Умножаем 1001101 на Х8 (100000000), имеем 1001101*100000000=100110100000000
3.Делим 100110100000000 на 111010001, в результате деления по модулю два получаем остаток равный 11000010
4. Суммируем
100110100000000
+ 11000010
100110111000010-искомая комбинация.
Причем старшие 7 разрядов информационные, а оставшиеся 8 - контрольные.
Таблица. Разложение бинома хn+1 на неприводимые сомножители
Степень бинома |
Последовательности степеней корней неприводимых сомножителей |
Неприводимые сомножители |
7 |
1 2 4 3 6 5 |
13 15 |
15 |
01 02 04 08 03 06 12 09 05 10 07 14 13 11 |
023 037 007 031 |
31 |
01 02 04 08 16 03 06 12 24 17 05 10 20 09 18 07 14 28 25 19 11 22 13 26 21 15 30 29 27 23 |
045 075 067 057 073 051 |
63 |
01 02 04 08 16 32 03 06 12 24 48 33 05 10 20 40 17 34 07 14 28 56 49 35 09 18 36 11 22 44 25 50 37 13 26 52 41 19 38 15 30 60 57 51 39 21 42 23 46 29 58 53 43 27 54 45 31 62 61 59 55 47 |
103 127 147 111 015 155 133 165 007 163 013 141 |
9.4 Коды Рида–Соломона и их применение.
Широко используемым подмножеством кодов БЧХ являются коды Рида-Соломона, которые позволяют исправлять пакеты ошибок. Пакет ошибок длины b представляет собой последовательность из таких b ошибочных символов, что первый и последний из них отличны от нуля. Существуют классы кодов Рида-Соломона, позволяющие исправлять многократные пакеты ошибок. Коды Рида-Соломона (РС) в качестве двоичных элементов (1 или 0) ) используют двоичные векторы V длиной 8 бит(байт) или иногда 4 бита (полубайт). Коды РС, таким образом, это не двоичные, а 8ми- ричные коды БЧХ длины N=2m-1 .
Они являются циклическими кодами с образующим полиномом
G(x)=M1(х)*M2(x)* …*Mi(X),
где полином G(X) перед степенями Xi имеет множитель в виде двоичного вектора длиной в 8 бит.
Выбор длины кода N=2m-1 гарантирует, что полином G(X) является делителем XN-1 , и следовательно, всегда будет выполнено требование к образующему полиному циклического кода.
Слово кода Рида-Соломона имеет вид:
A1A2… AkB1B2…BN-k ,
где Ai и Bj– соответственно информационные и избыточные символы, которые могут быть представлены m- разрядными двоичными векторами. Число информационных символов – K=(N-ст.G(x)) , где ст.G(x) степень образующего полинома G(x).
Коды РС являются систематическими кодами с максимальным кодовым расстоянием .
d=N-K+1.
Коды РС являются линейными кодами, поэтому, кроме задания с помощью образующего полинома G(X), они могут быть заданы также образующей ||ОМ|| матрицей.
Пример 8-ричного (7,3) кода Рида - Соломона
Образующий полином в поле Галуа GF(23)
g(x) = x4 + α6x3 + α6x2 + α3x + α,
где α -первообразный элемент поля Галуа GF(23). Это восьмеричное или 3-х значное двоичное число, такое, что αi пробегают все значения элементов поля GF(23).
Пусть исходное кодовое слово, состоящее из восьмеричных чисел имеет вид
ИС = α4 , α0 , α3.
Образующий полином, взят из таблички первообразных полиномов имеет вид
m(x) = α4x2 + x + α3
Кодовое слово кода Рида-Соломона запишется в виде
c(x) = m(x)g(x) = (α4x2 + x + α3)(x4 + α6x3 + α6x2 + α3x + α) = α4x6 + αx5 + α6x4 + 0x3 + 0x2 + α5x + α4 =(α4, α, α6, 0, 0, α5, α4 )
что представляет собой последовательность семи восьмеричных символов
Применение кодов Рида–Соломона
Сразу после появления (60-ые годы 20ого века) коды Рида - Соломона стали применяться в качестве внешних кодов спутниковой связи. В настоящий момент коды Рида — Соломона имеют очень широкую область применения благодаря их способности находить и исправлять многократные пакеты ошибок.
Запись и хранение информации
Код Рида — Соломона используется при записи и чтении в контроллерах оперативной памяти, при архивировании данных, записи информации на магнитные жесткие диски . Даже если поврежден значительный объем информации, испорчено несколько секторов дискового носителя, то коды Рида — Соломона позволяют восстановить большую часть потерянной информации.
Коды Рида-Соломона широко используются в устройствах цифровой записи звука, в том числе на компакт-диски. Данные, состоящие из отсчетов объединяются в кадр, представляющий кодовое слово. Кадры разбиваются на блоки по 8 бит. Часть блоков являются контрольными.
Обычно 1 кадр (кодовое слово) = 32 блока *8(биты данных +сигнальные биты + контрольных биты)= 256 бит.
Сигнальные символы это вспомогательные данные, облегчающие декодирование: служебные сигналы, сигналы синхронизации и т. д.
При передаче данных производится перемежение (изменение порядка следования по длине носителя и во времени) блоков с различным сдвигом во времени, в результате чего расчленяются сдвоенные ошибки, что облегчает их локализацию и коррекцию. При этом используются коды Рида-Соломона с неприводимым кодовым расстоянием d0 = 5. Это означает, что они способны исправить две байтовые ошибки в каждом кодовом слове кадра в 256 бит.