
- •Понятие дискретного источника сообщений.
- •Первая и вторая теорема Шеннона для источников без памяти
- •Оптимальное кодирование. Основные понятия и определения.
- •Однозначная декодируемость неравномерного кода.
- •Методы построения префиксных кодов. Метод Шеннона.
- •Свойства оптимального кода.
- •Алгоритм Хаффмана.
- •Блоковые коды
- •Линейные коды.
- •Эквивалентные и систематические коды.
- •Стандартное расположение.
- •Декодирование с использованием синдромов.
- •Последовательное декодирвание.
- •Методы построения новых кодов. Методы: добавление общей проверки на четность; выкалывание кодовых координат.
- •Определения
Эквивалентные и систематические коды.
Эквивалентные и систематические коды: Коды, отличающиеся перестановкой столбцов, в порождающей матрице называются эквивалентными.
Назовем 2 порождающие матрицы комбинаторно эквивалентными, если одна из другой может быть получена путем элементарного преобразования строк и перестановкой столбцов.
Линейный
блоковый
кода G
называется систематическим, если первые
k
компонент каждого кодового слова
являются информационными, а последние
n-k
компоненты проверочными символами.
Теорема: Каждый линейный блоковый код эквивалентен систематическому коду.
Если порождающая матрица кода имеет приведенную форму, то одна из проверочных матриц может быть легко найдена.
Теорема:
если G
систематический код с порождающей
матрицей
,
где
единичная матрица, а
матрица порядка
,
то проверочная матрица имеет вид
.
Задача оптимизации кодов.
Задачи оптимизации кодов.
Из свойств обнаружения всех комбинаций ошибок следует, что способность кода корректировать ошибки находятся в прямой зависимости от величины кодового расстояния. Хорошие корректирующие свойства обеспечиваются большим кодовым расстоянием и наоборот. Для построения кодов с большим кодовым расстоянием требуется вводить много проверочных символов, не передающих информацию от источника к адресату, а выполняющих вспомогательную роль. Наличие большого числа проверочных символов при фиксированной длине кодового слова уменьшает число информационных символов, а следовательно и скорость передачи информации.
– скорость передачи информации
k – число информационных символов
n- длина кода
Т.о. хорошие корректирующие свойства кода и высокая скорость передачи информации – противоречивые требования. Поэтому задача построения кода с приемлемыми значениями (d,R) задача оптимизации, не имеющая единственного решения. Параметры (n,k,d) не могут принимать произвольные значения, так:
1. среди кодов с одинаковыми n и k лучшим является код, который имеет большее кодовое расстояние d.
2. Среди кодов с одинаковыми n и d лучшим является код, который имеет большее число информационных символов k.
3. Среди кодов с одинаковыми k и d лучшим является код, который имеет меньшую длину n, а следовательно и меньшее число проверочных символов.
Т.о. между n, k и d существуют определенные соотношения, задаваемые границами для кодового расстояния или для скорости передачи информации. Различают верхние и нижние границы.
Верхняя граница Хэмминга
Теорема: «Верхняя граница Хемминга»
Если
существует линейный q-ый
код длиной блока n,
k
информационными символами и d=2t+1,
где t-число
ошибок, то
.
Пример:
Равенство
достигается, когда
,
где
-
число кодовых слов.
Коды, для которых выполняется равенство, называются совершенными или плотно упакованными. Примером такого кода является код кратных повторений.
Верхняя граница Плоткина
Теорема: «Верхняя граница Плоткина»
Если
существует q-ый
код длиной блока n
с общим числом кодовых слов M
и кодовым расстоянием D,
то выполняется
.
Коды, для которых выполняется равенство, называются эквидистантными. Это означает, что если для кода выполняется равенство, то расстояние между двумя любыми кодовыми словами одинаково. Примером такого кода является код кратных повторений.
Пример:
изображается в трехмерной системе
координат в виде куба. Этот код называется
симплексным.
Пример: все коды, построенные с использованием матрицы Адамара.
Нижняя граница Варшамова-Гилберта.
Теорема: «Нижняя граница Варшамова-Гилберта»
Существует
код с кодовым расстоянием равным поменьше
мере t,
параметры которого удовлетворяют
неравенству
.
Для оценки границ кода используются оценки Чернова.
Теореме:
Пусть
число
,
тогда справедливы оценки
При больших n имеются асимптотическое предстваление границ Хемминга, Плоткина, Варшамова-Гилберта:
Рассмотренные оценки применяются и для нелинейных блоковых кодов.
Графическое представление оценок:
График…
Характеристика графика: при малой скорости и передаче более точной верхней границей является граница Плоткина, при большей – граница Хемминга. При больших значения n, наилучшей верхней границей считается Мак-Элиса-Родемича-Рамсея-Велча. Область значения параметров, для которых могут существовать коды, отмечена штрихом.
Стандартное расположение векторов векторного пространства.