- •Э.Н.Гордеев основы теории информации
- •Раздел 1. Информация и Алгоритм. Коды объектов. 12
- •Раздел 2. Сжатие информации. 30
- •Раздел 3. Передача информации. Защита от искажений. 56
- •Раздел 1. Информация и Алгоритм. Коды объектов. 10
- •Раздел 2. Сжатие информации. 29
- •Раздел 3. Передача информации. Защита от искажений. 55
- •12 Рекомендованная литература 122
- •Введение.
- •Алгоритм
- •Представление (кодирование) информации.
- •Примеры кодировок
- •Свойства кодировок
- •Способы представления (кодирования) информации.
- •Кодирование слов и поиск минимального кода
- •Признаковое кодирование.
- •Раздел 2. Сжатие информации.
- •Кодирование информации. Количество информации. Сжатие информации.
- •Сериальное кодирование
- •Алфавитное кодирование.
- •Неравенство Крафта.
- •Префиксные коды.
- •Кодирование натурального ряда.
- •Код Элайеса.
- •Код Левенштейна
- •Количество информации. Энтропия.
- •Энтропия по Хартли.
- •Энтропия по Шеннону.
- •Математическая модель: алфавитное кодирование случайного источника.
- •Энтропия по Шеннону
- •Энтропия по Шеннону и энтропия по Хартли.
- •Теорема Шеннона
- •Алгоритмы кодирования
- •Алгоритм Шеннона (Фано).
- •Алгоритм Хаффмана
- •Блочное кодирование Хаффмена.
- •Алгоритм арифметического кодирования
- •Блочное кодирование и теорема Шеннона.
- •Раздел 3. Передача информации. Защита от искажений.
- •Передача информации по каналу с шумом.
- •Модели каналов.
- •Необходимые определения.
- •Пример кода для канала с выпадением.
- •Передача информации по двоичному симметричному каналу с шумом
- •Принципы построения кодов, исправляющих ошибки.
- •Декодирование на основе таблицы декодирования.
- •Корректирующие способности кодов. Границы мощности.
- •Теорема Шеннона для канала с шумом.
- •Факты из теории вероятности.
- •XI → канал → y
- •Вторая теорема Шеннона.
- •Комбинаторное доказательство теоремы.
- •Примеры кодов, исправляющих ошибки. Линейные коды.
- •Линейные коды.
- •Спектр кода.
- •Код Хэмминга.
- •Вопросы для самопроверки.
- •Примеры билетов для контрольных работ.
- •Приложение.
- •Рекомендованная литература
Приложение.
Приведем некоторые элементарные алгебраические пояснения к теме «БЧХ-коды».
Поле строится путем перехода от «числового» поля GF(2) к «векторному» полю GF(2k). (В более общем случае от GF(p) к GF(pk).) Опишем схему построения.
Есть бинарный вектор α1…αk. Этому вектору всегда можно сопоставить многочлен:
α1 + α2x + … + αk-1xk-2
Рассмотрим кольцо F [x] всех многочленов от переменной x с коэффициентами из поля F. Пусть s(x) — произвольный многочлен из F[x]. Тогда множество
{s(x)} = { c(x) • s(x):| c(x) F[x] } (*)
образует идеал кольца F[x]. Верно и обратное, любой идеал кольца F[x] представим в виде совокупности произведений многочленов (*) для подходящего многочлена s(x). Без ограничения общности можно считать, что s(x) многочлен наименьшей степени в идеале (s(x)).
Пользуясь алгоритмом Евклида для многочленов, можно показать, что в любом идеале такой многочлен s(x) существует и единствен. Рассмотрим фактор-кольцо F[x]/(s(x)) кольца всех многочленов F[x] по модулю идеала (s(x)). Элементами фактор-кольца F[x]/(s(x)) являются всевозможные многочлены степени меньшей, чем степень s(x), а операции сложения и умножения в фактор-кольце производятся по модулю многочлена s(x). Если степень многочлена s(x) равна m и поле F конечно, то фактор-кольцо F[x]/(s(x)) содержит в точности | F| m элементов.
Опр. Многочлен f (x) из кольца F[x] называется неприводимым над полем F, если он нормированный (со старшим коэффициентом, равным 1) и не может быть представлен в виде произведения двух многочленов из F[x] меньших степеней.
Утв. Для любого k существует неприводимый полином P(x), т.е. такой многочлен, для которого не существует Q(x) и R(x) ,отличных от константы, таких что P(x) = Q(x) R(x).
Берем P(x) и рассматриваем кольцо класса вычетов по P(x) (degP(x) = k). Другими словами, рассмотрим все полиномы, которые при делении на P(x) дают один и тот же остаток – они образуют один класс; таких классов конечное число.
Теорема. Пусть f (x) — многочлен степени m с коэффициентами из простого поля Fp и (f(x)) — идеал, порожденный многочленом f(x) в кольце Fp[x]. Фактор-кольцо Fp[x]/(f (x)), состоящее из pm элементов, является полем тогда и только тогда, когда многочлен f(x) неприводим над Fp.
Пример. Пусть p = 2, F2 = {0,1}. Рассмотрим многочлен f (x) = 1 + x3 + x4. Несложно проверить, что он неприводим над F2. Действительно, так как элементы 0 и 1 не являются корнями, то f (x) не имеет линейных многочленов x и x + 1 в качестве делителей.
Легко проверить, что единственный неприводимый над F2 многочлен второй степени x2 + x + 1 также не делит f (x). Следовательно, многочлен f (x) неприводим и по теореме фактор-кольцо F2[x]/(f (x)) является конечным полем с 24 элементами. Все 16 его элементов представимы как многочлены степени меньшей 4 с операциями сложения над F2 и умножения по модулю f(x). Например,
(x3 + x + 1)(x2 + 1) = x5 + x3 + x2 + x3 + x + 1 = x5 + x2 + x + 1 =
x(x4 + x) + x2 + x + 1 = (x3 + 1 + x) + x2 + x + 1 = x3 + x2 (mod f (x)).
Теорема. Для любого простого числа p и любого положительного целого числа m существует единственное с точностью до изоморфизма поле порядка pm.
Конечное поле порядка pn называется полем Галуа и обозначается GF (pn).
Порядком произвольного элемента α некоторого конечного поля называется наименьшее целое положительное число k такое, что αк = 1. Непосредственно из определения следует, что в конечном поле GF (pn) для элемента α порядка k все элементы 1, α, α2, ... , αк-1 различны. Поэтому порядок каждого элемента поля GF(pn) конечен и не превышает числа pn — 1. Элемент α поля GF(nm) называется примитивным, если его порядок равен pn - 1. Многочлен, корнем которого является примитивный элемент, называется примитивным многочленом. Заметим, что не всякий неприводимый многочлен является примитивным.
Сколько полиномов со степенью не больше n? Всего их 2n. Тогда всего классов вычетов по неприводимому полиному содержит 2n элементов.
Свойства полей Голуа.
Число элементов произвольного поля Галуа равно степени простого числа.
Для любого простого числа p и любого целого числа m > 0 существует единственное с точностью до изоморфизма поле Галуа GF(pm).
Наименьшим подполем поля GF (pm) является поле GF(p).
Поле GF(pk) является подполем поля GF(pm) тогда и только тогда, когда k делит m.
Любое поле GF(pm) содержит хотя бы один примитивный элемент.
Над каждым полем Галуа GF(p) существует хотя бы один примитивный многочлен любой положительной степени.
Пример. Построим поле GF(24) на основе поля GF(2) . В качестве неприводимого многочлена берем→ GF(24), P(x) = x4 + x +1.
Согласно сказанному выше, поле GF(24)состоит из всех многочленов степени меньшей 4:
x x2 x3
x + 1 x2 + 1 x3 + 1
x2 + x x3 + x
x2 + x + 1 x3 + x + 1 x3 + x2 x3 + x2 + 1 x3 + x2 + x x3 + x2 + x + 1
Определим на множестве элементов операции умножения и взятия обратного элемента. Особенно удобно производить эти операции с помощью представления всех ненулевых элементов поля GF(24) в виде степеней некоторого примитивного элемента α. В качестве α можно взять x. Действительно, все его степени по модулю f (x) различны между собой:
x 0 1 1000
x1 x 0100
x2 x2 0010
x3 x3 0001
x4 x+1 110
x5 x + x2 0110
x6 x2 + x3 0011
x7 1 + x + x3 1101
x8 1 + x2 1010
x9 x + x3 0101
x10 1 + x +x2 1110
x11 x + x2 + x3 0111
x12 1 + x2 + x3 + x 1111
x13 1 + x2 + x3 1011
x 14 1 + x3 1001
x15 = x0 1000
Теперь мы можем решать в поле GF(2n) уравнения, например, уравнения из приведенного выше примера
.
