
- •Основы Теории Информации Гордеев э.Н.
- •Содержание
- •1Введение
- •1.1Предмет курса
- •1.2Основная цель курса
- •1.3Теория информации и смежные дисциплины
- •1.4Подходы к определению понятия информация.
- •2Алфавит. Слово. Язык. Информация.
- •3Информация и алгоритм.
- •3.1Задачи, алгоритмы
- •3.1.1Задача
- •3.2Алгоритм
- •3.2.1Нормальные алгорифмы Маркова (нам).
- •3.2.2Машины Тьюринга
- •4Кодирование информации. Количество информации. Сжатие информации.
- •4.1Кодирование информации.
- •4.1.1Примеры кодировок
- •4.1.2Свойства кодировок
- •4.2Наиболее распространенные способы кодирования и их свойства. Алгоритмы кодирования.
- •4.2.1Кодирование слов и поиск минимального кода
- •4.2.2Признаковое кодирование.
- •4.2.3Признаковое кодирование и проблема распознавания.
- •4.2.4Сериальное кодирование
- •4.2.5Алфавитное кодирование.
- •4.2.5.1Неравенство Крафта.
- •4.2.5.2Префиксные коды.
- •4.2.6Кодирование натурального ряда.
- •4.2.6.1Код Элайеса.
- •4.2.6.2Код Левенштейна
- •5Количество информации. Энтропия.
- •5.1.1Энтропия по Хартли.
- •5.1.2Энтропия по Шеннону.
- •5.1.2.1Математическая модель: алфавитное кодирование случайного источника.
- •5.1.2.2Энтропия по Шеннону
- •5.1.2.3Энтропия по Шеннону и энтропия по Хартли.
- •6Теорема Шеннона
- •7Свойства энтропии.
- •8Алгоритмы кодирования
- •8.1Алгоритм Шеннона (Фано)
- •8.2Алгоритм Хаффмана
- •8.3Блочное кодирование
- •8.4Алгоритм арифметического кодирования
- •8.5Код Элайеса
- •8.6Код Левенштейна
- •9Блочное кодирование и теорема Шеннона.
- •10Канал с шумом.
- •10.1Модели каналов.
- •10.2Передача информации по двоичному симметричному каналу с шумом
- •10.2.1Схема и принципы кодирования.
- •10.3Корректирующие способности кодов. Границы мощности.
- •10.4Теорема Шеннона для канала с шумом.
- •10.4.1Факты из теории вероятности.
- •10.4.2Схема кодирования и декодирования. Вспомогательные утверждения.
- •10.4.3Вероятностное доказательство теоремы.
- •10.4.4Комбинаторное доказательство теоремы.
- •10.5Линейные коды
- •10.5.1Пример. Код Хемминга.
- •10.5.2Замечание. Совершенные коды и теорема Шеннона.
- •10.5.3Бчх – коды
- •10.6Спектр кода. Эквидистантные коды
- •11Рекомендованная литература
10.6Спектр кода. Эквидистантные коды
Рассмотрим код V = (v1…vk). Тогда для кодового слова vi rs(vi) – число кодовых слов, т.ч. ρ(vj, vi) = s. vi сопоставляется (r0(vi)…rk(vi)) – спектр vi – кода.
Если V – линейный, то спектры всех vi одинаковые. Поэтому для линейного кода спектром называется вектор (a0…an), т.е. число кодовых слов весов 0…n.
Теорема Маквильямса:
Пусть есть код V и его
спектр (a0…an)
и код ортогональный V*
и его спектр (b0…bn),
тогда проведем соотношения
,
где z – переменная.
Это выражение дает возможность сразу выражать спектр кода через спектр ортогонального кода.
Следствие:
Пусть
Следствие 1:
Следствие 2:
,
где
- число точек Bn
веса S на расстоянии
r от некоторой точки
кода.
Тогда C(S) – число точек Bn веса S, попавших в шар радиуса T линейного кода, исправляющего t ошибок.
Следствие 3:
Пример применения: Код Хемминга
Это совершенный код, для которого C(S) = CSn.
Применяем следствие 3:
Отделим из первой суммы первые слагаемые (i = 0):
Т.к. многочлен = 0 → все его коэффициенты = 0 → b1 = b2 = … = b(n – 1) / 2 = b(n – 3) / 2 = … = bn = 0
n – 2i + 1 = 0
i = (n + 1) / 2
Т.е. b(n – 1) / 2 не равно 0, а значит спектр кода V* (0, 0…0, (n + 1) / 2, 0…0)
Опр.: Код называется эквизиститантным, если для любых i, j (i не равно j) ρ(vj, vi) = d.
Код, двойственный коду Хемминга называется эквизистантным (кодом
Макдональда).
n = 2m – 1, k = m
Тогда все ρ(…) = 2m – 1 (число точек в коде Макдональда 2m)
Теорема Джоши:
A(n, d) ≤ 2d / (2d – n)
Для кода Макдональда: 2d / (2d – n) = 2*2m-1 / 2*2m-1 – (2m – 1) = 2m
Т.е. любой код не может содержать более чем 2m точек. Код Макдональда оптимален, лучше ничего не построить.
Теорема: Пусть V – эквизистантный линейный код в Bn, тогда |V| ≤ n + 1
V = (v1…vs), ρ(vj, vi) = d, i не равно j.
Будем считать, что 0
V
Определитель Грамма для векторов
:
- линейно независимы.
Итак, имеем S-1 линейно независимых векторов.
В пространстве Bn может быть не более n линейно независимых векторов
S n+1.
11Рекомендованная литература
Ахо А., Хопкрофт Дж., Ульман Дж. Построение и анализ вычислительных алгоритмов. М.: Мир, 1979.
Гэри М., Джонсон Д. Вычислительные машины и труднорешаемые задачи. М.: Мир, 1982.
Мендельсон Э. Введение в математическую логику. М.: Наука, 1971.
Пападимитриу Х., Стайглиц К. Комбинаторная оптимизация. Алгоритмы и сложность. М.: Мир, 1984.
Лидовский В.В. Теория информации: Уч. пособие. - М.: Компания Спутник+, 2004.
Потапов В.Н. Теория информации. Кодирование вероятностных источников.- Уч. пособие / Новосибирский государственный университет. -- Новосибирск, 1999.
Панин В.В. Основы теории информации: учебное пособие для вузов. - 3-е изд. испр. - М.: БИНОМ. Лаборатория знаний, 2009.
Кузьмин И.В. Основы теории информации и кодирования.- Электронный учебник. www.info.oglib.ru/bgl/4607.html.
У. Питерсон, Э. Уэлдон. Коды, исправляющие ошибки. – Мир, 1976.