
- •Основы Теории Информации Гордеев э.Н.
- •Содержание
- •1Введение
- •1.1Предмет курса
- •1.2Основная цель курса
- •1.3Теория информации и смежные дисциплины
- •1.4Подходы к определению понятия информация.
- •2Алфавит. Слово. Язык. Информация.
- •3Информация и алгоритм.
- •3.1Задачи, алгоритмы
- •3.1.1Задача
- •3.2Алгоритм
- •3.2.1Нормальные алгорифмы Маркова (нам).
- •3.2.2Машины Тьюринга
- •4Кодирование информации. Количество информации. Сжатие информации.
- •4.1Кодирование информации.
- •4.1.1Примеры кодировок
- •4.1.2Свойства кодировок
- •4.2Наиболее распространенные способы кодирования и их свойства. Алгоритмы кодирования.
- •4.2.1Кодирование слов и поиск минимального кода
- •4.2.2Признаковое кодирование.
- •4.2.3Признаковое кодирование и проблема распознавания.
- •4.2.4Сериальное кодирование
- •4.2.5Алфавитное кодирование.
- •4.2.5.1Неравенство Крафта.
- •4.2.5.2Префиксные коды.
- •4.2.6Кодирование натурального ряда.
- •4.2.6.1Код Элайеса.
- •4.2.6.2Код Левенштейна
- •5Количество информации. Энтропия.
- •5.1.1Энтропия по Хартли.
- •5.1.2Энтропия по Шеннону.
- •5.1.2.1Математическая модель: алфавитное кодирование случайного источника.
- •5.1.2.2Энтропия по Шеннону
- •5.1.2.3Энтропия по Шеннону и энтропия по Хартли.
- •6Теорема Шеннона
- •7Свойства энтропии.
- •8Алгоритмы кодирования
- •8.1Алгоритм Шеннона (Фано)
- •8.2Алгоритм Хаффмана
- •8.3Блочное кодирование
- •8.4Алгоритм арифметического кодирования
- •8.5Код Элайеса
- •8.6Код Левенштейна
- •9Блочное кодирование и теорема Шеннона.
- •10Канал с шумом.
- •10.1Модели каналов.
- •10.2Передача информации по двоичному симметричному каналу с шумом
- •10.2.1Схема и принципы кодирования.
- •10.3Корректирующие способности кодов. Границы мощности.
- •10.4Теорема Шеннона для канала с шумом.
- •10.4.1Факты из теории вероятности.
- •10.4.2Схема кодирования и декодирования. Вспомогательные утверждения.
- •10.4.3Вероятностное доказательство теоремы.
- •10.4.4Комбинаторное доказательство теоремы.
- •10.5Линейные коды
- •10.5.1Пример. Код Хемминга.
- •10.5.2Замечание. Совершенные коды и теорема Шеннона.
- •10.5.3Бчх – коды
- •10.6Спектр кода. Эквидистантные коды
- •11Рекомендованная литература
10Канал с шумом.
Рассмотрим теперь следующую более общую схему.
Код
Источник
F
Получатель
F-1
Декодер
I
Декодер
II
Канал
Потери информации
Избыточность
10.1Модели каналов.
Д
воичный симметричный канал
1 1
P > 1/2
0 0
Д
воичный ассиметричный канал
1 1
P > 1/2, Q > 1/2
0 0
Двоичный стирающий канал
P
1
1-P
1-P
P
0 0
Пример:
Передаем 11011, p = 4/5
Для : 11001
Для II: 110х1
Канал с выпадением
Поскольку искаженная информация информацией не является, возникает еще один кодер и декодер: F-1(F*(α)) = α с вероятностью (1 – ε).
Должны сделать такой механизм, чтобы если в канале произошли потери, то с вероятностью (1 – ε) декодер сможет их восстановить.
Эффективность идеи избыточности была доказана Шенноном: добавим o(H) для того, чтобы с вероятностью (1 – ε) декодировать сигнал с шумом.
Мы работаем со стационарными источниками, при других технические различия не очень велики, при смене модели вся математика меняется капитально.
10.2Передача информации по двоичному симметричному каналу с шумом
10.2.1Схема и принципы кодирования.
Вероятность ошибки p (p < 1/2).
Теперь считаем, что источник выдает двоичное слово, и в двоичном симметричном канале шум представляет собой искажение символа с вероятностью 0<p <1/2.
Источник
Bi→ai
F(Bi)
0<P<1/2
F’(Bi)
C
Bi
Канал
F-1(Bi)
Опр. Пропускная способность канала
C(p) = 1 – H(p)
- энтропия канала.
Пусть Bn - булев куб размерности n.
Опр. Кодом C
называется произвольное подмножество
.
Пусть M – мощность множества C.
Опр. Скорость передачи кода
.
Опр. Расстояние Хемминга
.
= количество различных бит в x
и y.
Пусть |x| - количество
единиц в
( норма x).
Опр. Кодовое расстояние
.
Опр. (n,M,d)-код – это код C, такой, что |C| = M, C = {xi}, xi Bn, d(C) = d.
Схемы кодирования могут быть самые разные. Рассмотрим одну из самых известных.
В ее основе лежит два принципа:
Принцип наибольшего правдоподобия. Этот принцип вытекает из очевидного соотношения
pn < pn-1(1-p) < pn-2(1-p)2 < … <(1-p)n (*)
и говорит о том, что вероятность k ошибок с кодовом слове меньше, чем вероятность s ошибок для всех s>k.
Принцип избыточности.
Схема кодирования по наибольшему правдоподобию
d
x1
x2
x3
M < 2n
Стараемся, чтобы каждую из этих точек можно было окружить шаром радиуса t так, чтобы эти шары не пересекались.
pn < pn-1(1-p) < pn-2(1-p)2 < … <(1-p)n (*)
(*) следует из того, что p < 1/2.
Это значит, что вероятность того, что ошибок не будет, больше, чем того, что будет одна ошибка и т.д. Это единственное обоснование схемы кодирования по наибольшему правдоподобию.
Д
ешифруем
Yi.
В xi
на расстоянии 1 в шаре стоят все векторы,
которые получились бы с одной ошибкой,
на расстоянии 2 все векторы с двумя
ошибками и т.д.
Возможны 3 случая:
Yi оказалась в шаре с центром в xi – произошло менее, чем d ошибок,
;
Yi не попадает ни в один из шаров,
для любого j;
(попала не в этот шар, а в соседний).
Если выполняется первый случай, то Yi → xi. Если третий, то Yi → xj, декодирование неверное.
Во втором случае обычно декодируют Yi в xj, тоже ошибка декодирования.
Пример:
C: a = 11 → x1 = 11000
b = 00 → x2 = 00110
c = 10 → x3 = 10011
d = 01 → x4 = 01101
11000 |
00110 |
10011 |
01101 |
11001 |
00111 |
10010 |
01100 |
11010 |
00100 |
10001 |
01111 |
11100 |
00010 |
10111 |
01001 |
10000 |
01110 |
11011 |
00101 |
01000 |
10110 |
00011 |
11101 |
11110 |
00000 |
01011 |
10101 |
01010 |
10100 |
11111 |
00001 |
Источник Кодер B5
a x1
b x1 → канал
c x1 C – (5,4,3)-код
d x1
|
xi
xj
d
Если d = 2t + 1, то шары вокруг кодовых слов строим радиуса t.
Если d = 2t + 2, то шары радиуса t.
Тогда здесь каждое кодовое слово окружаем шаром радиуса 1.
Если получили любое слово из первых пяти строк таблицы, то декодирование произойдет правильно. Если же взять другое слово, то декодирование произойдет либо правильно, либо нет.
Т.о. куда отнести не вошедшее слово – часть не алгоритма декодирования, а схемы декодирования.
Код не обязан быть систематическим.