- •Теория информации Учебное пособие
- •Введение
- •1. Информационные характеристики источников сообщений
- •Энтропия как мера неопределенности физической системы
- •1.2 Энтропия сложной системы
- •Сложение энтропии независимых систем
- •Условная энтропия
- •1.3. Количественные аспекты информации
- •1.4. Количество информации, как мера снятой неопределенности
- •1.5. Объем информации
- •1.6. Взаимная информация
- •Упражнения
- •Решение
- •Лабораторная работа Свойства энтропии
- •2. Неопределенность непрерывных случайных величин
- •2.1. Энтропия непрерывной случайной величины х
- •2.2. Количество информации для непрерывных систем
- •2.3. Принцип экстремума энтропии и экстремальные распределения
- •Подставим (2.9) в (2.6)
- •При взятии интеграла учтем, что имеется соответствующий табличный интеграл
- •Сравнительная оценка сообщений, передаваемых по нормальному закону и равновероятному закону распределений
- •2.4. Епсилон энтропия (ε-энтропия )
- •3. Передача информации по каналам связи
- •3.1. Источники сообщений
- •3.2. Избыточность информации
- •3.3. Передача информации по каналу связи. Пропускная способность канала
- •Матрица для нахождения условной вероятности
- •Матрица условных вероятностей имеет вид
- •3.4. Пропускная способность непрерывных каналов связи
- •Скорость передачи информации будет равняться
- •Тогда , (3.8) где p мощность сигнала, а n мощность помехи
- •3.5. Согласование скорости выдачи информации, выдаваемой источником, с пропускной способностью канала связи
- •3.6. Согласование оконечных устройств с каналами связи
- •Упражнения
- •Лабораторная работа
- •4. Кодирование информации
- •4.1. Префиксные коды
- •Коды 1,2,3 не обладают свойством префикса, а код 4 обладает.
- •4.2. Основные теоремы кодирования
- •4.3. Оптимальное кодирование
- •4.4. Код Шеннона – Фано
- •Средняя длина полученного кода будет равна
- •4.5. Блочное кодирование
- •4.6. Код Хаффмана
- •4.7. Совмещенный способ построения кода Хаффмана Совмещенный способ построения кода Хаффмана представляет объединение двух процессов: обычного алгоритма построения и метода дерева.
- •Лабораторная работа
- •5. Сжатие информации
- •5.1. Основные понятия
- •5.2. Методы сжатия без потерь
- •Кодирование длин серий (rle - кодирование)
- •Коды Фибоначчи
- •Методы энтропийного сжатия
- •Метод арифметического сжатия
- •Методы контекстного моделирования
- •Словарные методы сжатия
- •5.3. Методы сжатия с потерями
- •6. Помехоустойчивое кодирование
- •6.1 Коды с обнаружением ошибок
- •Код с проверкой на четность.
- •Код Грея записывается следующим образом
- •Обратный переход из кода Грея в двоичный код
- •6.2. Корректирующие коды
- •6.3. Код Хемминга
- •Проверяем ее
- •6.4. Техническая реализация кода Хэмминга
- •6.5 Циклические коды
- •Декодирование циклических кодов
- •Аппаратурная реализация циклических кодов.
- •Пусть на вход подается комбинация 1101001
- •Теперь пусть на вход подается комбинация с ошибкой 1100001
- •Упражнения
- •Лабораторная работа
- •Задание 2
- •Задание 3
- •Задание 4
- •Задание 5
- •Задание 7
- •Задание 8
- •Задание 9
- •Задание 10
- •Задание 11
- •Задание 12
- •Задание 13
- •Задание 14
- •Задание 15
- •Задание 16
- •Задание 17
- •Задание 18
- •Задание 19
- •Задание 20
- •Список литературы
- •Оглавление
Пусть на вход подается комбинация 1101001
Вх. |
1 |
2 |
3 |
1 |
1 |
0 |
0 |
1 |
1 |
1 |
0 |
0 |
0 |
1 |
1 |
1 |
0 |
1 |
1 |
0 |
1 |
1 |
1 |
0 |
1 |
0 |
1 |
1 |
0 |
0 |
0 |
Теперь пусть на вход подается комбинация с ошибкой 1100001
Вх. |
1 |
2 |
3 |
1 |
1 |
0 |
0 |
1 |
1 |
1 |
0 |
0 |
0 |
1 |
1 |
0 |
1 |
1 |
1 |
0 |
1 |
0 |
1 |
0 |
1 |
0 |
0 |
1 |
1 |
1 |
0 |
На четвертом такте
анализатор ошибок подаст на выходной сумматор сигнал исправления
№ |
1 |
2 |
3 |
--- |
1 |
1 |
0 |
1 |
0 |
1 |
1 |
2 |
1 |
1 |
1 |
3 |
1 |
0 |
1 |
4 |
1 |
0 |
0 |
Для исправления
многократных ошибок используется
произведение образующих многочленов:
Таблица 6.3. Неприводимые полиномы
G(x) |
полином |
g(x) |
полином |
g(x) |
x+1 |
g1(x6) |
x6+x+1 |
g(x2) |
x2+x+1 |
g2(x6) |
x6+x3+1 |
g1(x3) |
x3+x1+1 |
g3(x6) |
x6+x5+1 |
g2(x3) |
x3+x2+1 |
…………… |
…………… |
g1(x4) |
x4+x+1 |
g1(x7) |
x7+x+1 |
g2(x4) |
x4+x3+1 |
g2(x7) |
x7+x3+1 |
g3(x4) |
x4+x3+x2+x+1 |
g3(x7) |
x7+x3+x2+x+1 |
g1(x5) |
x5+x2+1 |
…………… |
…………… |
g2(x5) |
x5+x3+1 |
g1(x8) |
x8+x4+x3+x+1 |
g3(x5) |
x5+x3+x4+x+1 |
g2(x8) |
x8+x4+x3+x2+1 |
g4(x5) |
x5+x4+x2+x+1 |
…………… |
…………… |
g5(x5) |
x5+x4+x3+x+1 |
g1(x9) |
x9+ x+1 |
g6(x5) |
x5+x4+x3+x2+1 |
g2(x9) |
x9+x4+ 1 |
Вопросы
6.1. Каковы причины возникновения помех, и какие помехи вызываются этими причинами.
6.2. Назовите коды, предназначенные для обнаружения ошибок.
6.3. Дайте определение инверсного кода.
6.4. С какой целью используется код Грея.
6.5. Какие коды называются корректирующими.
6.6. Как определяется минимальное кодовое расстояние?
6.7. Дайте определение группового кода.
6.8. Из какого соотношения определяется необходимое число контрольных символов?
6.9. Нарисуйте схему кодирования кода Хэмминга.
6.10.Какие коды называются циклическими?
6.11.Для чего используется представление кодов в виде многочленов?
6.12.Приведите примеры алгебры циклических кодов.
6.13.Из каких соображений выбирается образующий многочлен?
6.14.Поясните процесс получения циклического кода математическим методом.
6.15.Как построить образующую матрицу циклического кода?
6.16.Нарисуйте схему кодирования циклического кода.
6.17.Поясните процесс декодирования циклического кода.
