- •Теория информации Учебное пособие
- •Введение
- •1. Информационные характеристики источников сообщений
- •Энтропия как мера неопределенности физической системы
- •1.2 Энтропия сложной системы
- •Сложение энтропии независимых систем
- •Условная энтропия
- •1.3. Количественные аспекты информации
- •1.4. Количество информации, как мера снятой неопределенности
- •1.5. Объем информации
- •1.6. Взаимная информация
- •Упражнения
- •Решение
- •Лабораторная работа Свойства энтропии
- •2. Неопределенность непрерывных случайных величин
- •2.1. Энтропия непрерывной случайной величины х
- •2.2. Количество информации для непрерывных систем
- •2.3. Принцип экстремума энтропии и экстремальные распределения
- •Подставим (2.9) в (2.6)
- •При взятии интеграла учтем, что имеется соответствующий табличный интеграл
- •Сравнительная оценка сообщений, передаваемых по нормальному закону и равновероятному закону распределений
- •2.4. Епсилон энтропия (ε-энтропия )
- •3. Передача информации по каналам связи
- •3.1. Источники сообщений
- •3.2. Избыточность информации
- •3.3. Передача информации по каналу связи. Пропускная способность канала
- •Матрица для нахождения условной вероятности
- •Матрица условных вероятностей имеет вид
- •3.4. Пропускная способность непрерывных каналов связи
- •Скорость передачи информации будет равняться
- •Тогда , (3.8) где p мощность сигнала, а n мощность помехи
- •3.5. Согласование скорости выдачи информации, выдаваемой источником, с пропускной способностью канала связи
- •3.6. Согласование оконечных устройств с каналами связи
- •Упражнения
- •Лабораторная работа
- •4. Кодирование информации
- •4.1. Префиксные коды
- •Коды 1,2,3 не обладают свойством префикса, а код 4 обладает.
- •4.2. Основные теоремы кодирования
- •4.3. Оптимальное кодирование
- •4.4. Код Шеннона – Фано
- •Средняя длина полученного кода будет равна
- •4.5. Блочное кодирование
- •4.6. Код Хаффмана
- •4.7. Совмещенный способ построения кода Хаффмана Совмещенный способ построения кода Хаффмана представляет объединение двух процессов: обычного алгоритма построения и метода дерева.
- •Лабораторная работа
- •5. Сжатие информации
- •5.1. Основные понятия
- •5.2. Методы сжатия без потерь
- •Кодирование длин серий (rle - кодирование)
- •Коды Фибоначчи
- •Методы энтропийного сжатия
- •Метод арифметического сжатия
- •Методы контекстного моделирования
- •Словарные методы сжатия
- •5.3. Методы сжатия с потерями
- •6. Помехоустойчивое кодирование
- •6.1 Коды с обнаружением ошибок
- •Код с проверкой на четность.
- •Код Грея записывается следующим образом
- •Обратный переход из кода Грея в двоичный код
- •6.2. Корректирующие коды
- •6.3. Код Хемминга
- •Проверяем ее
- •6.4. Техническая реализация кода Хэмминга
- •6.5 Циклические коды
- •Декодирование циклических кодов
- •Аппаратурная реализация циклических кодов.
- •Пусть на вход подается комбинация 1101001
- •Теперь пусть на вход подается комбинация с ошибкой 1100001
- •Упражнения
- •Лабораторная работа
- •Задание 2
- •Задание 3
- •Задание 4
- •Задание 5
- •Задание 7
- •Задание 8
- •Задание 9
- •Задание 10
- •Задание 11
- •Задание 12
- •Задание 13
- •Задание 14
- •Задание 15
- •Задание 16
- •Задание 17
- •Задание 18
- •Задание 19
- •Задание 20
- •Список литературы
- •Оглавление
Упражнения
6.1. Определить величину кодового расстояния между двумя комбинациями 1101101, 1001011.
6.2. Определить величину кодового расстояния d, обеспечивающего исправление .s-кратных ошибок при s = 1, 3, 5.
6.3. Определить наименьшее количество проверочных элементов и n-k, необходимое для исправления трехкратных ошибок, если число элементов в кодовой комбинации равно 12.
6.4. Произвести перемножение трех многочленов в алгебре циклических кодов (х + 1), (х3 + х +1) и (х3 + х2 + 1). Проделать аналогичную операцию и для двоичных эквивалентов.
6.5. Найти остаток при делении многочлена (х7+х6+х4+х+1)... на многочлен (х4+х+1). Аналогичную операцию проделать и для двоичных эквивалентов.
6.6. Закодировать в циклическом коде комбинации 1001, 1010, если образующий многочлен g(x)=x3+x+1
6.7. Закодировать многочлен х7+x4+х3+х+1 с проверкой на четность.
6.8. По заданному образующему многочлену g(х)=х4+х3+1 построить образующую (проверочную) матрицу H=I,C, усеченную до 6 разрядов.
6.9. Число информационных символов в кодовой комбинации k=11. Выбрать образующий многочлен g(х) с условием исправления одиночной ошибки и построить проверочную матрицу Hn,k.
6.10. Проверить принятую кодовую комбинацию x14+х11+x8+x6+x3+x2+x на наличие одиночной ошибки, если образующий полином g(х)=х4+x3+1. При обнаружении ошибки исправить ее.
6.11. Закодировать в циклическом коде следующие комбинации:
1) 100011; 2) 110011; 3) 100101; 4) 100110; 5) 100111;
6) 110111; 7) 101001.
Лабораторная работа
Исследование способов построения
корректирующих кодов
Исходные комбинации задаются преподавателем для каждого обучаемого по табл. 6.4.
Для выполнения лабораторной работы необходимо:
1) заданную комбинацию закодировать в циклическом коде
- по формулам (6.3-6.4),
- по матрице (6.5), предварительно построив матрицу H;
проверить полученный циклический код;
в правильно закодированную комбинацию внести ошибку и по образующей матрице определить местоположение ошибки.
Таблица 6.4. Исходные кодовые последовательности
Задания |
Варианты |
||
1 |
2 |
3 |
|
1 |
110100 |
100011 |
1001 |
2 |
1101010 |
110000 |
1010 |
3 |
11010000 |
1000 |
11010 |
4 |
110101 |
100100 |
1011 |
5 |
1101011 |
11000 |
1100 |
6 |
1101000 |
1101 |
10100 |
7 |
11010011 |
1001 |
11011 |
8 |
110110 |
100100 |
1101 |
9 |
1101100 |
110010 |
1110 |
10 |
1100111 |
1110 |
10101 |
11 |
11010010 |
1010 |
11100 |
12 |
110111 |
100101 |
1111 |
13 |
1101101 |
110011 |
1001 |
14 |
1100110 |
1111 |
10110 |
15 |
11101001 |
1100 |
11101 |
16 |
111000 |
100101 |
1010 |
17 |
1101111 |
110100 |
1011 |
18 |
1100100 |
0100 |
10111 |
19 |
11010100 |
1001 |
11110 |
20 |
111001 |
100110 |
1100 |
21 |
1110000 |
110101 |
1101 |
22 |
1100101 |
0110 |
11000 |
23 |
11010101 |
1011 |
11111 |
Содержание отчета
Для указанного варианта приводятся исходная и закодированная комбинация. Показывается методика кодирования и декодирования комбинаций, а также способы обнаружения ошибок.
Делаются необходимые выводы.
Приложение 1
Контрольные задания
для самостоятельного выполнения
по дисциплине “Теория информации”
Задание 1
Количество информации по Хартли
Вычислите число контрольных символов помехоустойчивого кода для исправления 1-кратной ошибки для комбинации 101110110
Произведите кодирование двоичным кодом числа 11, 19, 34, 50
Постройте оптимальный код Шеннона - Фано
для Х=(х1, х2, х3, х4, х5, х6) с распределением вероятностей соответственно 0.25; 0.3; 0.05; 0.1; 0.2; 0.1
Произведите кодирование в циклическом коде 101011
