- •Теория информации Учебное пособие
- •Введение
- •1. Информационные характеристики источников сообщений
- •Энтропия как мера неопределенности физической системы
- •1.2 Энтропия сложной системы
- •Сложение энтропии независимых систем
- •Условная энтропия
- •1.3. Количественные аспекты информации
- •1.4. Количество информации, как мера снятой неопределенности
- •1.5. Объем информации
- •1.6. Взаимная информация
- •Упражнения
- •Решение
- •Лабораторная работа Свойства энтропии
- •2. Неопределенность непрерывных случайных величин
- •2.1. Энтропия непрерывной случайной величины х
- •2.2. Количество информации для непрерывных систем
- •2.3. Принцип экстремума энтропии и экстремальные распределения
- •Подставим (2.9) в (2.6)
- •При взятии интеграла учтем, что имеется соответствующий табличный интеграл
- •Сравнительная оценка сообщений, передаваемых по нормальному закону и равновероятному закону распределений
- •2.4. Епсилон энтропия (ε-энтропия )
- •3. Передача информации по каналам связи
- •3.1. Источники сообщений
- •3.2. Избыточность информации
- •3.3. Передача информации по каналу связи. Пропускная способность канала
- •Матрица для нахождения условной вероятности
- •Матрица условных вероятностей имеет вид
- •3.4. Пропускная способность непрерывных каналов связи
- •Скорость передачи информации будет равняться
- •Тогда , (3.8) где p мощность сигнала, а n мощность помехи
- •3.5. Согласование скорости выдачи информации, выдаваемой источником, с пропускной способностью канала связи
- •3.6. Согласование оконечных устройств с каналами связи
- •Упражнения
- •Лабораторная работа
- •4. Кодирование информации
- •4.1. Префиксные коды
- •Коды 1,2,3 не обладают свойством префикса, а код 4 обладает.
- •4.2. Основные теоремы кодирования
- •4.3. Оптимальное кодирование
- •4.4. Код Шеннона – Фано
- •Средняя длина полученного кода будет равна
- •4.5. Блочное кодирование
- •4.6. Код Хаффмана
- •4.7. Совмещенный способ построения кода Хаффмана Совмещенный способ построения кода Хаффмана представляет объединение двух процессов: обычного алгоритма построения и метода дерева.
- •Лабораторная работа
- •5. Сжатие информации
- •5.1. Основные понятия
- •5.2. Методы сжатия без потерь
- •Кодирование длин серий (rle - кодирование)
- •Коды Фибоначчи
- •Методы энтропийного сжатия
- •Метод арифметического сжатия
- •Методы контекстного моделирования
- •Словарные методы сжатия
- •5.3. Методы сжатия с потерями
- •6. Помехоустойчивое кодирование
- •6.1 Коды с обнаружением ошибок
- •Код с проверкой на четность.
- •Код Грея записывается следующим образом
- •Обратный переход из кода Грея в двоичный код
- •6.2. Корректирующие коды
- •6.3. Код Хемминга
- •Проверяем ее
- •6.4. Техническая реализация кода Хэмминга
- •6.5 Циклические коды
- •Декодирование циклических кодов
- •Аппаратурная реализация циклических кодов.
- •Пусть на вход подается комбинация 1101001
- •Теперь пусть на вход подается комбинация с ошибкой 1100001
- •Упражнения
- •Лабораторная работа
- •Задание 2
- •Задание 3
- •Задание 4
- •Задание 5
- •Задание 7
- •Задание 8
- •Задание 9
- •Задание 10
- •Задание 11
- •Задание 12
- •Задание 13
- •Задание 14
- •Задание 15
- •Задание 16
- •Задание 17
- •Задание 18
- •Задание 19
- •Задание 20
- •Список литературы
- •Оглавление
Метод арифметического сжатия
В настоящее время методы энтропийного сжатия вытесняются арифметическим методом. Данный метод основан на отображении последовательности символов в вещественное число из полуинтервала [0, 1). Рассмотрим арифметическое сжатие на примере.
Пример 5.7. Выполнить сжатие последовательности символов
abacab
с помощью метода арифметического сжатия.
Определить частоты символов и упорядочить их в порядке убывания частот:
Символ
a
b
c
Частота
3
2
1
Разбить интервал от 0 до 1 на участки пропорционально частотам символов:
Символ
a
b
c
Нижняя граница
0
0.5
0.833
Верхняя граница
0.5
0.833
1
Прочитать символ a. Определить интервал, соответствующий символу a, и разбить его на участки пропорционально частотам символов:
Символ
a
b
c
Нижняя граница
0
0.25
0.42
Верхняя граница
0.25
0.42
0.5
Прочитать символ b. Определить интервал, соответствующий символу b, и разбить его на участки пропорционально частотам символов:
Символ
a
b
c
Нижняя граница
0.25
0.335
0.392
Верхняя граница
0.335
0.392
0.42
Прочитать символ a. Определить интервал, соответствующий символу a, и разбить его на участки пропорционально частотам символов:
Символ
a
b
c
Нижняя граница
0.25
0.2925
0.32
Верхняя граница
0.2925
0.32
0.335
Прочитать символ c. Определить интервал, соответствующий символу c, и разбить его на участки пропорционально частотам символов:
Символ
a
b
c
Нижняя граница
0.32
0.3275
0.3325
Верхняя граница
0.3275
0.3325
0.335
Прочитать символ a. Определить интервал, соответствующий символу a, и разбить его на участки пропорционально частотам символов:
Символ
a
b
c
Нижняя граница
0.32
0.32375
0.32625
Верхняя граница
0.32375
0.32625
0.32375
Прочитать символ b. Определить интервал, соответствующий символу b, и разбить его на участки пропорционально частотам символов:
Символ
a
b
c
Нижняя граница
0.32375
0.325
0.32583
Верхняя граница
0.325
0.32583
0.32625
Выбрать любое число из диапазона [0.325, 0.32583), например 0.3255.
Отбросив целую часть и дробную точку, получить число 3255.
Выполнив перевод числа 3255 в двоичную систему счисления, получить код исходной последовательности:
110010110111.
Так же, как и для методов энтропийного сжатия, существуют адаптивные варианты арифметического метода. Однако вместо применения символа ESC в этом случае создают первоначальный список, содержащий все символы с частотами 1. Это позволяет закодировать любой символ входной последовательности.