
- •О.Т.Данилова Теория информации
- •Введение
- •Глава 1. Основные понятия теории информации
- •1.1. Свойства информации
- •1.2. Этапы обращения информации
- •1.3. Определение системы передачи информации. Каналы связи.
- •1.4. Алфавит сообщения
- •1.5. Источник информации
- •Глава 2. Количество информации
- •2.1. Объемный подход к измерению информации
- •2.2. Количественная мера информации р.Хартли
- •2.3. Мера информации к. Шеннона
- •2.4. Условная собственная информация. Взаимная информация
- •1 (Бит), где m – мощность алфавита.
- •Глава 3. Энтропия дискретной последовательности. Энтропия непрерывной случайной величины
- •3.1. Частная энтропия
- •Прологарифмировав последнее равенство, получим
- •3.2. Энропия типичных и нетипичных комбинаций
- •3.3. Условная энтропия
- •3.4. Энтропия объединения ансамблей
- •3.5. Канальные матрицы
- •3.6. Количество информации при неполной достоверности и статистической зависимости сообщений
- •3.7. Избыточность источника
- •3.8. Энтропия непрерывной случайной величины
- •3.9. Количество информации для непрерывных систем
- •3.10. Принцип экстремума энтропии и экстремальные распределения
- •Подставим (3.7) в (3.4):
- •3.11. Эпсилон энтропия
- •Глава 4. Общие сведения из теории сигналов
- •4.1. Классификация сигналов и систем
- •Характеристики сигналов передаваемых по каналу
- •4.3. Модуляция сигналов. Виды и характеристики носителей
- •4.4. Спектры сигналов
- •4.5. Тригонометрическая форма
- •4.6. Комплексная форма
- •4.7. Определение погрешности
- •Глава 5. Скорость передачи и пропускная способность канала связи
- •5.1. Скорость передачи информации в дискретной системе связи
- •5.2. Пропускная способность однородного симметричного канала связи
- •5.3. Пропускная способность непрерывного канала связи
- •5.4. Обмен мощности сигнала на ширину его спектра
- •5.5. Сравнение пропускной способности непрерывного и дискретного каналов связи.
- •5.6. Эффективность систем связи
- •Глава 6. Критерии описания реальных дискретных каналов
- •6.1. Описание источника ошибок на основе цепей Маркова
- •6.2. Описание источника ошибок на основе процессов восстановления
- •6.3. Описание источника ошибок на основе процессов накопления
- •6.4. Модель Гилберта
- •6.5. Модель Эллиота-Гилберта. Модель Элиота
- •6.6. Модель Беннета-Фройлиха
- •6.7. Модель Попова - Турина
- •Глава 7. Кодирование информации
- •7.1. Статистическое кодирование дискретных сообщений
- •7.2. Статистическое кодирование кодовых слов
- •Средняя длина кодового слова
- •7.3. Кодирование информации для канала с помехами
- •7.3. Разновидности помехоустойчивых кодов
- •7.4 Общие принципы использования избыточности
- •7.5. Связь корректирующей способности кода с кодовым расстоянием
- •7.6. Понятие качества корректирующего кода
- •7.7. Линейные коды
- •7.7. Математическое введение к линейным кодам
- •7.8. Линейный код как пространство линейного векторного пространства
- •7.9. Построение двоичного группового кода
- •7.10. Составление таблицы опознавателей
- •7.11. Определение проверочных равенств
- •7.12. Мажоритарное декодирование групповых кодов
- •7.13. Матричное представление линейных кодов
- •7.14. Построение циклических кодов
- •Математическое введение к циклическим кодам
- •7.17. Обнаружение одиночных ошибок
- •Исправление одиночных или обнаружение двойных ошибок
- •7.18. Обнаружение ошибок кратности три и ниже
- •7.19. Обнаружение и исправление независимых ошибок произвольной кратности
- •7.20. Методы образования циклического кода
- •7.21. Матричная запись циклического кода
- •7.22. Укороченные циклические коды
- •Глава 8. Сжатие информации
- •8.1. Основные понятия
- •8.2. Методы сжатия без потерь
- •8.3. Методы сжатия с потерями
- •8.4. Сжатие графики
- •Прямое дкп
- •8.5. Сжатие звука
- •8.6. Сжатие видеоинформации
- •Вопросы для самопроверки
- •Список литературы
8.3. Методы сжатия с потерями
Все ранее рассмотренные алгоритмы сжатия информации обеспечивали возможность полного восстановления исходных данных. Но иногда для повышения степени сжатия можно отбрасывать часть исходной информации, т. е. производить сжатие с потерями. Естественно, что такое сжатие нельзя проводить, например, на финансовой базе данных банка. Но в тех случаях, когда сжимается информация, используемая лишь для качественной оценки (это, как правило, аналоговая информация), сжатие с потерями является очень подходящим.
Сжатие с потерями используется в основном для трех видов данных: полноцветная графика (224 – 16 млн. цветов), звук и видеоинформация.
Сжатие с потерями обычно проходит в два этапа. На первом из них исходная информация приводится (с потерями) к виду, в котором ее можно эффективно сжимать алгоритмами 2-го этапа сжатия без потерь.
Основная идея сжатия графической информации с потерями заключается в следующем. Каждая точка в картинке характеризуется тремя равноважными атрибутами: яркостью, цветом и насыщенностью. Но глаз человека воспринимает эти атрибуты не как равные. Глаз воспринимает полностью только информацию о яркости и в гораздо меньшей степени о цвете и насыщенности, что позволяет отбрасывать часть информации о двух последних атрибутах без потери качества изображения. Это свойство зрения используется, в частности, в цветном телевизоре, в котором на базовое черно-белое изображение наносят цветовую раскраску.
Для сжатия графической информации с потерями в конце 1980-х установлен один стандарт — формат JPEG (Joint Photographic Experts Group — название объединения его разработчиков). В этом формате можно регулировать степень сжатия, задавая степень потери качества.
Сжатие видеоинформации основано на том, что при переходе от одного кадра фильма к другому на экране обычно почти ничего не меняется. Таким образом, сжатая видеоинформация представляет собой запись некоторых базовых кадров и последовательности изменений в них. При этом часть информации может отбрасываться. Сжатую подобным образом информацию можно далее сжимать и другими методами.
Хотя существует не один стандарт для сжатия видеоданных, наиболее распространенными являются стандарты MPEG (Motion Picture Experts Group), первый из которых был опубликован в 1988 году. MPEG — практически единственный стандарт для записи видео и звуковой информации на CD-ROM, DVD-ROM и в цифровом спутниковом телевидении. Видеоинформацию можно сжать необыкновенно плотно, до 100 и более раз, что позволяет, например, на одну видеокассету, записать более ста различных художественных фильмов. Но из-за очень сложных проблем, связанных с правами на интеллектуальную собственность, реально возможности сжатия информации таким образом используются сравнительно редко.
Для сжатия звуковой информации с потерями существует несколько стандартов. Наиболее широко используемый из них — это MPEG без видеоданных. Стандарт LPC (Linear Predictive Coding) используется для сжатия речи. Алгоритм LPC пытается промоделировать речевой тракт человека и выдает на выходе буквально текущее состояние участвующих в формировании звуков органов.
Кроме сжатия графики, звука и видео методы сжатия с потерями широко применяются при сжатии измерительной информации. В этом случае можно выделить следующие классы методов сжатия с потерями:
1. Рациональная выборка
1.1. Предсказание
1.1.1. С использованием максимальной ошибки
1.1.1.1. Полиномиальное;
1.1.1.2. Синусоидальное;
1.1.1.3. Экспоненциальное;
1.1.1.14. Нелинейное;
1.1.2. С использованием среднеквадратической ошибки
1.1.2.1. Полиномиальное с методом наименьших квадратов;
1.1.2.2. С использованием собственных функций;
1.1.2.3. С использованием циклических функций;
1.1.2.4. Оптимальное линейное;
1.2. Интерполяция
1.2.1. С использованием максимальной ошибки
1.2.1.1. Полиномиальная;
1.2.1.2. Экспоненциальная;
1.2.2. С использованием среднеквадратической ошибки
1.2.2.1. Полиномиальная с методом наименьших квадратов;
2. Эффективное кодирование
2.1. Статистическое;
2.2. Дифференциальное;
2.3. Линейная дельта-модуляция;
3. Адаптивные методы
3.1. Адаптивная выборка
3.1.1. Самоадаптация;
3.1.2. Селективный контроль параметров системы;
3.1.3. Контроль датчиков;
3.1.4. Квантовый метод;
3.2. Адаптивное кодирование
3.2.1. Адаптивная дельта-модуляция;
3.2.2. Метод адаптивных коэффициентов;
3.2.3. Нейронное;
3.2.4. Метод Берча-Чилдерса;
4. Выделение параметров
4.1. Метод коэффициентов Фурье;
4.2. Метод скользящего спектра;
4.3. Метод гистограмм распределения;
4.4. Метод Карунена-Лоэва;
4.5. Клиппирование;
4.6. Частотное разделение;
4.7. Фазовое разделение;
4.8. Пороговая обработка;
4.9. Фильтрация;
4.10. Время-импульсный метод.
Кроме указанных в приведенной классификации методов существует еще множество других.
Рассмотрим несколько методов. Например, часто используется следующий метод (рациональная выборка), который основывается на аппроксимации сигнала определенным аналитическим выражением. Предварительно сигнал подвергается равномерной дискретизации, а затем полученная дискретная последовательность фильтруется по заданному алгоритму. Обычно фильтрация заключается в нахождении выборок, амплитуды которых отличаются от значений, полученных с помощью аппроксимации, на величину ошибки, которая больше допустимой. Эти выборки считаются информативными и подлежат передаче или хранению, а остальные исключаются как несущественные. Полученная отфильтрованная последовательность выборок сжимается каким-нибудь методом без потерь (например, RLE).
Пример 8.11. Дана последовательность выборок 10.1, 12.5, 12.3, 12.7, 13.1, 12.9. Выполнить сжатие последовательности с ошибкой не более 0.5.
Решение. Будем в качестве значения аппроксимирующей зависимости использовать значение предыдущей выборки. Если текущая выборка отличается от нее на величину ошибки, то дальнейшие сравнения производятся с ее значением.
Прочитать значение 10.1. Зафиксировать это значение для последующих сравнений и передать его на выход значение.
Прочитать значение 12.5. Так как оно отличается от 10.1 на величину, превышающую 0.5, то зафиксировать его для последующих сравнений и передать на выход.
Прочитать значение 12.3. Это значение отличается от 12.5 менее, чем на величину 0.5. Поэтому на выход передается опять предыдущее значение.
Прочитать значение 12.7. Оно отличается от 12.5 менее, чем на величину 0.5. На выход передается значение 12.5.
Прочитать значение 13.1. Оно отличается от 12.5 на величину, превышающую 0.5. Поэтому это значение передается на выход и фиксируется для последующих сравнений.
Прочитать значение 12.9. Это значение отличается от 13.1 на величину, не превышающее 0.5. Поэтому на выход передается значение 13.1
Таким образом, на выходе сформирована последовательность:
10.1, 12.5, 12.5, 12.5, 13.1, 13.1.
7. Применить метод без потерь. Например, после применения метода RLE получается: <10.1, 1>, <12.5, 3>, <13.1, 2>.
В ряде случаев при измерении информации оказывается целесообразным передавать с некоторым интервалом времени не последовательность информативных выборок {xi}, а разностную последовательность или последовательность отклонений {ei} их от предсказанного значения, которая дальше преобразуется в кодовую последовательность {bi} каким-либо методом без потерь.
Пример 8.12. Дана последовательность выборок 10.1, 12.5, 12.3, 12.7, 13.1, 12.9. Выполнить сжатие последовательности с ошибкой не более 0.5.
Решение. Будем в качестве предсказанного значения использовать значение предыдущей выборки. Если текущая выборка отличается от нее на величину ошибки, то дальнейшие сравнения производятся с ее значением.
Прочитать значение 10.1. Зафиксировать это значение для последующих сравнений и передать его значение на выход.
Прочитать значение 12.5. Так как его величина превосходит допустимую ошибку, то получить разницу между этим значением и предсказанным (10.1). Разница равна 2.4. Передать ее на выход. В качестве предсказанного значения на следующем шаге использовать 12.5
Прочитать значение 12.3. Получить разницу между этим значение и 12.5. Так как она меньше допустимой погрешности, считать, что предсказанное и текущее значение совпадают. Сделать разницу равной 0. Передать ее на выход. Считать, что предсказанное значение осталось равным 12.5.
Прочитать значение 12.7 и получить очередное отклонение, которое равно 0.2. Оно меньше 0.5, поэтому считать, что разница равна 0. Передать ее на выход. Оставить предсказанным значением 12.5.
Прочитать значение 13.1. Оно отличается от 12.5 на величину, превышающую 0.5. Поэтому значение разницы (0.6) передается на выход, а в качестве предсказанного значения используется 13.1.
Прочитать значение 12.9. Это значение отличается от 13.1 на величину, не превышающее 0.5. Поэтому на выход передается значение 0, а 13.1 так и остается в качестве предсказанного.
Таким образом, на выходе сформирована последовательность:
10.1, 2.4, 0, 0, 0.6, 0.
7. Применить метод без потерь. Например, после применения метода Хаффмана получается кодовая последовательность:
11, 100, 0, 0, 101, 0.
Одним из часто используемых методов устранения избыточности измерительной информации является преобразование Фурье. В этом случае получают множество коэффициентов ряда Фурье {a0, a1, b1, …, an, bn}, соответствующих нижним частотам, а затем осуществляют их кодирование. Применение этого подхода к сжатию графики продемонстрировано в следующем разделе