
- •О.Т.Данилова Теория информации
- •Введение
- •Глава 1. Основные понятия теории информации
- •1.1. Свойства информации
- •1.2. Этапы обращения информации
- •1.3. Определение системы передачи информации. Каналы связи.
- •1.4. Алфавит сообщения
- •1.5. Источник информации
- •Глава 2. Количество информации
- •2.1. Объемный подход к измерению информации
- •2.2. Количественная мера информации р.Хартли
- •2.3. Мера информации к. Шеннона
- •2.4. Условная собственная информация. Взаимная информация
- •1 (Бит), где m – мощность алфавита.
- •Глава 3. Энтропия дискретной последовательности. Энтропия непрерывной случайной величины
- •3.1. Частная энтропия
- •Прологарифмировав последнее равенство, получим
- •3.2. Энропия типичных и нетипичных комбинаций
- •3.3. Условная энтропия
- •3.4. Энтропия объединения ансамблей
- •3.5. Канальные матрицы
- •3.6. Количество информации при неполной достоверности и статистической зависимости сообщений
- •3.7. Избыточность источника
- •3.8. Энтропия непрерывной случайной величины
- •3.9. Количество информации для непрерывных систем
- •3.10. Принцип экстремума энтропии и экстремальные распределения
- •Подставим (3.7) в (3.4):
- •3.11. Эпсилон энтропия
- •Глава 4. Общие сведения из теории сигналов
- •4.1. Классификация сигналов и систем
- •Характеристики сигналов передаваемых по каналу
- •4.3. Модуляция сигналов. Виды и характеристики носителей
- •4.4. Спектры сигналов
- •4.5. Тригонометрическая форма
- •4.6. Комплексная форма
- •4.7. Определение погрешности
- •Глава 5. Скорость передачи и пропускная способность канала связи
- •5.1. Скорость передачи информации в дискретной системе связи
- •5.2. Пропускная способность однородного симметричного канала связи
- •5.3. Пропускная способность непрерывного канала связи
- •5.4. Обмен мощности сигнала на ширину его спектра
- •5.5. Сравнение пропускной способности непрерывного и дискретного каналов связи.
- •5.6. Эффективность систем связи
- •Глава 6. Критерии описания реальных дискретных каналов
- •6.1. Описание источника ошибок на основе цепей Маркова
- •6.2. Описание источника ошибок на основе процессов восстановления
- •6.3. Описание источника ошибок на основе процессов накопления
- •6.4. Модель Гилберта
- •6.5. Модель Эллиота-Гилберта. Модель Элиота
- •6.6. Модель Беннета-Фройлиха
- •6.7. Модель Попова - Турина
- •Глава 7. Кодирование информации
- •7.1. Статистическое кодирование дискретных сообщений
- •7.2. Статистическое кодирование кодовых слов
- •Средняя длина кодового слова
- •7.3. Кодирование информации для канала с помехами
- •7.3. Разновидности помехоустойчивых кодов
- •7.4 Общие принципы использования избыточности
- •7.5. Связь корректирующей способности кода с кодовым расстоянием
- •7.6. Понятие качества корректирующего кода
- •7.7. Линейные коды
- •7.7. Математическое введение к линейным кодам
- •7.8. Линейный код как пространство линейного векторного пространства
- •7.9. Построение двоичного группового кода
- •7.10. Составление таблицы опознавателей
- •7.11. Определение проверочных равенств
- •7.12. Мажоритарное декодирование групповых кодов
- •7.13. Матричное представление линейных кодов
- •7.14. Построение циклических кодов
- •Математическое введение к циклическим кодам
- •7.17. Обнаружение одиночных ошибок
- •Исправление одиночных или обнаружение двойных ошибок
- •7.18. Обнаружение ошибок кратности три и ниже
- •7.19. Обнаружение и исправление независимых ошибок произвольной кратности
- •7.20. Методы образования циклического кода
- •7.21. Матричная запись циклического кода
- •7.22. Укороченные циклические коды
- •Глава 8. Сжатие информации
- •8.1. Основные понятия
- •8.2. Методы сжатия без потерь
- •8.3. Методы сжатия с потерями
- •8.4. Сжатие графики
- •Прямое дкп
- •8.5. Сжатие звука
- •8.6. Сжатие видеоинформации
- •Вопросы для самопроверки
- •Список литературы
8.4. Сжатие графики
Формат JPEG, о котором было сказано в разделе 8.3, основан на применении дискретного косинусного преобразования (ДКП). Суть метода в том, что значения цвета представляются как отсчеты сигнала. Над этим сигналом осуществляют дискретное преобразование Фурье и вместо отсчетов сигнала (изображения) хранят или передают коэффициенты преобразования. При этом оказывается возможным отбросить малозначащие коэффициенты разложения и, тем самым, сократить объем данных. Конечно, в этом случае данные восстанавливаются с потерями, но компромисс между степенью сжатия и качеством восстановленного изображения во многих случаях может быть найден.
Для понимания метода ДКП потребуются некоторые сведения из теории сигнала. Нас будет интересовать непрерывный периодический сигнал a(t) с периодом T. Можно бесчисленными способами представить его в таком виде:
(8.1)
или в компактной форме
.
(8.2)
Можно подобрать
систему функций
так, чтобы:
ни одна из них не могла быть получена линейной комбинацией других
;
за скалярное произведение принимается
;
они попарно ортогональны и нормированы
.
Такой выбор системы
функций
дает
основание ассоциировать их с координатамиN
– мерного пространства, сигнал a(t)
можно понимать как точку в N
- мерном функциональном пространстве,
а коэффициенты s
– как значения координат этой точки.
Систему функций
,s=0,
1, …, N-1
называют базисом пространства сигналов,
каждую из функций – базисной, представление
сигнала в форме композиции базисных
функций – разложением по заданному
базису.
Таким образом,
непрерывный сигнал a(t)
представляется (заменяется) точкой в N
– мерном пространстве
,
а каждую координату этой точки можно
найти так:
.
(8.3)
Существует множество систем функций, обладающих свойствами базиса. В частности базис образует система функций вида:
.
(8.4)
Разложение сигнала по этому базису называют разложением Фурье, а нахождение коэффициентов разложения – преобразованием Фурье. Преобразование Фурье выполняется по формуле:
.
(8.5)
В дальнейшем будем
рассматривать периодический сигнал,
который принимает значения в дискретные
моменты времени
,
где
,N
– количество разбиений интервала T.
Тогда, непрерывный сигнал a(t)
заменяется
на его отсчеты
,
взятые посредине отрезков разбиенияt,
т.е.
a = { ak }, k = 0, 1, … N-1,
а формулы преобразования Фурье приобретают такой вид:
,
(8.6)
.
(8.7)
Это прямое ДКП. Оно выполняется по базису
,
(8.8)
в результате получают коэффициенты разложения сигнала по этому базису
,s
= 0, 1, … N-1.
Теория утверждает, что ДКП обратимо, т.е.:
.
(8.9)
Таким образом, если сигнал задан своими отсчетами в дискретные моменты времени, то формулы (8.6) и (8.7) – это его ДКП (коэффициенты разложения по дискретному базису (8.8)), а формула (8.9) – обратные ДКП (восстановленные отсчеты сигнала по его коэффициентам разложения).
В выражении (6.8)
элементы
есть дискретные отсчеты базисных
функций, где
- номер базисной функции,
- номер отсчета дискретизации базисной
функции. Их значения образуют матрицуNN,
которую обозначим
.
Прямое и обратное ДКП можно записать в матричной форме: