- •Основы теории цифровой связи Часть 1 кодирование информации
- •1. Введение
- •1.1. Модель радиотехнической системы связи
- •Контрольные вопросы
- •1.2. Статистическая трактовка процесса передачи информации
- •Контрольные вопросы
- •1.3. Основные понятия и элементы математического аппарата теории связи
- •1.3.1. Сигналы и помехи
- •1.3.2. Разложение сигнала по системе ортогональных функций. Спектр сигнала
- •1.3.3. Cвойства преобразования Фурье
- •1.3.4. Корреляционная функция сигнала
- •1.3.5. Связь между корреляционной функцией и спектром сигнала
- •1.3.6. Случайные сигналы и их характеристики
- •Контрольные вопросы
- •1.4. Источники информации
- •1.5. Теорема дискретизации
- •1.6. Дискретизация изображений
- •Контрольные вопросы
- •1.7. Квантование. Ошибки квантования
- •Контрольные вопросы
- •1.8. Количество информации, содержащейся в сообщении
- •1.8.1. Энтропия сложных сообщений, избыточность источника
- •Контрольные вопросы и задачи
- •2. Основы экономного кодирования информации
- •2.1. Способы представления кодов
- •Контрольные вопросы и задачи
- •2.2. Типы систем сжатия
- •X Квантователь Xq Кодер без потерь информации b (Xq) Декодер X*
- •Методы кодирования без потерь
- •2.3.1. Понятие префиксного множества
- •2.3.2. Алгоритм кодирования Хаффмена
- •2.3.3. Алгоритм Шеннона–Фано
- •2.3.4. Блочные коды
- •2.3.5. Арифметическое кодирование
- •2.3.6. Словарное кодирование. Метод Зива–Лемпеля
- •2.3.7. Кодирование длин повторений (rle)
- •2.3.8. Дифференциальное кодирование
- •Контрольные вопросы и задачи
- •2.4. Методы сжатия с потерей информации
- •2.4.1. Функции “скорость–искажение” и “искажение–скорость”
- •2.5. Сжатие речевых сигналов
- •2.5.1. Кодирование формы сигнала, икм
- •2.5.2. Дифференциальная икм
- •2.5.3. Адаптивная дифференциальная икм (адикм)
- •2.5.4. Дельта-модуляция
- •2.5.5. Другие методы кодирования формы сигнала
- •2.5.6. Кодирование источника
- •2.5.7. Гибридные методы кодирования речи
- •2.5.8. Полноскоростной кодер rpe-ltp (стандарт gsm 06.10)
- •2.5.9. Кодер vselp (стандарт d-amps)
- •Контрольные вопросы и задачи
- •2.6. Кодирование изображений. Стандарт сжатия jpeg
- •Процедуру дкп можно записать в матричной форме:
- •2.6.1. Рекурсивный (вэйвлет) алгоритм
- •2.7. Сжатие подвижных изображений (видео)
- •3. Основы помехоустойчивого кодирования
- •3.1. Основные принципы. Типы кодов
- •3.2. Линейные блочные коды
- •3.2.1. Код с проверкой на четность
- •3.2.2. Итеративный код
- •3.2.3. Порождающая матрица линейного блочного кода
- •3.2.4. Проверочная матрица
- •3.2.5. Дуальные коды
- •3.2.6. Синдром и обнаружение ошибок
- •3.2.7. Синдромное декодирование линейных блочных кодов
- •3.2.8. Мажоритарное декодирование линейных блочных кодов
- •3.2.9. Декодирование методом максимального правдоподобия
- •Поскольку
- •Если принятый сигнал дискретизован и Si – I-й отсчет принятого сигнала.
- •3.2.10. Вес и расстояние Хемминга. Способность кодов обнаруживать и исправлять ошибки
- •Контрольные вопросы и задачи
- •3.3. Полиномиальные коды
- •3.3.1. Циклические коды
- •3.3.2. Кодирование с использованием циклических кодов
- •3.3.3. Вычисление синдрома и исправление ошибок в циклических кодах
- •3.3.4. Неалгебраические методы декодирования циклических кодов
- •3.4. Сверточные коды
- •3.4.1. Кодирование с использованием сверточных кодов
- •3.4.2. Синдромное декодирование сверточных кодов
- •3.4.3. Кодовое дерево и решетчатая диаграмма
- •3.4.4. Декодирование сверточных кодов. Алгоритм Витерби
- •3.4.5. Алгоритмы поиска по решетке
- •Контрольные вопросы и задачи
- •3.5. Применение корректирующего кодирования в системах связи
- •3.5.1. Каскадные коды
- •3.5.2. Кодирование с перемежением
- •Библиографический список
- •Часть 1 1
1.7. Квантование. Ошибки квантования
Передачу любых сообщений λ(t) можно свести к передаче их отсчетов λi, следующих друг за другом с интервалом дискретности t 1/2Fm. Тем самым бесконечное множество значений сообщения λ(t) заменяется конечным числом его отсчетов. Однако сами эти отсчеты все еще принадлежат непрерывному множеству. Для их абсолютно точного представления в виде чисел понадобится бесконечное число разрядов. Однако на практике нет необходимости в абсолютно точном представлении значений λi.
Во-первых, сами источники вырабатывают сообщения с определенным уровнем искажений. Во-вторых, передача сообщений по каналам связи всегда производится в присутствии помех. Поэтому принятое сообщение (его оценка *(t)) всегда немного отличается от переданного, то есть на практике невозможна абсолютно точная передача сообщений. Наконец, сообщения передаются для их восприятия получателем. Получатели же информации органы чувств человека, исполнительные механизмы и т.д. не замечают незначительной разницы между абсолютно точным и приближенным значениями воспроизводимого сообщения.
С учетом этих замечаний процедуру дискретизации можно продолжить подвергнув отсчеты λi квантованию. Квантование состоит в замене точных значений отсчетов i(min , max) их приближенными значениями, путем округления до ближайших разрешенных уровней { 1,...,m } (рис. 1.16).
Рис. 1.16
Интервал между соседними разрешенными уровнями i, или уровнями квантования, = i+1 i называется шагом квантования.
Различают равномерное и неравномерное квантование. В большинстве случаев применяется равномерное квантование, при котором шаг квантования постоянный: = λi λi-1= const. Однако иногда определенное преимущество дает неравномерное квантование, при котором шаг квантования i разный для различных λi (рис. 1.16, б).
Квантование приводит к искажению сообщений. Если результат квантования отсчета i обозначить как λiq ,то
(1.62)
где i разность между квантованным и точным значениями i, называемая ошибкой квантования, или шумом квантования.
Поскольку квантование приводит к появлению ошибок и потере некоторой части информации, можно определить “цену” таких потерь d( , λq ) и среднюю величину ошибки, обусловленной квантованием,
(1.63)
Чаще всего в качестве “цены потерь” используется квадратичная функция вида
(1.64)
В этом случае мерой ошибок квантования служит дисперсия (мощность) этих ошибок. Для равномерного M-уровневого квантования с шагом дисперсия ошибок квантования определяется следующим образом:
.
(1.65)
Абсолютное значение ошибки квантования не превосходит половины шага квантования /2, и тогда при большом количестве уровней квантования M и малой величине плотность вероятностей ошибок квантования f(i ) можно считать равномерной на интервале +/2 … /2:
(1.66)
Тогда дисперсия ошибки квантования D(q) = σq2 будет такой:
.
(1.67)
Другим удобным показателем уровня искажений, обусловленных квантованием, является отношение сигнал/шум на выходе устройства квантования – отношение пиковой мощности сообщения к дисперсии шума квантования:
.
(1.68)
Очевидно, что отношение сигнал/шум на выходе квантователя растет с ростом количества уровней квантования и в пределе при М → ∞ сигнал становится аналоговым, а отношение сигнал/шум – равным бесконечности.
Еще раз напомним, что процедура квантования данных позволяет заменить абсолютно точное их представление, требующее теоретически бесконечного количества разрядов, приближенным с той или иной точностью. Какая же точность квантования сообщений нужна на практике? По этому поводу можно высказать следующие соображения: шумы квантования, или искажения, обусловленные квантованием, не имеют существенного значения, если эти искажения меньше ошибок, обусловленных помехами в канале связи, и существенно не искажают восприятия информации.
Так, например, при передаче и хранении речи и музыки искажения практически не заметны, если все отсчеты случайным образом изменить на 0,01…0,1%, при передаче изображений на 0,1…1 % и т.д. Даже профессиональный эксперт не может заметить искажений в музыкальном произведении, если квантование производится с точностью выше 0,01 % (количество уровней квантования М > 100000). Если представить квантованные с такой точностью числа в двоичном формате, то количество двоичных разрядов составит N=log2 M= log2100000 ≈ 1718 бит. Именно из этих соображений (по частоте дискретизации и количеству уровней квантования) выбраны стандарты цифровой записи музыки на компакт-дисках.
