- •Содержание
- •1. Элементы теории информации. 8
- •2. Кодирование информации. 36
- •Введение
- •1. Элементы теории информации.
- •1.1. Понятия информации, сообщения и сигнала.
- •1.1.1. Понятие информации.
- •1.1.2. Понятие сообщения.
- •1.1.3. Понятие сигнала.
- •1.2. Измерение информации.
- •1.2.1. Структурные меры информации.
- •1.2.2. Статистическая мера информации.
- •1.3. Квантование сигналов.
- •1.3.1. Дискретизация сигналов.
- •1.3.2. Квантование по уровню.
- •2. Кодирование информации.
- •2.1. Цифровое кодирование информации.
- •2.1.1. Позиционные системы счисления.
- •2.1.2. Смешанные системы счисления.
- •2.1.3. Перевод числа из одной системы счисления в другую.
- •2.1.4. Коды, не базирующиеся на системах счисления.
- •2.2. Эффективное кодирование.
- •2.2.1. Избыточность сообщений.
- •2.2.2. Теоретические основы эффективного кодирования.
- •2.2.3. Построение эффективного кода по методам Шеннона-Фано и Хаффмена.
- •2.2.4. Кодирование укрупненными блоками.
- •2.3. Теоретические основы помехоустойчивого кодирования.
- •2.3.1. Теоремы Шеннона о помехоустойчивом кодировании.
- •2.3.2. Классификация помехоустойчивых кодов.
- •2.3.3. Общие принципы использования избыточности при построении корректирующих кодов.
- •2.3.4. Избыточность корректирующих кодов.
- •2.4. Коды, обнаруживающие ошибки. Код с проверкой на четность.
- •Код с числом единиц, кратным трем.
- •Код с постоянным весом.
- •Корреляционный код.
- •Комбинированный инверсный код.
- •2.5. Линейные коды, обнаруживающие и исправляющие ошибки.
- •2.5.1. Построение двоичного линейного кода.
- •2.5.2. Кодирование.
- •2.5.3. Синдромный метод декодирования.
- •2.5.4. Кодирующее и декодирующее устройства.
- •Кодирующее устройство (кодер).
- •Декодирующее устройство (декодер).
- •2.5.5 Коды Хэмминга.
- •2.5.6. Матричное представление линейных кодов.
- •2.5.7. Мажоритарное декодирование.
- •2.6. Циклические коды.
- •2.6.1. Выбор образующего многочлена.
- •2.6.2. Формирование разрешенных кодовых комбинаций.
- •2.6.3. Декодирование циклических кодов.
- •2.6.4. Циклические коды с .
- •2.6.5. Кодирующее и декодирующее устройства.
- •Кодирующее устройство с делителем на базе регистра сдвига.
- •Кодирующее устройство с делителем на сумматорах.
- •Декодирующее устройство с делителем на базе регистра сдвига.
- •2.6.6. Мажоритарное декодирование.
- •2.6.7. Матричное представление циклических кодов.
- •2.7. Краткие сведения о других кодах. Итеративные коды.
- •Каскадные коды.
- •Цепной код.
- •2.8. Понятие об адаптивном кодировании.
- •Системы с решающей обратной связью (рос).
- •Системы с информационной обратной связью (иос).
- •Список литературы.
- •Спиридонов Александр Иванович основы теории информации и кодирования Учебное пособие
1.3.2. Квантование по уровню.
Сущность квантования по уровню заключается в том, что весь диапазон возможных изменений функции разбивается на n интервалов (шагов) квантования.
В результате квантования любое из значений x округляется до одного из уровней квантования. Округление может производиться до ближайшего меньшего или большего уровня. Квантование по уровню может быть равномерным или неравномерным. При равномерном квантовании шаги квантования одинаковы и определяются выражением:
, (1.29)
где
– число интервалов квантования.
Так как в процессе
квантования по уровню значение сигнала
отображается уровнем
,
а каждому уровню
может быть поставлен в соответствие
свой номер (число), то при передаче или
хранении можно вместо истинного значения
уровня квантования
использовать соответствующее число
.
Истинное значение уровня квантования
легко восстановить, зная масштаб по оси
x.
Устройство для квантования сигналов по уровню, называемое квантизатором, представляет собой нелинейный элемент с амплитудной характеристикой типа: а) – при отождествлении сигнала с ближайшим меньшим уровнем квантования; б) – с ближайшим большим уровнем; в) – с ближайшим уровнем.
Погрешность
квантования
,
называемая также шумом квантования,
является периодической функцией,
изменяющейся в зависимости от значения
x в пределах: а)
;
б)
;
в)
.
Так как x
– случайная величина с плотностью
распределения
,
то погрешность квантования на i-ом
уровне квантования будет также случайной,
зависящей от x.
Определим погрешность квантования для квантизатора типа в).
Полагая, что
шаг квантования
,
можно считать, что плотность
постоянна в интервале
и равна
,
т.е.
.
Тогда математическое ожидание шума квантования на i-ом уровне:
(1.30)
Дисперсия шума квантования:
(1.31)
Просуммировав
выражения для
по всем уровням
,
получим суммарную дисперсию погрешности
квантования:
. (1.32)
Но
,
т.к. каждое слагаемое в отдельности
представляет собой вероятность попадания
случайной величины в интервал
.
Следовательно,
. (1.33)
Но именно таким выражением определяется дисперсия случайной величины, равномерно распределенной в интервале . Следовательно, погрешность квантования можно считать равномерно распределенной в интервале квантования.
Среднеквадратичная ошибка квантования:
(1.34)
Зная допустимое
значение
,
из (1.34) можно определить максимально
допустимый шаг квантования:
(1.35)
2. Кодирование информации.
Кодирование – процесс описания смыслового содержания информации с помощью символов. Осуществляется кодирование с целью представления сообщений в форме, удобной для передачи по данному каналу связи. Рассматриваемые ниже принципы кодирования справедливы как для систем, основная функция которых – передача информации в пространстве (системы связи), так и для систем, основная функция которых – передача информации во времени (системы хранения информации). В последних линией связи считается среда, в которой хранится информация.
В настоящее время существует большое число методов кодирования сообщений. Выбор конкретного метода определяется целью, достижение которой планируется. Например, кодирование информации может осуществляться так, чтобы обеспечить наибольшую простоту и надежность аппаратной реализации информационных устройств. В других случаях стремятся обеспечить минимальное время при передаче или минимальный объем запоминающих устройств. Может быть поставлена цель достижения заданной достоверности при передаче и хранении информации в условиях сильных помех и т.д. В дальнейшем будет отмечаться назначение конкретных методов кодирования.
