МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РОССИЙСКОЙ ФЕДЕРАЦИИ
Федеральное государственное бюджетное
ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ
ВЫСШЕГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ
«ДОНСКОЙ ГОСУДАРСТВЕННЫЙ ТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ»
(ДГТУ)
Факультет Информатика и вычислительная техника
Кафедра ПОВТ и АС
Лекционные материалы
По дисциплине Б2.В.ДВ.1.1 Анализ и кодирование информации
Специальность 231000 Программная инженерия
Форма и срок освоения ООП очная, четыре года
Лекции – 36 (час)
Разработал доцент каф. «ПО ВТ и АС»,
к.т.н. Алиев А.Т.
Ростов-на-Дону
2013
ОГЛАВЛЕНИЕ
1 Введение 3
1.1 Введение в теорию кодирования информации, основные понятия и определения 3
1.2 Кодирование сообщений в системах связи 4
1.3 Основные разделы теории кодирования 6
2 Информация, энтропия, избыточность 7
2.1 Оценка количества информации 7
2.1.1 Структурные меры информации 7
2.1.2 Статистические меры информации 8
2.1.3 Семантические меры информации 10
2.2 Энтропия и избыточность сообщений 10
2.3 Моделирование источников информации 12
Источники Бернулли. 12
Источники Маркова. 12
3 Алгоритмы сжатия двоичной информации 14
3.1 Алфавитное кодирование и упаковка 14
3.2 Сжатие числовой информации 15
3.3 Алгоритм RLE 16
3.4 Унарное кодирование 17
3.5 Код Хаффмана 18
3.6 Канонический код Хаффмана 20
3.7 Арифметическое кодирование 24
3.8 Алгоритм Лемпеля-Зива 28
4 Кодирование графических изображений 32
4.1 Структура графического файла 32
4.2 Сжатие изображений без потери качества 35
4.3 Сжатие изображений с потерей качества. Алгоритм JPEG 38
4.4 Вейвлетные методы 43
4.4.1 Вычисление средних и полуразностей 43
4.4.2 Обобщение на двумерный случай 46
5 Кодирование видео и аудио сигналов 52
5.1 Принципы кодирования видео 52
5.2 Сжатие видео по алгоритму MPEG 59
5.3 Кодирование аудио сигналов 61
5.4 Кодирование аудио потока с потерей качества 63
Введение
Введение в теорию кодирования информации, основные понятия и определения
Информация– сведений о каких-либо процессах, событиях, фактах и предметах.
Известно, что 80...90% информации человек получает через органы зрения и 10...20% — через органы слуха. Другие органы чувств дают в сумме 1...2% информации. Физиологические возможности человека не позволяют обеспечить передачу больших объемов информации на значительные расстояния.
Сообщение– переданная или полученная абонентом информация. Представляет собой совокупность знаков или визуальное представление, содержащее данную информацию.
Сигнал– физический процесс отображающий (несущий) сообщение.
С одной стороны сообщение может являться функцией времени, например речь – она изменяется во времени. С другой стороны сообщение может быть зафиксировано на материальном носителе в виде текста или изображения, тогда оно не зависит от времени. В отличие от сообщения сигнал всегда является функцией времени. В зависимости от того, какие состояния и в какие моменты времени может принимать сигнал, различают четыре вида сигналов (рис. 1.1):
Рисунок 1.1 – Виды сигналов
Если сигнал U(t) может принимать любые значения из заданного интервала и может быть определен на всем отрезке временной оси, то его называют непрерывным по состоянию и по времени. Это типичные аналоговые сигналы.
Если сигнал U(t) может принимать только фиксированные значения из заданного набора значенийUi(i= 0,…n) но все еще может быть определен на всем отрезке временной оси, то его называют дискретным по состоянию и непрерывным по времени.
Если сигнал U(t) может принимать любые значения из заданного интервала, но может быть определен только в определенные моменты времени, то его называют непрерывным по состоянию и дискретным по времени.
Если сигнал U(t) может принимать только фиксированные значения из заданного набора значенийUi(I= 0,…n) и может быть определен только в определенные моменты времени, то его называют дискретным по состоянию и по времени.