ИТ для студентов / ИТ_ЛР / Семестр 1 / Лабораторная 2 / л2 Задание

Лабораторная работа №2

Универсальное кодирование. Словарное моделирование. Анализ оптимальности кодов Хаффмана

1. Предмет исследования, цели и задачи работы

Предметом исследования лабораторной работы является принцип универсального кодирования, методы словарного моделирования дискретных источников и кодирование методом Д.А. Хаффмана.

Цель работы – универсальное кодирование дискретного нестационарного источника на примере словарного моделирования и оценка оптимальности кодов Хаффмана.

В ходе работы требуется:

а) повторить теоретический материал [1, 2]: энтропия дискретного источника, коды Хаффмана;

б) сгенерировать псевдо-текст (около 150 символов) с использованием четырёх букв и знака подчёркивания в качестве разделителя слов, интуитивно подражая фонетическим, орфографическим и грамматическим свойствам естественного человеческого языка;

в) для первой трети заготовленного псевдо-текста:

• найти частоты F(x_k) символов использованного алфавита X = {x₁, x₂, … x_N}, N=5;

• построить словарь D повторяющихся подстрок с указанием частот их появления F(d_k);

• вычислить и сравнить максимальное значение энтропии первого символа оставшейся части текста H_max и оценки энтропии символа H_X и H_D, сделанные на основе двух полученных ансамблей состояний;

• построить два набора двоичных кодов Хаффмана: Huff(X) для основного алфавита и Huff(D) для словаря подстрок.

д) для оставшейся части псевдо-текста:

• вычислить суммарную длину кода текста L_X при использовании равномерных кодов для основного алфавита (1/N бит на символ, где N – мощность алфавита);

• вычислить суммарную длину кода текста L_Huff(X) при использовании кодов Хаффмана для основного алфавита;

• закодировать оставшуюся часть текста с помощью словаря подстрок D и кодов Хаффмана Huff(D) и подсчитать суммарную длину кода текста L_Huff(D);

• сравнить средние длины двоичного кода, приходящиеся на один символ при кодировании тремя указанными способами, между собой и со значениями H_max, H_X и H_D.

е) построить графики оптимальной длины кода и длины кода Хаффмана для событий с разными вероятностями; сделать заключение об оптимальности кодов Хаффмана.

Отчет по лабораторной работе оформить согласно требованиям ГОСТ 7.32-2001 «Отчет о научно-исследовательской работе. Структура и правила оформления» [3].

2. Теоретическая часть

В 1981г. Й.Й. Риссанен и Г.Г. Лангдон предложили принцип универсального кодирования, разделяющий задачу кодирования источника на две составляющих: моделирование и кодирование. Задачей моделирования является получение распределения вероятностей текущего состояния источника. Результатом моделирования источника в момент времени k после получения сообщения s_k является множество вероятностей P_k = {p_k1, p_k2, … p_kN} того, какое значение из множества возможных сообщений X = {x₁, x₂, … x_N} выберет ожидаемое s_k+1.

После получения сообщения s_k+1, которое, например, приняло значение x_i, требуется построить для него как можно более короткий код из сообщений выходного алфавита Y = {y₁, y₂, … y_M} (чаще всего двоичного), что является задачей кодирования. Оптимальной длиной кода для s_k+1 будет величина

– log_M p(x_i), (1)

где M – мощность выходного алфавита, p(x_i) – объективная вероятность появления сообщения x_i. Поскольку объективные вероятности априорно неизвестны, для построения кода используется значение p_ki, полученное на этапе моделирования. Таким образом, эффективность универсального кодирования зависит и от точности оценки вероятностей при моделировании, и от оптимальности построения кода при кодировании.

Суть словарного моделирования заключается в использовании расширенного алфавита источника – словаря D = {d₁, d₂, … d_N+C}, состоящего из комбинаций элементарных сообщений алфавита X и называются подстроками. При кодировании источника элементарные сообщения принимаются до тех пор, пока не сформируют подстроку словаря D, которая кодируется на основе распределения вероятностей подстрок P = {p₁, p₂, … p_N+С}.

Для эффективного кодирования сообщений алфавита любой мощности может быть использован метод Д.А. Хаффмана, который позволяет построить для каждого сообщения уникальный префиксный код длины (1), округлённой до большего целого [1, 2].

3. Вопросы для самопроверки

   1. В чём заключается принцип универсального кодирования? Что нужно для того, чтобы эффективно (с точки зрения суммарной длины кода) закодировать информацию?

   2. Возможно ли кодирование источника без предварительного моделирования?

   3. Насколько верным будет утверждение, что сжатие информации целиком зависит от предсказуемости источника?

   4. Когда словарное моделирование помогает закодировать информацию более компактно?

   5. Предложите способы усовершенствования использованного нами словарного сжатия.

   6. Метод Хаффмана – это метод сжатия или метод кодирования?

Список использованных источников

1 Советов Б.Я. Информационная технология: Учеб. для студ. вузов по спец. «Автоматизир. системы обраб. информ. и управления». – М.: Высш. шк., 1994. – 366 c.

2 Куликовский Л.Ф., Мотов В.В. Теоретические основы информационных процессов: Учеб. пособие для вузов по спец. «Автоматизация и механизация процессов обработки и выдачи информации». – М.: Высш. шк., 1987. – 248 с.

3 Методические указания по оформлению текстовых документов при выполнении учебных заданий студентами всех курсов специальности 220200 / А.В. Никонов. Режим доступа: Кафедральный сервер: [Оформление2.doc] / Омск. гос. техн. ун-т. Каф. АСОИУ. – Омск, 2002.

3