Хід роботи

Дати графічне представлення втрат в каналі зв’язку для каналу зв’язку, заданого викладачем.

Знайти і порівняти ентропії джерел з різними законами розподілу.

Знайти ентропії українського тексту і тексту, записаного мовою, заданою викладачем. Порівняти іх. Зробити висновок щодо надлишковості мов, що порівнювались.

Оформити звіт по лабораторній роботі.

Лабораторна робота №2

Тема роботи: ЕФЕКТИВНЕ КОДУВАННЯ.

Мета роботи: ознайомитися з алгоритмами ефективного кодування: Шеннона-Фано і Хаффмана.

Теоретичні відомості

Ефективне кодування використовується для зменшення часу передачі або обсягу запам'ятовувального пристрою і базується на основній теоремі Шеннона для каналів без шуму. Шеннон довів, що повідомлення, складені з символів деякого алфавіту, можна закодувати так, що середня кількість двійкових символів на букву буде як завгодно близькою до ентропії джерела цих повідомлень, але не менше цієї величини.

Для кодування символів вихідного алфавіту використовують двійкові коди змінної довжини: чим більша частота появи символа, тим коротший його код. Ефективність коду визначається середньою кількістю двійкових розрядів для кодування одного символу – L_ср за формулою

(1)

де k – число символів вихідного алфавіту;

n_i – число двійкових розрядів для кодування символу i;

p(x_i) – частота символу i; причому

При ефективному кодуванні існує межа стиску, нижче якого не «спускається» жоден метод ефективного кодування - інакше буде загублена інформація. Цей параметр визначається мінімальною кількістю двійкових розрядів у кодовому слові можливого ефективного коду – L_min:

(2)

де k – кількість символів кодованого алфавіту,

p(x_i)– частота появи i-го символу алфавіту.

Існують два класичних методи ефективного кодування: метод Шеннона-Фано і метод Хаффмана. Вхідними даними для обох методів є задана множина символів алфавіту для кодування з частотами їх появи; результат – кодові комбінації ефективного коду.

Метод Шеннона-Фано

1. Множина вхідних символів впорядковується по спаданню ймовірностей їх появи в алфавіті.

2. Множина символів ділиться на дві частини (першу і другу) таким чином, щоб сумарні частоти обох частин були приблизно одинакові. У випадку якщо точної рівності досягнути не вдається, різниця між ними повинна бути мінімальна.

3. Кодовим комбінаціям першої частини записують 1, другої частини записується 0.

4. Аналізують першу частину, якщо вона містить один символ, то робота з нею завершується – вважається, що код для цієї частини вже побудований і переходимо до кроку 5.

5. Аналізують другу частину, якщо вона містить один символ, то робота з нею завершується - вважається що код для цієї частини вже побудований і переходимо до кроку 2 і процедура повторюється знову.

6. Аналізують множину символів котра залишилася, якщо вона пуста - то робота завершена і код побудований, якщо ні переходять до кроку 2.

Приклад 1.

Метод Хаффмана

Цей метод має дві переваги в порівнянні з методом Шеннона-Фано: він усуває неоднозначність кодування, що виникає через рівність сум частот при поділі списку на дві частини (лінія розподілу проводиться неоднозначно), і має, у загальному випадку, більшу ефективність коду.

Алгоритм методу наступний:

1. Вихідна множина символів впорядковується по спаданню ймовірностей появи.

2. Знаходимо два символи з найменшими ймовірностями появи і об’єднуємо їх «склюємо» їх у складне повідомлення з сумарною ймовірністю появи.

3. Записуємо новий ансамбль повідомлень, в якому кількість повідомлень порівняно з попереднім зменшилась за рахунок введення складного повідомлення.

4. Якщо ансамбль містить більше ніж 2 повідомлення переходимо на крок 2, інакше прочинаємо процес розклеювання.

5. Одному з повідомлень в старшому розряді присвоюємо «0» іншому – «1».

6. Здійснюємо зворотню процедуру по відношенню до склеювання, визначаючи на кожному етапі наступний розряд доти, поки не будуть закодовані всі повідомлення.

Приклад 2.

Графічний метод Хаффмана

1.Вихідна множина символів впорядковується по спаданню ймовірностей появи.

2. Знаходимо два символи з найменшими ймовірностями появи. За допомогою ребер їх з’єднуємо у вузол вищого рангу. Присвоюємо цьому вузлу сумарну ймовірність появи повідомлень, що об’єднуються.

3. Повторюємо крок 2 поки не дійдемо вершини дерева, тобто сумарна ймовірність вузла не рівна 1.

4. Використовуючи побудоване дерево знаходимо кодові комбінації, що відповідають кожному символу.

Приклад 3.