
- •Теорія інформації
- •Тулякова н.О.0 теорія інформації
- •Теорія інформації
- •1.1 Предмет курсу. Види інформації. Теорема дискретизації
- •1.2 Базові поняття теорії інформації
- •1.3 Способи вимірювання інформації
- •1. 4 Ентропія джерела. Властивості кількості інформації та ентропії
- •Розв'язання
- •Розв'язання
- •2.1 Умовна ентропія
- •2.2 Модель системи передачі інформації
- •2.3 Види умовної ентропії
- •2.4 Ентропія об'єднання двох джерел інформації
- •2.5 Продуктивність дискретного джерела інформації. Швидкість передачі інформації
- •2.6 Інформаційні втрати при передачі інформації по дискретному каналу зв'язку
- •2.7 Пропускна здатність дискретного каналу. Основна теорема про кодування дискретного джерела
- •Розв'язання
- •Розв'язання
- •3.1 Способи задання кодів. Статистичне кодування
- •3.2 Елементи теорії префіксних множин
- •3.3 Оптимальні методи статистичного стиснення інформації Шеннона-Фано і Хаффмена
- •Розв'язання
- •I Метод Шеннона-Фано:
- •II Метод Хаффмена:
- •4.1 Теоретичні границі стиснення інформації
- •4.2 Метод блокування повідомлення
- •Розв'язання
- •Розв'язання
- •Розв'язання
- •Метод Шеннона-Фано
- •Арифметичний метод
- •Розв'язання
- •Розв'язання
- •Розв'язання
- •Розв'язання
- •7.1 Алгоритм lz77
- •7.2 Алгоритм lzss
- •7.3 Алгоритм lz78
- •7.4 Алгоритм lzw
- •Розв'язання
- •Розв'язання
- •Розв'язання
- •Розв'язання
- •8.1 Огляд типів систем стиснення інформації
- •8.2 Стиснення без втрат інформації
- •8.3 Стиснення із втратами інформації
- •9.1 Основні принципи
- •9.2 Елементи двійкової арифметики
- •9.3 Код з перевіркою на парність
- •9.4 Ітеративний код
- •Розв'язання
- •Розв'язання
- •10.1 Способи задання лінійних кодів. Твірна матриця лінійного блокового коду
- •10.2 Перевірна матриця лінійного блокового коду
- •10.3 Кодовий синдром і виявлення помилок лінійним блоковим кодом
- •10.4 Синдромне декодування лінійних блокових кодів
- •10.5 Вага і відстань Хеммінга. Можливості лінійних кодів виявляти і виправляти помилки
- •Розв'язання
- •Розв'язання
- •Розв'язання
- •12.1 Операції над поліномами в полі двійкових символів gf(2)
- •12.2 Поліноміальні коди
- •12.3 Циклічні коди
- •12.4 Синдром і виправлення помилок у циклічних кодах
- •12.5 Твірна і перевірна матриці циклічного коду
- •12.6 Способи декодування циклічного коду
- •Розв'язання
- •Розв'язання
- •Розв'язання
8.1 Огляд типів систем стиснення інформації
Передача і зберігання інформації потребує достатньо значних витрат. Велика частина даних, що потрібно передавати по каналах зв'язку або зберігати, має не найкомпактніше подання. Звичайно, дані зберігаються у формі, що забезпечує їх найпростіше використовування, наприклад: звичайні книжкові тексти, ASCII-коди текстових редакторів, двійкові коди даних ЕОМ, відліки сигналів в інформаційно-вимірювальних системах і т. ін. Проте таке подання даних вимагає удвічі-втричі, а іноді і у сотні разів більше місця для збереження і ширшу смугу частот для передачі, ніж це насправді потрібно. Тому стиснення даних є одним із найактуальніших напрямів розвитку цифрових систем передачі та збереження інформації. На сьогодні більшість з цих систем просто не змогли б успішно функціонувати без економного кодування. Не було б цифрового сотового зв'язку стандартів GSM та CDMA, цифрового супутникового телебачення, дуже неефективною була б робота в Internet, не говорячи вже про необхідність стиснення зображень, музики, відео і т. ін.
Узагальнену схему системи стиснення інформації можна подати у такому вигляді (рис.2.11).
Рисунок 2. 11
Кодер джерела перетворює дані до стисненого вигляду, а декодер їх відновлює. Відновлені дані можуть або точно збігатися з початковими, або трохи від них відрізнятися.
З огляду на розмаїтість наявних типів систем і методів стиснення інформації розглянемо лише деякі з них.
Системи стиснення інформації поділяються за їхнім функціональним призначенням, степенем і швидкістю перетворення даних, степенем їхнього відновлення.
За функціональним призначенням вирізняють системи стиснення для передачі даних і для їхньої архівації. Різниця полягає у тому, що перші діють з незначними за обсягами даними (до декількох десятків і сотень байтів), а інші - із набагато більшим обсягом інформації (мегабайти).
За характером стиснення даних вирізняють лінійні, матричні, комбіновані і каскадні способи стиснення.
До лінійних належать такі способи стиснення, за якими кодування виконується в одному напрямі (горизонтальному або вертикальному).
До матричних належать способи стиснення, за якими використовується матричний принцип заміни повторюваних елементів інформаційного масиву.
До комбінованих належать системи стиснення, в яких використовуються два або більше лінійних або матричних способів стиснення.
До каскадних належать системи послідовного стиснення інформації різними способами.
За степенем стиснення вирізняють низькоефективні (з коефіцієнтом стиснення r < 1,5), середньоефективні (r=1, 5...3) і високоефективні (r > 3) системи. Так само за швидкістю перетворення інформації системи стиснення поділяють на низько-, середньо- і високошвидкісні, для яких швидкість R змінюється відповідно від кількох кілобайтів до мегабайтів за секунду.
При використовуванні двійкового кодування інформації коефіцієнт стиснення визначається відношенням розміру початкових даних до розміру стиснених даних у бітах:
,
(2.15)
де через dim(X) позначено об'єм алфавіту джерела X; n - довжина початкового повідомлення (у символах); k - довжина стисненого повідомлення у бітах.
Відповідно швидкість стиснення визначають так:
(2.16)
і вимірюють як кількість бітів коду, що припадає на одне елементарне повідомлення джерела, тобто є середньою довжиною коду повідомлення завдовжки n.
Системи, що мають більший коефіцієнт стиснення, забезпечує меншу його швидкість.
За степенем відновлення інформації вирізняють системи стиснення без втрат інформації (неруйнуюче стиснення) та системи стиснення із втратами (руйнуюче стиснення).
Стисло розглянемо ці типи систем стиснення інформації.