
- •Теорія інформації
- •Тулякова н.О.0 теорія інформації
- •Теорія інформації
- •1.1 Предмет курсу. Види інформації. Теорема дискретизації
- •1.2 Базові поняття теорії інформації
- •1.3 Способи вимірювання інформації
- •1. 4 Ентропія джерела. Властивості кількості інформації та ентропії
- •Розв'язання
- •Розв'язання
- •2.1 Умовна ентропія
- •2.2 Модель системи передачі інформації
- •2.3 Види умовної ентропії
- •2.4 Ентропія об'єднання двох джерел інформації
- •2.5 Продуктивність дискретного джерела інформації. Швидкість передачі інформації
- •2.6 Інформаційні втрати при передачі інформації по дискретному каналу зв'язку
- •2.7 Пропускна здатність дискретного каналу. Основна теорема про кодування дискретного джерела
- •Розв'язання
- •Розв'язання
- •3.1 Способи задання кодів. Статистичне кодування
- •3.2 Елементи теорії префіксних множин
- •3.3 Оптимальні методи статистичного стиснення інформації Шеннона-Фано і Хаффмена
- •Розв'язання
- •I Метод Шеннона-Фано:
- •II Метод Хаффмена:
- •4.1 Теоретичні границі стиснення інформації
- •4.2 Метод блокування повідомлення
- •Розв'язання
- •Розв'язання
- •Розв'язання
- •Метод Шеннона-Фано
- •Арифметичний метод
- •Розв'язання
- •Розв'язання
- •Розв'язання
- •Розв'язання
- •7.1 Алгоритм lz77
- •7.2 Алгоритм lzss
- •7.3 Алгоритм lz78
- •7.4 Алгоритм lzw
- •Розв'язання
- •Розв'язання
- •Розв'язання
- •Розв'язання
- •8.1 Огляд типів систем стиснення інформації
- •8.2 Стиснення без втрат інформації
- •8.3 Стиснення із втратами інформації
- •9.1 Основні принципи
- •9.2 Елементи двійкової арифметики
- •9.3 Код з перевіркою на парність
- •9.4 Ітеративний код
- •Розв'язання
- •Розв'язання
- •10.1 Способи задання лінійних кодів. Твірна матриця лінійного блокового коду
- •10.2 Перевірна матриця лінійного блокового коду
- •10.3 Кодовий синдром і виявлення помилок лінійним блоковим кодом
- •10.4 Синдромне декодування лінійних блокових кодів
- •10.5 Вага і відстань Хеммінга. Можливості лінійних кодів виявляти і виправляти помилки
- •Розв'язання
- •Розв'язання
- •Розв'язання
- •12.1 Операції над поліномами в полі двійкових символів gf(2)
- •12.2 Поліноміальні коди
- •12.3 Циклічні коди
- •12.4 Синдром і виправлення помилок у циклічних кодах
- •12.5 Твірна і перевірна матриці циклічного коду
- •12.6 Способи декодування циклічного коду
- •Розв'язання
- •Розв'язання
- •Розв'язання
Розв'язання
Закодуємо повідомлення за алгоритмом LZ77 (табл.1).
Таблиця 1
Словник (12) |
Буфер (4) |
Код |
||||||||||||||||||||||||||||||
0 |
1 |
2 |
3 |
4 |
5 |
6 |
7 |
8 |
9 |
10 |
11 |
1 |
2 |
3 |
4 |
|||||||||||||||||
. |
. |
. |
. |
. |
. |
. |
. |
. |
. |
. |
. |
С |
И |
Н |
Я |
<0, 0, ‘С’> |
||||||||||||||||
. |
. |
. |
. |
. |
. |
. |
. |
. |
. |
. |
С |
И |
Н |
Я |
Я |
<0, 0, ‘И’> |
||||||||||||||||
. |
. |
. |
. |
. |
. |
. |
. |
. |
. |
С |
И |
Н |
Я |
Я |
|
<0, 0, ‘Н’> |
||||||||||||||||
. |
. |
. |
. |
. |
. |
. |
. |
. |
С |
И |
Н |
Я |
Я |
|
С |
<0, 0, ‘Я’> |
||||||||||||||||
. |
. |
. |
. |
. |
. |
. |
. |
С |
И |
Н |
Я |
Я |
|
С |
И |
<11,1,‘ ’> |
||||||||||||||||
. |
. |
. |
. |
. |
. |
С |
И |
Н |
Я |
Я |
|
С |
И |
Н |
Е |
<6, 3, ‘Е’> |
||||||||||||||||
. |
. |
С |
И |
Н |
Я |
Я |
|
С |
И |
Н |
Е |
В |
А |
|
С |
<0, 0, ‘В’> |
||||||||||||||||
. |
С |
И |
Н |
Я |
Я |
|
С |
И |
Н |
Е |
В |
А |
|
С |
И |
<0, 0, ‘А’> |
||||||||||||||||
С |
И |
Н |
Я |
Я |
|
С |
И |
Н |
Е |
В |
А |
|
С |
И |
Н |
<5, 4, ‘И’> |
||||||||||||||||
|
С |
И |
Н |
Е |
В |
А |
|
С |
И |
Н |
И |
|
|
|
|
|
Отже, код повідомлення такий: <0, 0, ‘С’> <0, 0, ‘И’> <0, 0, ‘Н’> <0, 0, ‘Я’> <11, 1, ‘ ’> <6, 3, ‘Е’> <0, 0, ‘В’> <0, 0, ‘А’> <5, 4, ‘И’>.
Довжина коду стиснутого повідомлення
(бітів).
Довжина нестиснутого повідомлення LASCII+=178=136 (бітів).
Закодуємо повідомлення за алгоритмом LZSS (табл.2).
Таблиця 2
Словник (12) |
Буфер (4) |
Код |
||||||||||||||
0 |
1 |
2 |
3 |
4 |
5 |
6 |
7 |
8 |
9 |
10 |
11 |
1 |
2 |
3 |
4 |
|
. |
. |
. |
. |
. |
. |
. |
. |
. |
. |
. |
. |
С |
И |
Н |
Я |
0‘С’ |
. |
. |
. |
. |
. |
. |
. |
. |
. |
. |
. |
С |
И |
Н |
Я |
Я |
0‘И’ |
. |
. |
. |
. |
. |
. |
. |
. |
. |
. |
С |
И |
Н |
Я |
Я |
|
0‘Н’ |
. |
. |
. |
. |
. |
. |
. |
. |
. |
С |
И |
Н |
Я |
Я |
|
С |
0‘Я’ |
. |
. |
. |
. |
. |
. |
. |
. |
С |
И |
Н |
Я |
Я |
|
С |
И |
1<11,1> |
. |
. |
. |
. |
. |
. |
. |
С |
И |
Н |
Я |
Я |
|
С |
И |
Н |
0‘ ’ |
. |
. |
. |
. |
. |
. |
С |
И |
Н |
Я |
Я |
|
С |
И |
Н |
Е |
1<6,3> |
. |
. |
. |
С |
И |
Н |
Я |
Я |
|
С |
И |
Н |
Е |
В |
А |
|
0‘Е’ |
. |
. |
С |
И |
Н |
Я |
Я |
|
С |
И |
Н |
Е |
В |
А |
|
С |
0‘В’ |
. |
С |
И |
Н |
Я |
Я |
|
С |
И |
Н |
Е |
В |
А |
|
С |
И |
0‘А’ |
С |
И |
Н |
Я |
Я |
|
С |
И |
Н |
Е |
В |
А |
|
С |
И |
Н |
1<5,4> |
Я |
|
С |
И |
Н |
Е |
В |
А |
|
С |
И |
Н |
И |
|
|
|
1<10,1> |
Отже, код повідомлення такий: 0‘С’ 0‘И’ 0‘Н’ 0‘Я’ 1<11, 1> 0‘ ’ 1<6, 3> 0‘Е’ 0‘В’ 0‘А’ 1<5, 4> 1<10, 1>.
Довжина коду стиснутого повідомлення
(бітів).
Довжина нестиснутого повідомлення LASCII+=178=136 (бітів).
Приклад 2 Розпакувати повідомлення, закодовані за алгоритмами LZ77 і LZSS, і обчислити довжини їх кодів:
повідомлення стиснуте за алгоритмом LZ77 (розмір словника – 12 байтів, буфера – 4 байти). Код повідомлення такий: <0, 0, ‘A’> <0, 0,‘F’><0, 0,‘X’><9, 2,‘F’><8, 1, ‘F’><6, 2,‘X’><4, 3,‘A’>;
повідомлення стиснуте за алгоритмом LZSS (розмір словника – 12 байтів, буфера – 4 байти). Код повідомлення такий: 0‘A’0‘F’ 0‘X’ 1<9, 2>1<8, 2> 1<6, 3> 1<4, 4> 1<9, 1>.