- •Теорія інформації
- •Тулякова н.О.0 теорія інформації
- •Теорія інформації
- •1.1 Предмет курсу. Види інформації. Теорема дискретизації
- •1.2 Базові поняття теорії інформації
- •1.3 Способи вимірювання інформації
- •1. 4 Ентропія джерела. Властивості кількості інформації та ентропії
- •Розв'язання
- •Розв'язання
- •2.1 Умовна ентропія
- •2.2 Модель системи передачі інформації
- •2.3 Види умовної ентропії
- •2.4 Ентропія об'єднання двох джерел інформації
- •2.5 Продуктивність дискретного джерела інформації. Швидкість передачі інформації
- •2.6 Інформаційні втрати при передачі інформації по дискретному каналу зв'язку
- •2.7 Пропускна здатність дискретного каналу. Основна теорема про кодування дискретного джерела
- •Розв'язання
- •Розв'язання
- •3.1 Способи задання кодів. Статистичне кодування
- •3.2 Елементи теорії префіксних множин
- •3.3 Оптимальні методи статистичного стиснення інформації Шеннона-Фано і Хаффмена
- •Розв'язання
- •I Метод Шеннона-Фано:
- •II Метод Хаффмена:
- •4.1 Теоретичні границі стиснення інформації
- •4.2 Метод блокування повідомлення
- •Розв'язання
- •Розв'язання
- •Розв'язання
- •Метод Шеннона-Фано
- •Арифметичний метод
- •Розв'язання
- •Розв'язання
- •Розв'язання
- •Розв'язання
- •7.1 Алгоритм lz77
- •7.2 Алгоритм lzss
- •7.3 Алгоритм lz78
- •7.4 Алгоритм lzw
- •Розв'язання
- •Розв'язання
- •Розв'язання
- •Розв'язання
- •8.1 Огляд типів систем стиснення інформації
- •8.2 Стиснення без втрат інформації
- •8.3 Стиснення із втратами інформації
- •9.1 Основні принципи
- •9.2 Елементи двійкової арифметики
- •9.3 Код з перевіркою на парність
- •9.4 Ітеративний код
- •Розв'язання
- •Розв'язання
- •10.1 Способи задання лінійних кодів. Твірна матриця лінійного блокового коду
- •10.2 Перевірна матриця лінійного блокового коду
- •10.3 Кодовий синдром і виявлення помилок лінійним блоковим кодом
- •10.4 Синдромне декодування лінійних блокових кодів
- •10.5 Вага і відстань Хеммінга. Можливості лінійних кодів виявляти і виправляти помилки
- •Розв'язання
- •Розв'язання
- •Розв'язання
- •12.1 Операції над поліномами в полі двійкових символів gf(2)
- •12.2 Поліноміальні коди
- •12.3 Циклічні коди
- •12.4 Синдром і виправлення помилок у циклічних кодах
- •12.5 Твірна і перевірна матриці циклічного коду
- •12.6 Способи декодування циклічного коду
- •Розв'язання
- •Розв'язання
- •Розв'язання
9.1 Основні принципи
Завадостійке кодування інформації використовується для підвищення надійності передачі по цифрових каналах.
Наведемо властивості завадостійких (коригувальних) кодів:
використання надлишковості - закодовані послідовності завжди містять додаткові надлишкові символи;
усереднювання - надлишкові символи залежать від декількох інформаційних, тобто інформація, що міститься у кодовій послідовності, перерозподіляється й на надлишкові символи.
Завадостійкі коди поділяються на два великі класи: блокові і згорткові коди. Визначальна різниця між цими кодами – у відсутності або наявності пам'яті кодера.
Кодер для блокових кодів поділяє неперервну інформаційну послідовність на блоки завдовжки k символів. Кодер каналу перетворює блоки повідомлення X у більш довгі послідовності Y, що складаються з n символів й називаються кодовими словами. r=n-k символів, що додаються кодером до кожного блоку повідомлення, називають надлишковими, або перевірними, або контрольними. Вони не несуть додаткової інформації, їх функції полягають у забезпеченні можливостей виявлення й виправлення помилок, спричинених наявністю завад у каналі зв'язку.
k-розрядним двійковим словам можна поставити у відповідність 2k різних значень з алфавіту джерела, яким відповідатиме 2k кодових слів на виході кодера. Така множина 2k кодових слів називається блоковим кодом. Термін «без пам'яті» означає, що кожний блок з n символів залежить лише від відповідного k-символьного інформаційного блоку і не залежить від інших блоків повідомлення.
Кодер для згорткових кодів опрацьовує інформаційні послідовності без розбиття їх на незалежні блоки. У кожний момент часу кодер перетворює невелику послідовність з k інформаційних символів у блок з n кодових символів, де n>k. При цьому кодовий n-символьний блок залежить не тільки від k-символьного інформаційного блоку, наявного на вході у поточний момент часу, але і від попередніх m блоків повідомлення. У цьому і полягає наявність пам'яті кодера.
Блокові коди доцільно використовувати у тих випадках, якщо первинні дані згруповані у блоки або масиви.
Згорткові коди найчастіше використовуються для передачі по радіоканалах і краще підходять для побітової передачі даних. Крім того, при однаковій надмірності згорткові коди, як правило, мають кращу виправну здатність.
Однією з умов практичної реалізації блокового завадостійкого коду є умова його лінійності.
Визначення. Блоковий код завдовжки n символів, що складається з 2k кодових слів, називається лінійним (k, n)-кодом за умови, що усі його 2k кодових слів утворюють k-вимірний підпростір векторного простору n-послідовностей двійкового поля GF(2). Іншими словами, двійковий код є лінійним, якщо порозрядна сума за модулем 2 (mod 2) двох кодових слів також є кодовим словом даного коду.
Бажаною якістю лінійних блокових кодів є систематичність. Систематичний код має інформаційну частину з k символів і надмірну (перевірну) частину з n-k символів постійної довжини.