- •4.5 Контрольні питання 87
- •5.5 Контрольні питання 97
- •6.5 Контрольні питання 127
- •2Основні поняття теорії інформації
- •2.1Загальні положення
- •2.2Кругообертання інформації
- •2.3Класифікація інформації
- •2.4Структурні перетворення інформації
- •2.5Фази усунення надлишковості інформації
- •2.6Контрольні питання
- •3Інформаційна метрика
- •3.1Якісні і кількісні оцінки інформації
- •3.2Структурні міри інформації
- •3.2.1Загальна характеристика структурної метрики
- •3.2.2Геометрична міра інформації
- •3.2.3Комбінаторна міра інформації
- •3.2.4Адитивна міра (міра Хартлі)
- •3.2.5Специфіка структурної оцінки кількості інформації
- •3.2.6Інформаційна ємність
- •3.3Статистичні міри інформації
- •3.3.1Відповідність між ймовірністю і інформацією
- •3.3.2Ентропія як міра невизначеності
- •3.3.3Ентропія ансамблю (безумовна ентропія)
- •3.3.4Ентропія об’єднання, умовна ентропія
- •Ентропія безперервного джерела інформації (диференціальна ентропія)
- •3.3.5Кількість інформації як міра зняття невизначеності
- •3.4Кількість інформації і її надлишковість
- •3.5Оцінка якості виміру н контролю
- •3.6Семантичні міри інформації
- •3.6.1Поняття семиотика
- •3.6.2Змістовність інформації
- •3.6.3Доцільність інформації
- •3.6.4Динамічна ентропія
- •3.6.5Істотність інформації
- •3.7Контрольні питання
- •4Характеристики дискретних джерел інформації
- •4.1Продуктивність дискретного джерела та швидкість передачі інформації
- •4.2Інформаційні втрати при передачі інформації по дискретному каналу
- •4.3Пропускна здатність дискретного каналу
- •4.4Теорема Шеннона
- •4.5Контрольні питання
- •5Характеристики неперервних джерел інформації
- •5.1Квантування сигналів
- •5.2Інформаційні втрати при дискретизації неперервних джерел
- •5.3Продуктивність неперервного джерела та швидкість передачі інформації
- •5.4Пропускна здатність неперервного каналу
- •5.5Контрольні питання
- •6Кодування інформації
- •6.1Загальні поняття і визначення
- •6.2Кодування як процес представлення інформації в цифровому вигляді
- •6.3Ефективне кодування
- •6.4Кодування інформації для каналу з завадами
- •6.4.1Загальні поняття теорії завадостійкого кодування
- •6.4.2Різновиди завадостійких код
- •6.4.3Загальні принципи використання надлишковості
- •6.4.4Кодова відстань
- •6.5Контрольні питання
- •Перелік використаних джерел
6.4Кодування інформації для каналу з завадами
6.4.1Загальні поняття теорії завадостійкого кодування
Помилка в кодовій комбінації з'являється при її передачі по каналу зв'язку унаслідок заміни одних елементів іншими під впливом завад. Наприклад, 2-кратна помилка виникає при заміні (спотворенні) двох елементів. Наприклад, якщо кодова комбінація 0110111 прийнята як 0100110, то має місце двократна помилка.
Теорія завадостійкого кодування базується на результатах досліджень, проведених Шеноном і сформульованих у вигляді теореми:
При будь-якій продуктивності джерела повідомлень, меншій, ніж пропускна спроможність каналу, існує такий спосіб кодування, який дозволяє забезпечити передачу всієї інформації, що створюється джерелом повідомлень, із скільки завгодно малою ймовірністю помилки.
Не існує способу кодування, що дозволяє вести передачу інформації із скільки завгодно малою ймовірністю помилки, якщо продуктивність джерела повідомлень більше пропускної спроможності каналу.
З теореми виходить, що завади в каналі не накладають обмежень на точність передачі. Обмеження накладається лише на швидкість передачі, при якій може бути досягнута скільки завгодно висока точність передачі.
Теорема не піднімає питання про шляхи побудови кодів, що забезпечують ідеальну передачу інформації, але, обґрунтувавши принципову можливість такого кодування, дозволяє вести розробку конкретних кодів.
При будь-якій кінцевій швидкості передачі інформації аж до пропускної спроможності каналу, скільки завгодно мала ймовірність помилки досягається лише при безмежному збільшенні довжині кодованих послідовностей знаків. Таким чином, безпомилкова передача за наявності завад можлива лише теоретично.
Забезпечення передачі інформації з вельми малою ймовірністю помилки і досить високою ефективністю можливо при кодуванні надзвичайно довгими послідовностями знаків.
На практиці точність передачі інформації і ефективність каналів зв'язку обмежується двома чинниками:
розміром і вартістю апаратури кодування/декодування;
часом затримки повідомлення, що передається.
6.4.2Різновиди завадостійких код
Коди, які забезпечують можливість виявлення і виправлення помилки, називають завадостійкими.
Ці коди використовують для:
виправлення помилок – коди, що коректують;
виявлення помилок.
Коди, що коректують, засновані на введенні надлишковості.
У переважної більшості завадостійких кодів завадостійкість забезпечується їх алгебричною структурою. Тому їх називають алгебричними кодами.
Алгебричними кодами підрозділяються на два класи:
блокові;
неперервні.
В разі блокових кодів процедура кодування полягає в співставленні кожній букві повідомлення (або послідовності з символів, відповідною цій букві) блоку з n символів. У операціях по перетворенню беруть участь лише вказані символів, і вихідна послідовність не залежить від інших символів в повідомленні.
Блоковий код називають рівномірним, якщо n залишається постійним для всіх букв повідомлення.
Розрізняють роздільні і нероздільні блокові коди. При кодуванні роздільними кодами вихідні послідовності складаються з символів, роль яких може бути чітко розмежована. Це інформаційні символи, співпадаючі з символами послідовності, яка надходить на вхід кодера каналу, і надлишкові (перевірочні) символи, що вводяться у вихідну послідовність кодером каналу і служать для виявлення і виправлення помилок.
При кодуванні нероздільними кодами розділити символи вхідної послідовності на інформаційних і перевірочних неможливо.
Неперервними (деревовидними) називають такі коди, в яких введення надлишкових символів в кодовану послідовність інформаційних символів здійснюється безперервно, без розділення її на незалежні блоки. Неперервні коди також можуть бути роздільними і нероздільними.