5.4.2 Теорема 1. Про кодування джерела повідомлень

Існує спосіб кодування, при якому середня довжина послідовності канальних символів , що доводиться на один символ джерела повідомлень,

. (5.42)

Не існує способу кодування, при якому менше, ніж .

Прикладний зміст цієї теореми полягає в тому, що при найкращому кодуванні в каналі без завад ми можемо передавати повідомлення джерела зі швидкістю , як завгодноблизької до величини

(5.43)

і неможливо передавати повідомлення зі швидкістю v_дж більшої, ніж (5.43). Видно, що швидкість передачі виявляється тим більшою, ніж менше ентропія джерела або чим більше його надмірність, що очевидно відповідає нашій інтуїції, що підказує можливість більш швидкої передачі повідомлень за рахунок усунення надмірності, що втримується в них. Такий метод кодування називається також кодуванням джерел повідомлень або іноді – статистичним або ощадливим кодуванням (стиском) повідомлень.

Оскільки теорема 1 дає умову лише для середньої довжини блоку канальних символів, то очевидно, що в окремі моменти часу ці довжини можуть виявитися значно більше середньої довжини, а це потребує для джерел з фіксованою швидкістю використання спеціального буферного пристрою для поглинання затримки повідомлень, які поступають.

Можна показати, що з імовірністю одиниця накопичувач будь-якої кінцевої ємності рано чи пізно буде переповнений, тобто відбудеться втрата інформації. Помітимо, що зазначене вище кодування є звичайно нерівномірним. Тому для джерел повідомлень із фіксованою швидкістю має сенс наступна видозміна теореми 1, в якої використається рівномірне кодування.

5.4.3 Теорема 2. Про кодування в каналі без завад

Існує спосіб кодування й декодування в каналі без завад, при якому для довжини п послідовності канальних символів, що доводяться на один символ джерела, буде виконуватися співвідношення (5.42), причому ймовірність помилки не перебільшує будь-якої як завгодно малої величини δ > 0.

Помітимо, що тут під імовірністю помилки розуміється імовірність того, що послідовність символів, яка видана одержувачу, буде відрізнятися від відповідної їй послідовності символів, переданої джерелом повідомлень. Незважаючи на те, що ми маємо тут справу з каналом без завад, помилки в прийнятому повідомленні з'являються внаслідок спеціального способу кодування.

З виразу (5.39) виходить, що число типових послідовностей джерела довжиною п_д буде асимптотически (при великих п_д) дорівнює . Умовимося кодувати канальними символами тільки ці типові послідовності, а будь-яку нетипову послідовність передавати за допомогою однієї й тієї ж послідовності, що, мабуть, при декодуванні на прийомі й буде приводити до помилок.

Однак оскільки при ймовірність появи нетипової послідовності буде прагнути до нуля, то це й означає, що ймовірність помилки може бути зроблена як завгодно малою величиною.

Всі типові послідовності довжини будемо кодувати послідовностями довжини, складеними з канальних символів. Для забезпечення однозначності декодування (відсутності помилок у цьому випадку) необхідне виконання умови , звідки привеликих значеннях і одержуємо вираз

.

Інтерпретація цієї теореми для заданих швидкостей джерела й каналу приводить також до співвідношення (5.43). Різниця складається лише в тім, що можливао помилка з деякою малою ймовірністю δ, але зате кодування виявляється рівномірним, що не приводить до переповнення буферної пам'яті кодера.

Перейдемо до розгляду теорем кодування Шеннона в каналі з завадами.

Нехай повідомлення деякого джерела інформації передаються по каналу з завадами, заданому вхідним X і вихідним Y алфавітами, умовним розподілом Р(у|х) і швидкістю передачі . Будемо здійснювати кодування, зіставляючиз різними послідовностями символів джерела різні послідовності (комбінації) символів каналу довжини п. Назвемо останні дозволеними кодовими комбінаціями блокового коду, позначивши їх через , де М – повне число таких комбінацій.

Якби в каналі не було завад, то прийняті комбінації збігалися б у точності з дозволеними кодовими комбінаціями. У каналі ж з завадами прийнята комбінація може стати з деякою ймовірністю кожною із т^п послідовностей довжини п, складених з вихідних канальних символів. Розіб'ємо всю множину таких послідовностей Yⁿ на М непересічних підмножин й установимо наступне правило декодування.

Якщо прийнята послідовність , то приймаєтьсярішення про те, що передавалася кодова комбінація . Таку розбивку будемо називати також вирішальною схемою. У цьому випадку можна визначити ймовірність правильного прийому (або правильного декодування) як імовірність того, що при передачі комбінаціїприйнята комбінаціяпопадає у відповідну підмножину . Коротко будемо записувати цю ймовірність як .