3.6 Основні теореми кодування для каналів

Повідомлення при передачі по каналах кодуються для того, щоб зменшити вплив завад у каналі та забезпечити надійний зв'язок між джерелом й одержувачем повідомлень.

Імовірність неправильної передачі повідомлення по каналу може бути дуже малою, якщо воно передається за допомогою до­сить великої кількості повторень одного й того самого вхідного сигналу. Проте це пропорційно збільшує час, який відводиться на передачу; при цьому швидкість передачі (тобто кількість ін­формації, що передається за одиницю часу) прямує до нуля.

Теореми кодування для каналів допомагають зрозуміти, що існують нетривіальні способи кодування, які дають змогу здійснити передачу повідомлень зі скільки завгодно високою віро­гідністю та відносно великою швидкістю. Ці теореми не вказу­ють конкретних шляхів побудови пристроїв кодування та де­кодування, але показують, що вплив завад може бути зведений до мінімуму завдяки вибраному способу кодування та його ре­алізації.

Теорема кодування для каналу із завадами (яку ще нази­вають основною теоремою Шеннона для дискретного каналу із завадами) доводить, що його пропускна здатність визначає верхню межу швидкості безпомилкової передачі інформації по каналу. Формулюється вона так: існує такий спосіб кодуван­ня для дискретного каналу із завадами, при якому можна забезпе­чити безпомилкову передачу інформації від джерела, якщо про­дуктивність останнього менша від пропускної здатності каналу, тобто

V_ДЖH(A) < V_k[log₂k – H(B/B')] = С_к, (3.7)

де V_ДЖ – кількість повідомлень, вироблених джерелом А за одини­цю часу; Н(А) – ентропія джерела; V_k – кількість символів коду, що подаються на вхід каналу за одиницю часу; [log₂k – H(B/B')] – максимальна кількість інформації, яка переноситься одним сим­волом коду; H(B/B')– надійність каналу, що визначається дією завад; В – алфавіт обсягом k символів на вході каналу; В' – алфавіт символів, які з'являються на виході каналу.

Для доведення цієї теореми використаємо поняття типових послідовностей повідомлень джерела А, які кодуються на вході каналу символами з множини В (алфавіт входу каналу) та відоб­ражаються символами з множини В на виході каналу (алфавіт виходу каналу). Кількість типових послідовностей джерела А великої довжини Тпри його продуктивності V_ДЖ H(A) визнача­ється виразом

N_T(A) = ,

де TV_дж – кількість повідомлень джерела А в типовій послідов­ності.

Для кодування типових послідовностей на вході каналу за­стосовуємо дискретні кодові комбінації в алфавіті В обсягом k, що дорівнює обсягу алфавіту символів каналу. Якщо довжина цих комбінацій становить також Т, то кількість символів у ній буде TV_k, а кількість можливих кодових комбінацій стано­витиме

є необхідною та достатньою умовою існування кодового дере­ва, вершини якого мають порядки n_vn₂, ...,n_N.

Нехай {Х,р(х)}, X= {х_х, х₂,...,x_n} –довільний дискретний ансамбль повідомлень і Н(х) – його ентропія.

Позначимо че­рез (х) середню довжину q-коду (q - його алфавіт), тобто

,

N – кількість кодових комбінацій.

ТЕОРЕМА 3.2. Для будь-якого коду з властивістю однознач­ного декодування виконується умова

(x)≥H(x)/logq.

ТЕОРЕМА 3.3. Існує q-код з властивістю однозначного деко­дування, для якого виконується нерівність

(x)<H(x)/logq+1.