5.4.4 Теорема кодування в дискретному каналі з завадами

Якщо канал має пропускну спроможність С біт/симв. і задані будь-які числа δ>О, Н<С, то завжди найдеться таке ціле число n₀, що при всякому існує блоковийкод довжиноюп, що складається з комбінацій, і вирішальна схема, які забезпечують виконання нерівностей

(5.44)

Якщо Н>С, то нерівність (5.44) при довільному δ не виконується, як би не було велике n₀. Дана теорема справедлива для досить широкого класу (хоча й не для всіх) каналів з пам'яттю, але ми її доведемо лише для каналу без пам'яті й для співпадаючих вхідних і вихідних алфавітів каналу, оскільки в протилежному випадку доказ помітно ускладнюється (див., наприклад, [16]).

Доказ. Доведемо спочатку пряму частину теореми, тобто факт, що (5.44) виконується при , де пН< С. Нехай пропускна спроможність каналу досягається при деякому розподілі ймовірностей вхідних символів .

Будемо тоді називати послідовність довжиною п, складену із вхідних символів каналу, ε-типової, якщо нерівність (5.36) (з очевидною заміною найН(А) на Н(Х)) виконується для неї при вхідному розподілі .

Аналогічно будемо називати послідовність вихідних символів ε-умовною типовою послідовністю для ε-типової вхідної послідовності, якщо для неї виконується нерівність (5.41), у якому вхідний розподіл задається як , а перехідні ймовірності визначаються каналом зв'язку. Припустимо, що вже побудован блоковий код і вирішальну схему , що задовольняють наступним умовам:

1. Всі комбінації коду є ε-типовими послідовностями.

2. Множини , i=1,2,...,M містять всі ε-умовні типові послідовності для кожного з , які не входять в об'єднання попередніхмножин, тобто в .

3. Імовірності правильного декодування при виборі даного коду й даної вирішальної схеми обмежені знизу нерівностями

4. Обраний код не може бути розширений шляхом приєднання до нього ще однієї комбінації й множини, для яких виконується умова 1-3.

Покажемо, що при досить великому п число комбінацій такого коду, що задовольняє умовам 1-4, виявляється більше, ніж , де (див. рис. 5.4).

Помітимо насамперед, що існує такий код і вирішальна схема хоча б для М = 1. Дійсно, для цього досить вибрати одну ε-типову послідовність і такеп, щоб нерівність (5.44) виконувалася з імовірністю, більшої 1- δ.

Рисунок 5.4 – Зв’язок між ε-типовими вхідними та ε-умовними типовими вихідними послідовностями

1. Для будь-який ε-типової (відносно ) вхідної послідовності:

;

2. ;

3. Р(у – ε-умовна типова вихідна послідовність) ;

4. ;

5. ;

6. .

Нехай – будь-яка ε-типова послідовність, що не входить у код, тоді ймовірність того, що при передачі на виході з'явиться ε-типова умовна послідовність, щопопадає в буде меншеδ.

Дійсно, якщо це не так, то можна приєднати до коду й вибратиякмножина вихідних ε-умовних типових послідовностей , що не ввійшли в. У цьому випадку, тобто розширений код задовольняє умовам 1-3, що суперечить умові 4.

Якщо ж передається кодова комбінація , то з умов 1-3 видно, що ймовірність появи на виході ε-типової умовної послідовності, що попадає в буде неменш чим 1- δ і, таким чином, при досить більших п (малих δ) також не менш чим δ. Отже, яка б ε-типова послідовність відносного вхідного розподілу не передавалася, імовірність того, що на виході каналу з'явиться послідовність, що належить , буде не меншеδ.

Відповідно до теореми ВАР зі збільшенням довжин блоків п імовірність появи ε-типової вхідної послідовності наближається до одиниці й, таким чином, починаючи з якогось стає не меншепостійної а >0. Тому при досить великих п безумовна ймовірність появи на виході послідовності, що попадає в , буде не менше ніжаδ.

Для вихідних послідовностей буде також справедлива теорема ВАР, відповідно до якої при досить великих п імовірність появи певної типової вихідної послідовності виявляється не більше чим .

Множина складається саме з ε-типових вихідних послідовностей, тому число елементів не менше ніж .

З іншого боку, число ε-умовних типових вихідних послідовностей призаданої ε-типової вхідної послідовності не перевершує . Звідси виходить, що числоМ повинне задовольняти нерівності .

Так як вхідний розподіл реалізує пропускнуспроможність каналу, то й. З огляду на те, що а й δ фіксовано, а ε може бути обране довільно малим, одержимо твердження прямої теореми. Доведемо зворотну теорему. Для цього розглянемо код і вирішальну схему , для яких

(5.45)

де р_пд – імовірність помилки декодування блоку символів. (Якщо умова (5.45) не виконується, то завжди можна змінити вирішальну схему так, щоб зменшити максимальну ймовірність помилки й виконати цю умову для деякої величини ).

Тепер код разом з вирішальною схемою можна розглядати як розширений тСК із імовірностями переходів (5.45) і обсягами вхідного й вихідного алфавітів рівними М. Тоді кількість інформації, переданої по такому каналу, не може бути більшою його пропускної спроможності, рівної .

Якщо ця кількість інформації віднести до одного символу п, то вона, мабуть, не може перевершити пропускної спроможності С вихідного каналу, тому що будь-які перетворення не збільшують кількості інформації (див. властивість 8 кількості інформації).

Тому одержуємо нерівність

. (5.46)

Припустимо, що Н>С, тобто , тоді, підставляючи це значенняМ у (5.46), одержуємо нерівність

. (5.47)

Звідси видно, що при ліва частина (5.47) завжди наближається до нуля, якщо. Однак це неможливо, оскільки права частина обмежена негативної постійної. Отже, якщо М=2^пН, де Н> С, те досягнення як завгодно малої помилки декодування ( ) шляхом збільшення довжин блоків прибудь-якому виборі коду й вирішальної схеми виявляється неможливим.