5.3.2 Пропускна спроможність дискретного каналу зв'язку

Визначимо пропускну спроможність С дискретного каналу зв'язку з аддитивними завадами як максимум кількості інформації по всіляких розподілах р(х) входу каналу, тобто

(5.24)

З визначення видно, що пропускна спроможність каналу зв'язку залежить тільки від властивостей самого каналу, тобто вхідного і вихідного алфавітів X, Y і заданого на них умовного розподілу вірогідностей , і не залежить від того джерела, яке підключене до входу каналу.

Пропускна спроможність каналу має наступні властивості:

1)

(Виходить з властивості 1 кількості інформації.)

2)

(Виходить з властивості 2 кількості інформації.)

3)

тоді і тільки тоді, коли вхід і вихід каналу статистично незалежні, тобто має місце «обрив каналу». (Виходить з властивості 3 кількості інформації.)

4) 

(Виходить з властивості 4 кількості інформації і властивості 3 для ентропії, в даному випадку K=m.)

5) за відсутності завад в каналі зв'язку. (Виходить з властивості 5 кількості інформації і властивості 3 для ентропії.)

6)

(Виходить з властивості 6 кількості інформації.)

Представляє значний інтерес обчислення пропускної спроможності для різних каналів зв'язку з аддитивними завадами. У загальному випадку це досить складне, а іноді і просто неозоре завдання.

Проте для деяких розглянутих раніше моделей каналів це виявляється цілком можливим. Розглянемо деякі із них.

1. тСК без пам'яті.

Скористаємося для розрахунку пропускної спроможності такого каналу формулою, обумовленою властивістю 1:

(5.25)

Покажемо, що умовна ентропія втСК не залежить від вхідного розподілу P(x). Дійсно, по її визначенню для каналу без пам'яті одержуємо з перетвореного для з урахуванням (5.17) маємо

(5.26)

Тому (5.25) можна переписати наступним чином:

(5.27)

По властивості 3 ентропії , але якщо вибрати рівномірний розподіл на вході, тобто

то одержимо

(5.28)

і, отже,

(5.29)

причому максимум досягається при рівномірному вхідному розподілі імовірностей. Підставляючи (5.29) в (5.27), остаточно одержуємо

(5.30)

2.  Двійковий симетрічний канал (2СК) без пам'яті.

Це окремий випадок т-ічного СК (тСК) при т=2. Підставляючи т=2 в (5.30), знаходимо (для основи логарифмів 2)

, (біт/символ). (5.31)

3. Двійковий по входу канал зі стиранням має пропускну спроможність

(біт/симв). (5.32)

4. Двійковий канал з пам'яттю й аддитивным шумом.

Із властивості 1 для кількості інформації й властивості 5 умовної ентропії одержуємо

. (5.33)

Аналогічно тому, як це було доведено в (5.28), одержуємо, що при виборі взаємно незалежних і рівноімовірносних символів х_і символи у_і на виході також виявляються взаємно незалежними й рівноімовірносними. Тому виконується (5.29), а з урахуванням (5.33) знаходимо

(біт/символ). (5.34)

Відзначимо, що ентропія джерела завади Е у вигляді послідовності двійкових символів з імовірностями р й 1-р задовольняє нерівності

(біт/символ),

причому рівність наступає лише для джерела завад без пам'яті.

Таким чином, пропускна спроможність двійкового каналу з пам'яттю (5.34) більше пропускної спроможності 2СК без пам'яті (5.31), що є цікавим фактом.

З формули (5.30) видно, що С=0 для mCK при . Це саме й відповідає випадку «обриву каналу зв'язку», оскільки кожний із вхідних символів з рівною ймовірністю переходить у будь-який з вихідних.

Спостерігаючи вихідні символи, не можна віддати перевагу жодному із вхідних символів, а це й відповідає поняттю обриву каналу, коли передача інформації по ньому виявляється зовсім марною, оскільки той же результат може бути отриманий при випадковому вгадуванні вхідних символів у точці прийому.

На рисунку 5.3 показана залежність пропускної спроможності 2СК без пам'яті від імовірності помилки символу р у каналі зв'язку. Як і слід було сподіватися, пропускна спроможність дорівнює нулю при р=1/2. Трохи несподіваним на перший погляд може здатися те, що С=1 також і при р=1.

Однак у дійсності випадок, коли р=1, – це аж ніяк не стан каналу з найбільшими завадами, а стан з так називаною зворотною роботою, коли всі нулі переходять в одиниці, а одиниці – у нулі.

Однак оскільки ця властивість каналу передбачається заздалегідь відомою (тому що нам відомо, що р=1), то ми можемо здійснювати декодування за правилом 0→1, 1→0. Тоді всі вхідні символи будуть прийматися абсолютно вірно, і тому цілком природно, що пропускна спроможність такого каналу дорівнює максимальній величині.

Помітимо, що ця ситуація відрізняється від «зворотної роботи», яка описана у гл. 3 й є наслідком квазикогерентного прийому ФМ сигналів. Справа в тому, що стрибки фази там виникають у випадкові моменти часу, приводячи до ділянок то правильної, то "зворотної роботи". Оскільки моменти стрибків є випадкові, тому не можливо скорегувати їх зворотним декодуванням. Модель такого каналу аж ніяк не еквівалентна 2СК, що має ймовірність помилки р=1.

Підкреслимо, що формула (5.31) має найбільш простий вид при виборі двійкової основи логарифма, коли пропускна спроможність каналу зв'язку вимірюється у дв. од./символ або, що те ж саме, – у біт/символ.

Рисунок 5.3 – Залежність пропускної спроможності 2СК без пам'яті від імовірності помилки символу

Можна визначити пропускну спроможність каналу в одиницю часу як

,

де – швидкістьпередачі символів по каналу зв'язку (число символів в 1 с). Якщо при визначенні використаний двійковий логарифм, то буде вимірятися в біт/с.

Аналогічно умовної ентропії можна ввести поняття середньої умовної взаємної інформації. Обмежуючись для простоти випадком каналу без пам'яті, одержуємо вираз

.

Однак на відміну від умовної ентропії, для якої завжди справедлива нерівність (5.18), умовна взаємна інформація I(Z,X|Y) може бути менше, більше або дорівнює безумовної взаємної інформації I(X,Y).

Крім середньої умовної взаємної інформації можна визначити також середню взаємну інформацію між парою X,Y й Z:

.

Між даними величинами існують наступні співвідношення [44]:

.(5.35)

Для того щоб наочно пояснити різницю між величинами I(X,Z;Y) і I(X,Z|Y), які на перший погляд можуть здатися однаковими, розглянемо наступну модель каналу зв'язку:

,

де –означає підсумовування по mod2, а х, у, е – деякі двійкові випадкові величини, причому наочно z означає вхід каналу, х – вихід каналу, е – заваду в каналі, а у – додаткову перетворюючу послідовність на передачі.

Тоді якщо у не залежить від z, те й відповідно до (5.35) , деН(Е) – ентропія завади Е. Якщо ж z й y взаємно залежні, то й тому. В окремому випадку, якщох=у, то , а.

Теоретико-інформаційні поняття, наведені в даному розділі, можна розглядати у двох аспектах: як розвиток математичного апарата, що примикає до теорії ймовірностей, і як характеристику, що пояснює процес передачі інформації з каналів зв'язку з завадами.

Дійсно, ми знаємо тепер, що середня інформативність джерела може бути кількісно оцінена його ентропією, а кожному джерелу, з'єднаному з каналом зв'язку, можна приписати деяке число, що виражає кількість інформації, переданої по цьому каналу. Більш того, кожному каналу відповідає деяка гранична кількість інформації, яка назівається його пропускною здатністю, більше якого даний канал зв'язку не може передати ні від якого з джерел повідомлень.

Ця пропускна спроможність максимальна при відсутності завад і дорівнює нулю при втраті статистичного зв'язку між входом і виходом каналу. Здавалося б, ми одержали відомості, що дозволяють нам значно просунутися вперед у напрямку розуміння процесів передачі повідомлень по каналах з завадами.

Однак це ще лише деяке «передбачення результатів». Дійсно, як ми можемо використати значення ентропії джерела для чого-небудь більшого, ніж тавтологія, що затверджує, що він генерує середню інформацію, рівну ентропії? Як перетворити наше визначення пропускної спроможності каналу в більше реальні в практичному відношенні характеристики процесу передачі інформації – надійність і швидкість передачі символів джерела?

Багато це або мало, що пропускна спроможність одного каналу більше іншої на 5%, на 50%, в 10 разів? Важливий факт говорить про те, що обрив каналу (С=0) виникає при відсутності статистичного зв'язку входу й виходу, тобто легко виходить і без використання інформаційного апарата. Отже, ми відчуваємо поки деяке розчарування в теорії інформації. Нам починає здаватися, що «гора народила мишу».

Однак це відбувається лише тому, що ми не торкнулися поки найважливішого аспекту теорії інформації – теорем кодування. Саме вони й дозволяють відповісти на всі сформульовані вище, а також і на багато інших питань.

Помітимо, що для доказу й наочного трактування теорем кодування зовсім не потрібно інтуїтивного розуміння ентропії, умовної ентропії, кількості інформації й т.п. Цілком достатнім виявляється розглядати даний розділ саме як розвиток деякого математичного апарата, що доводить властивості цих специфічних функцій імовірнісних розподілів.