5.4.5 Інтерпретація теореми кодування

Розглянемо інтерпретацію теореми кодування. Нехай є дискретне джерело з обсягом алфавіту К и розподілом імовірностей його символів, що ми не знаємо або не хочемо використовувати при кодуванні повідомлень джерела. Тоді, зіставляючи кожній кодовій комбінації довжини послідовність символів джерела довжинип, що задовольняють очевидній умові взаємної однозначності кодування й декодування, запишемо

і за умовою відсутності затримок у часі ,де й – тривалості символів джерела й каналу, відповідно, одержуємо, що

.

Як виходить з доведеної теореми кодування, при, колиН<С и тому одержуємо умову на максимально можливу швидкість передачі символів у наступному виді:

. (5.48)

В окремому випадку двійкового джерела одержуємо з (5.48) швидкість передачі символів (біт/с):

.

Припустимо, що буде враховуватися статистика джерела повідомлень, тобто виробляється додатково й кодування джерела повідомлень. Тоді, як виходить з теореми 1 про кодування джерела, середня довжина послідовності канальних символів, що припадає на один символ джерела повідомлень, буде визначатися співвідношенням (5.42).

Припустимо, що в нашому випадку символами каналу є кодові комбінації довжини п, число яких дорівнює М= 2^пН=т. Тоді в (5.42) необхідно покласти log₂m=nН. Умова відсутності затримок у часі прийме в цьому випадку наступний вид (у зневазі величиною ε в (5.42)):

.

Оскільки для забезпечення призгідно доведеній теореміз кодуванням у каналі з завадами необхідно забезпечити виконання нерівності Н<С, то з попереднього вираження знаходимо

. (5.49)

Нерівність (5.49) становить основну теорему Шеннона, що формулюється в наступним чином.

Теорема 2. Основна теорема Шеннона.

Якщо продуктивність джерела Н'(А) менше пропускної спроможності С' в одиницю часу дискретного каналу з завадами, то при будь-якому δ >0 існує спосіб кодування й декодування джерела й каналу, при якому повідомлення передаються одержувачеві з імовірністю помилки меншої, чим δ, і в середньому без зростаючих затримок у часі. Якщо Н'(А) > С', то такого способу кодування не існує.

Помітимо, що хоча нерівність (5.49) і є більше сильним, чим (5.48), але це не означає, що завжди варто використати як канальне кодування, так і кодування джерела. Останнє для досягнення помітного ефекту може виявитися нереалізовано складним.

Важливою особливістю теорем кодування Шеннона є та обставина, що вони носять характер теорем існування й майже нічого не говорять про практичні способи реалізації процедур кодування й декодування. (Цим питанням буде спеціально присвячена наступна глава.)

Дотепер у даній главі ми всюди розглядали так званий дискретний канал зв'язку з завадами. У дійсності таких каналів не існує й можна говорити лише про моделі відображення безперервного каналу зв'язку в дискретний. Власне кажучи це означає, що ми в рамках розгляду даного дискретного каналу фіксуємо певний спосіб модуляції й демодуляції.

Якщо нам додатково відомо, який саме обраний спосіб модуляції й демодуляції, то може бути відома й імовірність помилки p(h²) як функція параметра . Припущення про те, що при фіксованих значенняхР_с й N₀ ми можемо змінювати тривалість канальних символів Т_к, що еквівалентно зміні канальної швидкості передачі v_к, відкриває нові можливості для оптимізації системи зв'язку.

Так можна порушити питання про оптимізацію величини v_к з метою забезпечення найбільшої пропускної спроможності каналу зв'язку в одиницю часу С', що відповідно до теореми кодування забезпечить найбільшу швидкість передачі v_к повідомлень джерела при як завгодно високій вірності прийому.

Це завдання для 2СК зводиться до знаходження максимуму функції:

, (5.50)

де , оскільки.

Приведемо (5.50) до більш зручного виду для знаходження максимуму

(5.51)

У [47] показано, що при оптимальному когерентному прийомі двійкових сигналів у детермінованому каналі із БГШ імовірність помилки як функція h² визначається рівнянням

, (5.52)

При оптимальному некогерентному прийомі в тім же самому каналі вираз (5.52) має вид

, (5.53)

де

Підставляючи (5.52) і (5.53) в (5.51) і знаходячи экстремум функції звичайними аналітичними й чисельними методами [28], одержуємо, що для когерентного прийому максимум досягається при йвиявляється рівним . При некогерентномуприйомі максимум С' досягається при йвиявляється рівним .

Таким чином, максимум при когерентному прийомі двійкових сигналів досягається при необмеженій смузі пропущення приймача F, оскільки при, у той час як при некогерентномуприйомі максимум С' реалізується при обмеженій смузі частот каналу зв'язку. (Очевидно, однак, що при будь-якій швидкості передачі v_к і тих самих значеннях Р_с й N₀ когерентний прийом завжди забезпечить більше значення С', чим некогерентний).

Допустимость зміни тривалостей канальних символів при фіксованому способі модуляції й демодуляції приводить до можливості незвичайної інтерпретації теореми кодування. Припустимо, що інформаційна швидкість передачі двійкового джерела біт/с задана так само, як Р_с й N₀. Виникає питання, чи можна при цих умовах забезпечити при якому-небудь, нехай як завгодноскладному кодуванні (тобто при ) і найкращому виборі тривалості канального символу?

Як було показано раніше, максимальне значення С' при оптимальному когерентному прийомі двійкових сигналів досягається при й дорівнює. Оскільки відповідно до теореми кодування < С' то й, отже маємо

, (5.54)

де h² – відношення сигнал-шум при заданій інформаційній швидкості передачі.

Підставляючи в (5.54) максимальне значення С'= , одержуємо, що , а тоді по формулі (5.52) максимально припустима ймовірність помилки (для заданої інформаційної швидкості передачі), при якій кодування ще може забезпечити як завгодно високу вірністьприйому, виявляється

. (5.55)

Якщо ж виявилося, що для необхідної інформаційної швидкості передачі ймовірність помилки дорівнює або більше цієї величини, то всяке кодування з метою підвищення завадостійкості виявляється марним. (Для підвищення надійності необхідно або змінити вид модуляції, або поліпшувати параметри каналу Р_с й N₀).

Виконуя аналогічні викладення для оптимального некогерентного прийому двійкових ВФМ сигналів, можна показати, що мінімальна величина h² виявляється рівної 3/β, а ймовірність помилки 0,025.