4.3Пропускна здатність дискретного каналу

Максимально можлива швидкість передачі інформації по каналу зв'язку називається його пропускною здатністю С. Виходячи з виразу (3.5) маємо

. (3.17)

Очевидно, вираз (3.17) досягає максимуму при абсолютному статистичному зв'язку джерел А та В, коли виконуються рівності (3.6) і (3.7). Це випадок малого рівня або відсутності спотворюючих завад. Тоді

. (3.18)

Із п. 2.3 відомо, що безумовна ентропія джерела досягає максимуму при рівно ймовірних і статистично незалежних повідомленнях a_i, і=1... k. При цьому р (а_i)=1/k для всіх i та H(A)_max = log₂k.Отже,

(3.19)

Цей вираз і визначає пропускну здатність каналу без завад.

Якщо в каналі є відчутні завади, а умовна ентропія на його вході та виході лежить у діапазоні (3.10), то пропускна здатність каналу із завадами визначається виразом

(3.20)

При зменшенні завад цей вираз прямує до (3.19), а при їх збільшенні - до нуля.

4.4Теорема Шеннона

Головна теорема теорії інформації, сформульована та доведена К.Шенноном, називається теоремою кодування дискретного джерела. Пізніше з'явилося багато її модифікацій для різних обумовленостей та ситуацій. Нижче цю теорему та її модифікацію подамо без доведення.

Нехай джерело повідомлень має ансамбль А={a_i}, та Р={p_i}, . Його безумовна ентропія дорівнює Н(А), а продуктивність – VH(А), де V=Т^-1 – кількість повідомлень джерела за одиницю часу.

Нехай канал без завад має алфавіт В={b_j}, та ентропію Н(В). Тоді швидкість передачі інформації по каналу R_к=V_кН(В). Використаємо без надлишкові вхідні повідомлення каналу, які мають максимальну ентропію, що забезпечує максимально можливу швидкість передачі інформації в каналі С_к=V_кlog₂k (згадаємо, що Н(В)=log₂k). Величина С_к називається пропускною здатністю каналу з параметрами k та V_к=T_к^-1, де Т_к – тривалість передачі одного символу каналу.

Якщо взагалі надлишковість повідомлень джерела не дорівнює нулю, то R_к<С_к. Як довів К. Шеннон, відповідним добором способу кодування при будь-якій надлишковості джерела А можна забезпечити швидкість передачі інформації по каналу без завад як завгодно близьку до його пропускної здатності С_к.

Таким чином, умовою узгодження джерела та каналу є відповідність продуктивності першого пропускній здатності другого.

Для доведення цього твердження К. Шеннон використав поняття типових і нетипових послідовностей повідомлень. Нехай джерело А виробляє статистично незалежні повідомлення q_i, (це не має особливого значення, але спрощує розгляд). Розглянемо деякі властивості довгих послідовностей повідомлень джерела А . В бінарному випадку (алфавіт складається з двох повідомлень) імовірність того, що в послідовності п буде t повідомлень а₁ i n- t повідомлень a₂, визначається біномним законом розподілу ймовірностей

де С^t_п=п!/[t!(п - t)!] — кількість різних повідомлень із t елементами а₁ і п - t елементами а₂; р₁ — імовірність появи повідомлення a₁ ; 1-p₁=р₂ — ймовірність появи повідомлення а₂.

Зі збільшенням п значення t і n- t в кожній реалізації довгої послідовності прямуватимуть до своїх математичних сподівань, які дорівнюють np₁ і п (1 - p₁) відповідно. Саме такі послідовності були названі типовими, оскільки незалежно від взаємного розміщення повідомлень a₁ та а₂ в довгій послідовності кількість їх буде однакова. Послідовність з іншим співвідношенням кількості повідомлень a₁ та а₂ називаються нетиповими, причому ймовірність появи їх із збільшенням п прямує до нуля.

Усі типові послідовності повідомлень мають однакову ймовірність

якщо п прямує до нескінченності.

Аналогічно для k різних символів алфавіту В на виході каналу (де k збігається з кількістю символів каналу) маємо ансамбль B={b_j}, та Р={p_j}, . Тут із збільшенням п кількість появ кожного символу b_j прямує до свого математичного сподівання, й саме така довга послідовність символів називається типовою. В ній незалежно від конкретної реалізації кількість кожного символу b_j буде однаковою й дорівнює p_jn. Ймовірність такої послідовності символів визначається виразом

Як бачимо, ймовірність р_т не залежить від конкретної реалізації типової послідовності символів, а залежить тільки від ансамблю (тобто від обсягу алфавіту та розподілу ймовірностей). Таким чином, імовірність р_т для всіх типових послідовностей джерела є величиною сталою.

Кількість різних типових послідовностей символів завдовжки п дорівнює п!/[(np₁)! (пр₂)!... (np_k)!], що випливає із законів комбінаторики. Всі типові послідовності символів рівно ймовірні, а сума ймовірностей появи їх прямує до одиниці (це повна група випадків) при . При цьому ймовірність нетипової послідовності прямує до нуля.

Таким чином, імовірність типової послідовності символів може бути подана як р_т=1/N_T(А), де N_T(A) — кількість типових послідовностей символів джерела.

Розглянуті властивості послідовностей формулюються у вигляді такої теореми: кожна реалізація довгої послідовності повідомлень стаціонарного джерела А за умови достатньої довжини їх з імовірністю, як завгодно близькою до одиниці, збігається з однією з рівно ймовірних типових послідовностей повідомлень.

Їх рівноймовірність зумовлює максимальне значення ентропії джерела типових послідовностей повідомлень так, що на кожну з них припадає найбільша з можливих кількостей інформації I_т=log₂ N_т (A). 3 іншого боку, ентропія джерела А визначається як

де R_над — надлишковість джерела А .

Це дає змогу визначити I_т як

звідки

Виходячи з визначення логарифма знаходимо

Кількість усіх можливих послідовностей повідомлень завдовжки я, складених з елементів-повідомлень джерела А, становить

Тоді частка типових послідовностей повідомлень серед усіх можливих визначиться як

При надлишковості R_над 0 та ця частка прямує до нуля й лише при R_над = 0 маємо N_т(A)/N(А)=1, тобто в цьому разі кількість типових послідовностей повідомлень збігається з загальною кількістю послідовностей завдовжки п і всі вони рівно ймовірні та використовуються для передачі інформації. Таким чином, імовірність появи нетипових послідовностей повідомлень прямує до нуля.

На цьому ґрунтується теорема Шеннона про кодування дискретного джерела, або, як її інакше називають, теорема кодування дискретного каналу без завад. Формулюється вона так: якщо пропускна здатність дискретного каналу без завад перевищує продуктивність джерела повідомлень, тобто

(3.21)

то існує спосіб кодування та декодування повідомлень джерела з ентропією Н(А), що гарантує як завгодно високу надійність зіставлення прийнятих комбінацій повідомлень з переданими; якщо V_к log₂ k < VН(А), то такого способу немає.

Для доведення теореми всі типові послідовності повідомлень тривалістю Т кодують в алфавіті В обсягом k у вигляді кодових комбінацій повідомлень тієї самої тривалості Т. Кількість символів на одну комбінацію нового алфавіту, що відображає типову послідовність повідомлень джерела А, становить п_В=TV_к. Тоді кількість різних кодових комбінацій повідомлень у новому алфавіті В становитиме

.

Кількість же типових послідовностей повідомлень тривалістю Т з розрядністю п=ТV_ДЖ визначається як

.

Умову теореми можна записати у вигляді TV_к log₂k > TVH (A), або

N(B)>NT(A).

Перепишемо цю умову так: N(B)=N (A)+ або N(B)/N (A)> , де – як завгодно мала величина. Виберемо >(log₂e)/[ТN_T (А)]; тоді N(B)/N_Т(A)> і, врахувавши розклад в ряд , дістанемо

N(B)>N_T(A)+1.

Таким чином, при виконанні умов (3.21) кількість різних кодових комбінацій повідомлень в алфавіті В принаймні на одиницю перевищує кількість типових послідовностей повідомлень джерела А, що забезпечує безпомилкове декодування їх. При невиконанні умови (3.21), коли V_кlog₂k<VН(А), маємо , або

.

Вибравши <(log₂e)/[TN(В)], запишемо

звідки випливає, що N_T(А)>N(В)+1, тобто кількість типових послідовностей повідомлень принаймні на одиницю перевищує кількість різних комбінацій коду з максимальною ентропією. Це означає, що навіть при найкращому кодуванні, яке забезпечує однакову ймовірність використання всіх кодових комбінацій на вході каналу, а також максимальну швидкість передачі інформації, неможливо закодувати та передати всі типові послідовності повідомлень N_T(А) джерела. В цьому й полягає доведення розглядуваної теореми.

Питання, пов'язані з точністю передачі повідомлень, оцінкою ймовірності безпомилкової передачі їх, імовірністю помилок при відтворенні повідомлень тут не розглядалися.