5.4 Теореми кодування шеннона для дискретного каналу зв'язку

Розглянемо спочатку теорему кодування в каналі без завад, який, очевидно, є часним випадком каналу з завадами. Найкраще кодування полягає в тому, що при заданому каналі зв'язку, що визначається обсягом алфавіту т і швидкістю передачі канальних символів v_K, а також при заданому джерелі інформації, обумовленому імовірнісним розподілом р(а) послідовностей, складених із символів, що належать алфавіту джерела А, забезпечити найбільшу можливу швидкість передачі символів джерела v_дж.

Помітимо, що змістовність проблеми кодування в каналі без завад визначається не тільки розбіжністю обсягів алфавітів джерела й каналу, але також і тією обставиною, що якщо джерело має пам'ять або (і) його символи не рівноімовірні, то ці особливості можна істотно використати для збільшення швидкості передачі інформації від даного джерела.

Конструктивні методи такого кодування будуть розглянуті в наступній главі, а зараз ми вивчимо асимптотичні результати, тобто кодування при необмежених послідовностях символів джерела й каналу зв'язку, що зіставляються один з одним. Для цього нам знадобиться одна теорема, що власне кажучи є деякою версією закону великих чисел, відомого в теорії ймовірностей.

5.4.1 Теорема про властивість асимптотичної рівноімовірності (вар)

Для будь-яких заданих як завгодно малих позитивних чисел ε і δ можна знайти таке число п (що залежить від ε, δ і властивостей джерела), що з імовірністю більшої, ніж 1-δ, джерело повідомлень видає послідовність а^[п] довжини п, що має ймовірність Р(а^[п]), що задовольняє нерівності [24]

, (5.36)

де H(A) – ентропія даного джерела.

Доказ теореми для стаціонарних джерел без пам'яті має наступний вигляд. Відповідно до закону великих чисел при досить великому п частота n_i/п події, що полягає в появі символу a_i у послідовності довжини п, наближається до ймовірності P(a_i), тобто

n_i/п→P(a_i). (5.37)

З іншого боку, якщо деяка послідовність а^[п] містить п₀ символів а₀, п₁ символів а₁ і т.п. п_К-1 символів а_К-1, то ймовірність її появи дорівнює

.

Тоді маємо

. (5.38)

Підставляючи (5.37) в (5.38), одержуємо, що величина буде прагнути по ймовірності до виразу

.

Власне кажучи теорема ВАР означає, що при досить великій величині п всі послідовності, які видаються джерелом, розбиваються на дві групи, які називаються відповідно типовими й нетиповими.

Перші послідовності приблизно рівноімовірні, і кількість їх приблизно дорівнює

. (5.39)

Що ж стосується нетипових послідовностей, то вони можуть мати різні ймовірності, але ймовірність появи хоча б однієї з них наближається до нуля при . Помітимо, що число типових послідовностейпевної довжини виявляється значно менше загального можливого числа послідовностей такої ж довжини.

Наприклад, загальне число послідовностей букв російської мови довжини п=10 дорівнює 32¹⁰ 10¹⁵, у той час як число типових послідовностей такої ж довжини, якщо покласти ентропію російської мови рівної 1,5 біт/символ, виявляється всього лише , що приблизно відповідаєобсягу типового словника.

Теорема ВАР виявляється справедливою й для пар послідовностей х^[п], в^[п], щодо яких затверджується, що при досить великих п з імовірністю 1-δ джерело видає пари послідовностей, для яких їхні умовні ймовірності будуть задовольняти нерівностям

, (5.40)

, (5.41)

де ε – як завгодно мала величина.