3.1. Продуктивність дискретного джерела та швидкість передачі інформації

Якщо джерело А вибирає повідомлення а_і9 то можна говори­ти, що воно виробляє певну кількість інформації /, = -log p.. її визначення за різних умов розглядалося в попередньому розді­лі. Там же згадувалось про можливість залучення часового ви­мірювання до моделі джерела. Розглянемо трохи складнішу його модель, а саме: ансамбль А повідомлень, урахувавши роз­поділ імовірностей p_f та розподіл проміжків часу т_/9 протягом яких джерело вибирає різні повідомлення а_Ґ

Продуктивність джерела щодо певного повідомлення a_t мож­на визначити як

У_ПЖІ = І_і/х_і. (3.1)

її одиниця залежить від вибору одиниці кількості інформа­ції І_Ґ Наприклад, це може бути біт за секунду.

Як правило, джерело вибирає досить велику кількість по­відомлень протягом певного часу. Тому природно як загальну характеристику джерела прийняти середню за ансамблем його

49

продуктивність, користуючись відомим з попереднього розді­лу методом статистичного усереднення:

^ ■■■/=! *

Загалом, коли т_;. Ф Xj при / Ф] вираз (3.1) після усереднення за часом можна перетворити до такого вигляду:

^ = V(£^«) = V*cep> (3.3)

/=1

де т — середній час вибору джерелом одного повідомлення.

Вираз (3.3) дійсний також для більш поширеного випадку, коли джерело вибирає всі свої повідомлення за один і той са­мий проміжок часу т = т^р.

З урахуванням (3.3) вираз (3.2) набуває вигляду:

Г_да=^Іл'/=-^£л1о_8Л=^. (3.4)

^Ісер /=1 ^Lcep /=1 ^ссер

Бачимо, що така загальна характеристика, як продуктивність дискретного джерела, визначається його середніми показника­ми: ентропією (середньою кількістю інформації в одному по­відомленні) та часом утворення останнього.

Розглянемо узагальнену модель каналу передачі інформації (рис. 3.1). Зазначимо, що передача можлива як у просторі, так і в часі. Це залежить від мети передачі та вибраних носіїв інфор­мації в лінії зв'язку. Виходячи з наведеного в п. 2.1 визначення маємо джерело А з ентропією Н (А), утворене спостерігачем А та спостережуваним фізичним процесом А.

Повідомлення а_і є А певної форми передаються лінією зв'яз­ку, де на них впливають завади, що можуть спотворювати їх. Внаслідок цього утворюється новий фізичний процес В, який спостерігається на виході лінії. Сама лінія при цьому розгля­дається як фізичний об'єкт В. Роль спостерігача В тут відіграє приймальний пристрій, що вибирає повідомлення Ь- з алфавіту В відповідно до фізичного процесу В. Таким чином, утворю­ється джерело В зі своєю безумовною ентропією Н (В).

Вибір повідомлень Ь- є В характеризує при цьому процес передавання інформації по каналу зв'язку від джерела А на ви­хід джерела В. Позначимо через І {А, В) середню кількість інфор­мації про стан джерела А, яка міститься в одному повідомленні джерела В. Якщо на вибір кожного повідомлення витрачається

~і

							1 Завади І
		Фізичний				Алфавіт А '	w
	Фізичний об'єкт А	процес А		Спотерігач А		{а,...ак; [ J	Лінія зв'язку (фізичний об'єкт) в 1
				Джерело А: Н(А) 1
Фізичний процес В
			Приймальний пристрій (спостерігач В)		ІЬ,...ЬК)
						^

Джерело В: Н(В)

Рис. 3.1

час т, то питома кількість переданої інформації є швидкістю її передачі по каналу, тобто

і; У=Г(А,В) = І(А,В)Іт. (3.5)

3.2. ІНФОРМАЦІЙНІ ВТРАТИ ПРИ ПЕРЕДАЧІ , ІНФОРМАЦІЇ ПО ДИСКРЕТНОМУ КАНАЛУ

Задача дискретного каналу полягає в тому, щоб повідомлен­ня Ь_і однозначно відповідало повідомленню а_г Це було б мож­ливе тоді, коли р Ц/б,) = р (bj/a,) = 1 для всіх / = 1... К. А це означає, що мають виконуватися рівності р (а_і9 Ь) = р (а^ = = p(b_t) та/>■(«//*,) =р (bj/a,) = 0 або/? (д., b) = 0 для всіху Ф і. Цей випадок стосується каналу з малими завадами, які не можуть спотворити повідомлення а_{- джерела А так, щоб спостерігач В помилився під час розпізнавання стану джерела В та вибору повідомлення b_r

Наведені вище умови означають повний збіг ансамблів А та В (нагадаємо, що до ансамблю входять множина повідомлень і множина імовірностей їх). А якщо це так, то середня кількість переданої інформації на одне повідомлення Н (А) при повній відсутності інформаційних втрат дорівнює такій самій кількості прийнятої інформації Н (В), тобто

■: І і -О І (А, В) = Н(А) = Н(В) = Н(А, В). (3.6)

50

51

Остання рівність випливає з того, що за наведених умов

Н(А/В) = Н(ВІА) = 0. (3.7)

Таким чином, кількість переданої інформації за відсутності завад дорівнює ентропії об'єднання джерел А та В або безумов­ній ентропії одного з них.

У разі повної статистичної незалежності джерел А та В, що характеризує високий рівень завад, коли повідомлення Ь_і ніяк статистично незумовлене повідомленням а_і9 маємо (див. п. 2.5)

Я (А/В) = Я (А); Я (В/А) = Я (В). (3.8)

При цьому ентропія об'єднання двох джерел становитиме

Н(А,В) = Н(В,А) = Н(А) + Н(В). (3.9)

У разі статистичної незалежності джерел А та В ніяка інформація від Ало В через її повне спотворення не передається. Інформаційною мірою цього спотворення є умовна ентропія одного джерела відносно іншого, яка збільшується від нуля згід­но з (3.7) до максимуму згідно з (3.8) у міру зростання статис­тичної зумовленості джерел А та В.

У проміжному випадку неабсолютної статистичної залеж­ності джерел А та В завади деякою мірою спотворюють повідом­лення, що статистичне відбивається у вигляді матриць імовір­ностей перехресних переходів (див. п. 2.5). При цьому умовна ентропія має певні рівні:

0<Н(А/В)<Н(А);0<Н(В/А)<Н(В). (3.10)

Ураховуючи викладене, кількість інформації, що передається в каналі, можна визначити так. Якщо джерело А вибрало пев­не повідомлення, то воно виробляє кількість інформації, що дорівнює Я (А). Джерело В, вибравши повідомлення Ь- є В, за умови порушення повної статистичної залежності джерел А та В виробляє певну кількість інформації про джерело А, що міс­титься в джерелі В й дорівнює Я (А/В).

Спостерігач В (приймальний пристрій), вибравши повідом­лення bj є В, приймає також рішення про повідомлення а, є А, яке передавалося, що є одним із його завдань. Прийнявши таке рішення, він виробляє кількість інформації про джерело А, яка дорівнює Я (А). Проте перед цим він уже одержав Я (А І В) бітів інформації про це джерело, тому кількість переданої в каналі інформації про джерело А як кількість нового відсутнього знан­ня визначається різницею

.№ І(А,В) = Н(А)-Н(АІВ). (3.11)

Вираз (3.11) збігається повністю з (3.6) за умови (3.7) при малих завадах і з урахуванням того, що за умови статистичної незалежності (3.8) джерел (великі завади в каналі)

І(А,В) = 0. (3.12)

Згадаємо, щоН(А,В) = Н (В, А); тому

Н(А) + Н(В/А) = Н(В) + Н(А/В). (3.13)

Знак рівності тут не зміниться, якщо від обох частин (3.13) від­няти суму Я {ВІЛ) + Я (А/В), тобто

Н(А)-Н (А/В) = Н(В)-Н (ВІА\ (3.14)

звідки

/ (А, В) = / (В, А). (3.15)

Таким чином, інформаційні втрати при передачі інформації в каналі визначаються умовною ентропією одного джерела від­носно іншого, а кількість переданої інформації — безумовною ентропією джерела та інформаційними втратами за виразом (3.11) або (3.15).

З урахуванням (3.11), (3.13) і (3.15) можна записати

¹ І(А,В) = Н(А)-Н(А/В) = Н(А)-[Н(А,В)-Н(В)] =

= Н(А) + Н(В)-Н(А,В); (3.16)

І(В,А) = Н(В)-Н(В/А) = Н(В)-[Н(В,А)-Н(А)] = _h =H(B) + H(A)-H(B,A).

Спостерігається повна симетрія цих виразів.

- 3.3. ПРОПУСКНА ЗДАТНІСТЬ ДИСКРЕТНОГО КАНАЛУ

Максимально можлива швидкість передачі інформації по каналу зв'язку називається його пропускною здатністю С. Ви­ходячи з виразу (3.5) маємо

C = kl(A,B)]_max=l[H(A)-H{A/B)]_max. (3.17)

Очевидно, вираз (3.17) досягає максимуму при абсолютному статистичному зв'язку джерел А та В, коли виконуються рів­ності (3.6) і (3.7). Це випадок малого рівня або відсутності спо­творюючих завад. Тоді

С = ІЯ(Л)_тах. (3.18)

52

53

Із п. 2.4 відомо, що безумовна ентропія джерела досягає мак­симуму при рівноймовірних і статистично незалежних по­відомленнях ар і = 1... к. При цьому р (а) = \Ік для всіх і та

^Я(^)тах^=:І0е2^/с-^0тЖЄ'

C = ilog₂A:. (3.19)

Цей вираз і визначає пропускну здатність каналу без завад.

Якщо в каналі є відчутні завади, а умовна ентропія на його вході та виході лежить у діапазоні (3.10), то пропускна здат­ність каналу із завадами визначається виразом

C = ±[log-₂ k-H(A/B)]. (3.20)

При зменшенні завад цей вираз прямує до (3.19), а при їх збільшенні - до нуля.

3.4. ТЕОРЕМА ШЕННОНА

ПРО КОДУВАННЯ ДИСКРЕТНОГО ДЖЕРЕЛА

Головна теорема інформації, сформульована та доведена К. Шенноном [44], називається теоремою кодування дискрет­ ного джерела. Пізніше з'явилося багато її модифікацій для різ­ них обумовленостей та ситуацій [3,13, 28, 29, 35, 37, 38]. Нижче цю теорему та її модифікацію подамо без доведення, яке можна знайти в [3, 42], і коротко прокоментуємо їх. _:

Нехай джерело повідомлень має ансамбль А - {я,}, і = 1, / та Р ⁼ (Р/Ь і ⁼ ІД Його безумовна ентропія дорівнює Н (А), а продуктивність —V^H (А), де V_m = T_m~^] — кількість повідом­ лень джерела за одиницю часу.

Нехай канал без завад має алфавіт В = {bj}J - 1, k та ентро­пію Н (В). Тоді швидкість передачі інформації по каналу R_K = = V_KH(B). Використаємо безнадмірні вхідні повідомлення кана­лу, які мають максимальну ентропію, що забезпечує максималь­но можливу швидкість передачі інформації в каналі С_к = V_K log₂ k (згадаємо, що Н (В) = log₂ k). Величина С_к називається пропуск-ною здатністю каналу з параметрами А: та V_K - Т_к~¹, де Т_к — тривалість передачі одного символу каналу.

Якщо взагалі надмірність повідомлень джерела не дорівнює нулю, то R_K < С_к. Як довів К. Шеннон, відповідним добором способу кодування при будь-якій надмірності джерела А мож­на забезпечити швидкість передачі інформації по каналу без завад як завгодно близьку до його пропускної здатності С_к.

Таким чином, умовою узгодження джерела та каналу є відповід­ність продуктивності першого пропускній здатності другого. Для доведення цього твердження К. Шеннон використав поняття типових і нетипових послідовностей повідомлень. Не­хай джерело А виробляє статистично незалежні повідомлення <7_/? / = 1, / (це не має особливого значення, але спрощує роз­гляд). Розглянемо деякі властивості довгих послідовностей по­відомлень джерела А. В бінарному випадку (алфавіт склада­ється з двох повідомлень) імовірність того, що в послідовності п буде / повідомлень а_х in- t повідомлень а₂, визначається бі­номним законом розподілу імовірностей

р, = С'р\(1-_Ріу->,

де C^l_n = n\/ [t\ (n - /)!] — кількість різних повідомлень із t елемен­тами а_х\п- t елементами а₂;р_х — імовірність появи повідом­лення а_х\ 1 -р_х =р₂ — ймовірність появи повідомлення а₂.

Зі збільшенням п значення tin-ts кожній реалізації довгої послідовності прямуватимуть до своїх математичних сподівань, які дорівнюють пр_х і п (1 -р_х) відповідно. Саме такі послідов­ності були названі типовими, оскільки незалежно від взаємного розміщення повідомлень а_х та а₂ в довгій послідовності кіль­кість їх буде однакова. Послідовність з іншим співвідношен­ням кількості повідомлень а_х та а₂ називаються нетиповими, причому ймовірність появи їх із збільшенням п прямує до нуля.

Усі типові послідовності повідомлень мають однакову ймо­вірність

p_T=pp»pf*₉

якщо п прямує до нескінченності.

Аналогічно для k різних символів алфавіту В на виході кана­лу (де k збігається з кількістю символів каналу) маємо ансамбль В = {bj)J = 1, k та Р = {Pj}J = 1 Д. Тут із збільшенням п кіль­кість появ кожного символу Ь: прямує до свого математичного сподівання, й саме така довга послідовність символів назива­ється типовою. В ній незалежно від конкретної реалізації кіль­кість кожного символу bj буде однаковою й дорівнює пр_}. Ймо­вірність такої послідовності символів визначається виразом

„ - « Р\^П « Рі^П „ РІГ^П

Р_Т ~Р\ ' Pi ² -Рк •

Як бачимо, ймовірність/?_т не залежить від конкретної реалі­зації типової послідовності символів, а залежить тільки від ан­самблю (тобто від обсягу алфавіту та розподілу ймовірностей). Таким чином, імовірність р_Т для всіх типових послідовностей джерела є величиною сталою.

54

55

Кількість різних типових послідовностей символів завдовж­ки п дорівнює п\/[ (пр_{)\ (пр₂)\... (пр_к)\], що випливає із законів комбінаторики. Всі типові послідовності символів рівноймовір-ні, а сума ймовірностей появи їх прямує до одиниці (це повна група випадків) при п —> оо. при цьому ймовірність нетипової послідовності прямує до нуля.

Таким чином, імовірність типової послідовності символів може бути подана якр_т = IIN_T (А), де N_T(A) — кількість типо­вих послідовностей символів джерела.

Розглянуті властивості послідовностей формулюються у ви­гляді такої теореми [3,42]: кожна реалізація довгої послідовності повідомлень стаціонарного джерела А за умови достатньої дов­жини їх з імовірністю, як завгодно близькою до одиниці, збіга­ється з однією з рівноймовірних типових послідовностей пові­домлень.

їх рівноймовірність зумовлює максимальне значення ентро­пії джерела типових послідовностей повідомлень так, що на кожну з них припадає найбільша з можливих кількостей інфор­мації І_Т = log₂ N_T (A). 3 іншого боку, ентропія джерела А визна­чається як

H(A) = (\-R_HJlog₂k₉

де Л_над — надмірність джерела А. Це дає змогу визначити /_т як

I_T = nH(A) = n(\~R_Hajl)\og₂k, звідки

log₂N_T(A) = n(l-R_HJ\og₂k.

Виходячи з визначення логарифма знаходимо

N_T(A) = 2"⁽¹" *"ад) ^,082*.

Кількість усіх можливих послідовностей повідомлень завдовж­ки я, складених з елементів-повідомлень джерела А, становить

N(A) = k" = 2^n]o^.

Тоді частка типових послідовностей повідомлень серед усіх можливих визначиться як

jV_t (A)/ N(A) = 2-^над i°g₂*.

При надмірності Л_над Ф 0 та п -» 0 ця частка прямує до нуля й лише при Д_над = 0 маємо N_T(A)I N (А) = 1, тобто в цьому разі кількість типових послідовностей повідомлень збігається з за­гальною кількістю послідовностей завдовжки п і всі вони рів-ноймовірні та використовуються для передачі інформації. Та-

ким чином, імовірність появи нетипових послідовностей пові­домлень прямує до нуля.

На цьому ґрунтується теорема Шеннона про кодування дис­кретного джерела, або, як її інакше називають, теорема коду­вання дискретного каналу без завад. Формулюється вона так: якщо пропускна здатність дискретного каналу без завад переви­щує продуктивність джерела повідомлень, тобто

V_K\og₂k>V_mH(A), (3.21)

то існує спосіб кодування та декодування повідомлень джерела з ентропією Н(А), що гарантує як завгодно високу надійність зі­ставлення прийнятих комбінацій повідомлень з переданими; якщо V_K log₂ k < К_дж Н (А), то такого способу немає.

Для доведення теореми всі типові послідовності повідомлень тривалістю Т кодують в алфавіті В обсягом k у вигляді кодо­вих комбінацій повідомлень тієї самої тривалості Т. Кількість символів на одну комбінацію нового алфавіту, що відображає типову послідовність повідомлень джерела А, становить п_в = = TV_K. Тоді кількість різних кодових комбінацій повідомлень у новому алфавіті В становитиме

N(B) = 2^TV№^2k.

Кількість же типових послідовностей повідомлень трива­лістю Г з розрядністю п = ТУ_ДЖ визначається як

N_T(A) = 2^TVw^H(^A\

Умову теореми можна записати у вигляді TV_K \og₂k > TV^Ji (A), або

N(B)>N_T(A).

Перепишемо цю умову так: N(B) = N_T(A) + є або N(B)/N_T(A) >

• 2^гє, де є > 0 — як завгодно мала величина. Виберемо є >

• (log₂e)/[7W_T (А)]; тоді N(B)/N_T(A) > е^1/дгтИ) і, врахувавши роз­винення в ряд є* = X х^п /пі, дістанемо

/7=0

N(B)>N_T(A)+l.

Таким чином, при виконанні умов (3.21) кількість різних кодових комбінацій повідомлень в алфавіті В принаймні на одиницю перевищує кількість типових послідовностей пові­домлень джерела А, що забезпечує безпомилкове декодування їх. При невиконанні умови (3.21), коли V_K log₂ k < У_ШН (А), маємо 2^7Гкі°82* < 2^гкдж^я^), або

Т N₁(A)IN(B)>2ⁿ.

56

57

і Вибравши є < (log₂ e)/[TN (В)], запишемо ^?

N_T (A)/N(B) > e^VNW =i + \/N(B) + 1/pW² (В)] + ...,

звідки випливає, що N_T (А) > N (В) + 1, тобто кількість типових послідовностей повідомлень принаймні на одиницю перевищує кількість різних комбінацій коду з максимальною ентропією. Це означає, що навіть при найкращому кодуванні, яке забезпе­чує однакову ймовірність використання всіх кодових комбіна­цій на вході каналу, а також максимальну швидкість передачі інформації, неможливо закодувати та передати всі типові послі­довності повідомлень N_T (А) джерела. В цьому й полягає дове­дення розглядуваної теореми.

Питання, пов'язані з точністю передачі повідомлень, оцін­кою вірогідності безпомилкової передачі їх, імовірністю поми­лок при відтворенні повідомлень тут не розглядалися. Про це йтиметься в розд. 9, де ці відомості знадобляться для оціню­вання якості конкретних кодів і методів передачі інформації.

КОНТРОЛЬНІ ЗАДАЧІ

1. Ансамбль повідомлень джерела А визначено як А = {я,, a_v a₃} та

р (а) = 0,65; р (а₂) каналу має вигляд

0,25; р (д₃) = 0,1. Матриця умовних імовірностей

0,99 0,13 0,15

0,005 0,75 0,35

0,005 0,12 0,5

_P{bjl_ai):

Визначити кількість інформації, що передається в одному та 100 по­відомленнях. Чому дорівнюють інформаційні втрати в каналі при пере­дачі 100 повідомлень з алфавіту А!

Pibjla,)--

2. Визначити інформаційні втрати в каналі передачі з матрицею умов­них імовірностей

1	0	0	0
0	1	0	0
0	0	1	0
0	0	0	1

3. Середня кількість інформації в будь-якому повідомленні be В дорів­нює 2,312 біт. Умовна ентропія на виході В каналу передачі відносно його входу А становить Н (В/А) = 0,312 біт/повідомлення. Визначити кількість інформації, що передається в 10 000 повідомленнях, а також середню швидкість її передачі, якщо на передачу зазначеної кількості повідомлень витрачається 1/3 хв.

4. Матриця сумісних імовірностей каналу передачі має вигляд

0,15 0,25 0,2

0,15 0 0

0

0,1 0,15

P(ai,bj)--

Визначити інформаційні втрати в каналі та швидкість передачі інфор­мації, якщо на передачу одного повідомлення витрачається 10~³ с.

5. Повідомлення передаються взаємонезалежними рівноймовірними символами тривалістю 5 • Ю^-4 с Визначити швидкість передачі кожного символу та всієї інформації, якщо обсяг алфавіту дорівнює 8^, 16, 32.

6. Час передачі повідомлення 0 дорівнює 0,1 с, а повідомлення 1 - 0,6 с Знайти розподіл імовірностейр₀ та/?,, за яких досягається максимальна швидкість передачі інформації.

7. Визначити продуктивність джерела з ансамблем А - {a_va_v а_у а_А, а₅, а₆, a_v a_$} тар.є {0,1; 0,2; 0,1; 0,15; 0,05; 0,1; 0,2; 0,1}; т.є {0,01; 0,001; 0,01; 0,005; 0,008; 0,006; 0,003; 0,001}. За яких умов ця продуктивність буде максимальною? Визначити її значення для того самого розподілу т..

8. Канал передачі задано ансамблем А = {a_v a_v я₃} та/?, є {0,3; 0,2; 0,5}. Матриця умовних імовірностей каналу має вигляд

Pibjla^

0,97 0,015 0,015" 0,015 0,97 0,015 0,015 0,015 0,97

Визначити пропускну здатність каналу при т = 10^-3 с і швидкість пере­дачі інформації.

9. Визначити пропускну здатність каналу, матриця ймовірностей яко­ го при т = 10~² с має вигляд

Г 0 0,2 0,15] p(a_hb:) = \ 0 0,2 0

L°>³ ° °>¹⁵J

10. Чи можлива безпомилкова передача інформації по каналу, пара­ метри якого задано в попередній задачі, якщо продуктивність джерела V =9,6Кбіт/с?

дж '

КОНТРОЛЬНІ ЗАПИТАННЯ

1. Чим визначається продуктивність дискретного джерела?

1. Як можна визначити продуктивність дискретного джерела з різ­ною тривалістю вибору повідомлень?

2. Як визначається швидкість передачі інформації по дискретному каналу?

3. Чому дорівнюють інформаційні втрати при передачі інформації по каналу зв'язку?

4. Чому дорівнюють втрати інформації в каналі з абсолютною ста­тистичною залежністю його виходу та входу?

5. Чому дорівнюють втрати інформації в каналі із статистично неза­лежними його виходом і входом?

6. Як визначається кількість інформації, що передається в одному повідомленні?

7. Як проілюструвати принцип симетрії для кількості інформації, що передається по каналу?

2. Як визначається пропускна здатність каналу передачі?

10. Як визначається пропускна здатність каналу за відсутності завад?

11. Як формулюється теорема Шеннона про кодування дискретного джерела?

12. У чому полягає зміст теореми Шеннона про кодування дискрет­ного джерела?

58

■лл

/І ХАРАКТЕРИСТИКИ JI НЕПЕРЕРВНИХ ^„.Д ДЖЕРЕЛ ІНФОРМАЦІЇ

Не всі повідомлення мають дискретний характер. Є й такі (мовні, телевізійні, факсимільні тощо), характер яких неперервний, на що треба звертати увагу. В цьому плані слід ураховувати втрати при перетворенні неперервних повідомлень на дискретні та інформаційні втрати при кодуванні неперервних джерел, уміючи оцінити швидкість передачі неперервних повідомлень і пропускну здатність неперервного каналу. Про все це йтиметься в цьому розділі.