Залежно від функції, що описує параметри, сигнали поділяються на аналогові, дискретні, квантовані та цифрові сигнали.:

•аналогові,що описуються неперервною функцією;

• дискретні, що описуються функцією відліків, взятих в певні моменти часу;

• квантовані за рівнем;

• цифрові.

34

Регулярні або детерміновані сигнали

Сигнали можна розділити на два великих

класи сигналів: детерміновані і випадкові.

Детермінованими називаються сигнали, мит-тєві значення яких в любий момент часу мо-жна передбачити з імовірністю, рівною оди-ниці і які задаються у вигляді певної функції часу. На рисунку приведено кілька прикла-дів таких сигналів:

• гармонічний сигнал з амплітудою А і періо-дом – Т (рис.1а);

• послідовність імпульсів з відомим періодом Т, тривалістю t_i і амплітудою А (рис.1б);

• послідовність імпульсів довільної форми з

відомою тривалістю t_і ,амплітудою А і періо-дом Т (рис.1в);

• неперіодичний сигнал з амплітудою А і три-

•валістю t_i (рис 1г);Це випадковий сигнал.

• модульований сигнал з відомими парамера-

ми модуляції (рис.1д). Цей сигнал називаєть-

ся радіосигналом.

35

Приклади сигналів (Аналог. і Дискр.)

Аналоговий сигнал (АС)

Дискретний сигнал (ДС)

Більшість сигналів мають аналогову природу, тобто змінюються неперервно в часі і можуть набувати будь-який значень на певному інтервалі. Аналогові сигнали описуються деякою математичною функцією часу.Приклад АС — гармонічний сигнал —

s(t) = A·cos(ω·t + φ).

Дискретизація аналогового сигналу полягає в тому, що сигнал подається у вигляді послідовності зна-чень, взятих в дискретні моменти часу. Ці значення називаються відліками.. Δt називається інтерва-

лом дискретизації.

36

Приклади сигналів (Квант. І Дискр.)

Квантований сигнал (КС)

При квантуванні вся область значень сигналу розби-вається на рівні. Відстань між цими рівнями називає-ться кроком квантування . Число цих рівнів рівне N (від 0 до N-1). Кожному рівню присвоюється деяке чис-ло. Відліки сигналу порівнюються з рівнями квантуван-ня і в якості сигналу вибирається число, що відповідає певному рівню квантування.

Цифровий сигнал (ЦС)		Для того щоб представити аналоговий сигнал послідо-
		вністю чисел скінченної розрядності, його потрібно спо
		чатку перетворити в дискретний сигнал, а потім ква-
		нтувати. В результаті сигнал буде представлений таки
		чином, що на кожному заданому часовому проміжку ві-
		доме приблизне (квантоване) значення сигналу, яке
		можна записати цілим числом. Якщо записати ці цілі
		числа у двійковій системі, отримається послідовність
		нулів і одиниць, яка і буде цифровим сигналом 37

Визначення поняття сигналу

Сигнал можна розглядати як певні відомості. Відомості це-повідомлення про проце-си, стани або фізичні величини об'єктів, виражені у формі зручній для передачі, об-робки, зберігання й використання цих відомостей.

Передавання та зберігання інформації, тобто перенесення інформації в просторі і часі здійснюється з допомогою сигналів. В системах управління і зв'язку в більшості випадків використовують електричні сигнали. Фізичною величиною, яка визначає такий сигнал є напруга або струм, який змінюється в часі по закону, що відповідає повідомленню.

Розрізняють дискретні і безперервні сигнали і про це ми вже говорили раніше. В свою чергу ці сигнали можуть бути поділені на детерміновані і випадкові. Розрізняють також прості і складні сигнали.

Сигнал називається детермінованим або регулярним, якщо його математичне представлення є заданою функцією часу.

З інформаційної точки зору це означає, що під регулярним сигналом розуміємо та-кий сигнал, який відповідає відомому повідом. Такі сигнали не несуть інформації.

Суть зв'язку полягає в тому, що потрібно передати отримувачу невідомі йому відо-мості. Сигнали, які несуть такі відомості, на приймальній стороні також будуть неві-домими. Такі сигнали, а також і завади для отримувача будуть випадковими або38 не-детермінованими.

Відносність поняття недетермінованності.

Сигнал для відправника інформації на передавальному кінці лінії зв'язку детерміно-ваний, так як при заданому способі передавання він визначається відомим повідом-ленням. Для отримувача той же сигнал буде недетермінованим, так як повідомлен-ня, що передається, на приймальному кінці лінії зв'язку буде невідомим. В реальних лініях зв‘язку, як правило, сигнали можуть бути детермінованими і недетерміновани-ми, так як деякі параметри сигналу отримувачу відомі завчасно, а деякі для нього є випадковими.

Між сигналом і завадою нема принципової різниці, бо завада

– це також сигнал, хоч і не бажаний для даної системи чи пристрою.

• ряді випадків одне і теж коливання для одної системи буде сигналом, а для дру-ої – буде завадою. Наприклад, е/м хвилі даної р/с будуть корисним сигналом для приймача , якому призначена передача цієї р/с, і в той же час, будуть завадою для інших приймачів, які працюють в тому же діапазоні частот. Другим прикладом мо-же бути космічне випромінювання : завада в УКХ діапазоні і корисний сигнал для радіотелескопі.

• медичній практиці для лікування деяких недуг дуже часто використо-

вують коливання ультрависоких частот. Тут ці коливання слід розглядати

39

як корисний сигнал. Для навколишнього простору – це завада.

Прості і складні сигнали

В системах передачі дискретних повідомлень кожний кодовий символ передається елементарним або простим сигналом. В більшості випадків елементарний сигнал представляє собою посилку постійного струму або відрізок гармонічного коливання. Елементарний сигнал несе найпростішу інформацію, наприклад, ТАК або НІ, плюс або мінус.

Сигнал, який представ. собою сукупність елементарних сигналів, наз. складним.

В теорії зв'язку вводиться поняття бази сигналу ν. Вона визначається як подвоєний добуток смуги частот сигналу на його тривалість: ν = 2TF ( 2.1) Для простих сигна-лів ν ≈ 1, для складних ν » 1. На цій основі прості сигнали часто називають вузько-смуговими, а складні – широкосмуговими. Нарешті, в теорії зв'язку виділяють так звані еталонні або пробні сигнали. Про ці сигнали ми вже раніше коротко говорили:

2.2

Рис.2.1	2.3

2.4

40

Сигнал, як випадковий процес

Випадковим сигналом називається сигнал, математичним описом якого є випадкова функція часу.

В реальних умовах при передачі повідомлень сигнал в точці приймання наперед не відомий і по цій причині не може бути описаний певною функцією часу. Те саме можна сказати про завади, поява яких в каналі зв'язку може бути обумовлене різ-номанітними і, частіше всього, невідомими для нас причинами. Таким чином, реальні сигнали і завади представляють собой випадкові процеси. Випадковий процес описується випадко-вою функцією, значення якої при любому значенню аргументу є випадковою величиною. Аргументом випадкової функції мо-же бути величина любої фізичної природи. Для електричних сигналів такою величиною є час. При незмінних умовах дослі-ду випадковий процес ξ (t) може приймати ту чи іншу конкрет-ну форму ξ_k (t ) (рис.2.2). Ці можливі форми випадкового про-цесу називаються його реалізаціями. Сукупність всіх можливих

реалізацій {ξ_k (t )} випадкового процесу ξ (t) називається анса-мблем. Реалізація ξ_k (t ) вже є не випадковими, а детермінова-

Рис.2.2 ними функціями. Разом з тим неможливо передбачити, яка ⁴¹бу-де реалізація процесу в кожному конкретному досліді.

Імовірнісні характеристики випадкового процесу. Одномірний закон розподілу випадкового процесу.

Якщо розглядати не кожну окрему реалізацію випадкового процесу, а їх певну суку-пність , то можна визначити імовірнісні характеристики випадкового процесу. Такими характеристиками є закони розподілу, які можуть бути отримані теоретич-но або на основі експериментальних даних.

Хай ξ (t ) – є випадковий процес. В деякий фіксований момент часу t₁ різні реалізації випадкового процесу ξ (t₁ ) будуть мати різні значення ξ₁ (t₁), ξ₂ (t₁), …. ξ_n ( t₁ )

(Рис.2.2).

Одномірна функція F розподілу або інтегральний закон розподілу визначається як імовірність Р того, що випадкова величина ξ (t₁ ) не перевищить деяке значення х₁: F₁ (x₁,t₁) = P[ξ (t₁) ≤ x₁ (2.5) Часткова похідна від одномірної функції розпри-

ділення дорівнює

F1 ( x1	, t1 )  p ( x , t )  (2.6)
x1	1	1	1

І називається одномірною густиною імовірності випадкового процесу {ξ_k (t)} для t =t₁

Закони розподілу випадкових величин є досить повними характеристиками випад-кового процесу. Разом з цим вони складні і вимагають для свого визначення опра-цювання великого об'єму експериментального матеріалу. Для вирішення багатьох практичних задач достатньо знати більш прості характеристики випадкового проце-

су. Такими характеристиками є середнє значення або математичне сподівання⁴,² дисперсія і функція кореляція випадкового процесу

Приклади вирахування імовірності події p_i

ПРИКЛАД №1. Пасажир чекає трамвай №2 або №10 на зупинці по вулиці N,

на якій зупиняються трамваї №2, №1, №9 і №10. Рахуючи, що трамваї всіх маршру-тів появляються випадково ( не по розкладу ) однаково часто, треба знайти імовір-ність того, що перший трамвай, який підійде до зупинки буде потрібного пасажиру маршруту.

РІШЕННЯ: Зрозуміло, що імовірність того, що першим підійде трамвай №2 дорівнює 1/4. Такою же буде імовірність, що першим підійде трамвай №10. Таким чином , імовірність, яку ми шукаємо буде:

P=1/4+1/4=1/2

ПРИКЛАД №2. Хай для деякого стрілка імовірність попадання в область 9 мішені дорівнює 0,25, а імовірність попадання в область 10 – 0,15. Яка імовірність того, що стрілок попаде в область 9 або в область 10 ?

РІШЕННЯ: По правилу додавання іморівностей отримуємо, що шукана
імовірність p=0,25 + 0,15= 0,4	43

Двомірний закон розподілу випадкового процесу

Двомірним інтегральним законом розподілу F₂ (x₁, t₁; x₂, t₂ ) випадкового процесу {ξ_k ( t )} називається імовірність того, що в момент часу t₁ функція ξ ( t ) не переви-щить деякого значення x₁ , а в момент часу t₂ - значення x₂ , тобто

F₂ ( x₁ , t₁ ; x₂ , t ₂ )  P[ (t₁ )  x₁; (t ₂ )  x₂ ]  (2.6 a)

Двомірна густина імовірності - p₂ визначається як часткова похідна (якщо вона існує ) другого порядку

p₂ ( x₁ , t₁ ; x₂ , t ₂ )  ^{2 F2 (}^{x1 ,}^{t1 ; x2 , t 2 )}  (2.6b)

^x1 ^x2

Добуток p₂ (x₁,t₁; x₂, t₂ )dx₁dx₂ виражає імовірність того, що в момент часу t₁ функція ξ ( t ) знаходиться в інтервалі між x₁ і x₁ + dx₁, а в момент часу t₂ - в інтервалі між X₂ I x₂ + dx₂. Аналогічним чином визначається тримірний, чотири мірний і.т.д. зако-ни розподілу.

44

Середнє значення(СЗ) і дисперсія випадкового процесу. (Загальні формули)

Середнє значення (СЗ) або математичне сподівання (МС) випадкового процесу

X ( t ) визначається по формулі:

X (t₁ )  ^_ x₁ p₁ ( x₁ , t₁ ) dx₁  (2.7)



В формулі (2.7) риска означає усереднення по множині значень випадкового проце-су. СЗ визначає собою деяку середню функцію, навколо якої групуються різні реалі-зації випадкової функції. Аналогічним чином можна визначити середнє значення СЗ квадрату або математичного сподівання (МС).



X ² (t₁ )  _ x₁² p₁ ( x₁ , t₁ ) dx₁  (2.8)



Дисперсія випадкового процесу визначається як математичне сподівання квадрата відхилення процесу від свого середнього значення

			2	
D[ X (t1 )]  [ X 1 (t1 )  X (t1 )]				  [ x (t1 )  x (t1 )]2 dx1dx2			 (2.9)
							45

Математичне сподівання на дискретній площині значень

Однією з часто використовуваних на практиці характеристик при аналізі випадкових величин є математичне сподівання. Під даним терміном часто вживають "середнє значення" випадкової величини X. Розраховувати його не так важко, особливо, як-що маємо дискретну випадкову величину з невеликою кількістю точок. Математичним сподіванням випадкової величини X, визначеної на дискретній мно-жині значень, називається величина, яка рівна сумі попарних добутків величин X на їх ймовірності появи p

Якщо множина обмежена ( 1…n ), то потрібно шукати суму скінченного числа доданків

Якщо множина є неперервною, то математичне сподіванням випадкової величини

визначається інтегруванням за формулою	46

Математичне сподівання і дисперсія дискретної та безперервної випадкової величини

Випадкова величин (В.В.) - це така величина, яка може приймати деякі свої значен-ня x_i з Імовірністю p_i . В.В. може бути дискретною і безперервною

Дискретна В.В. визначається рядом роз-

Розглянемо спочатку математичне

сподівання (МС) дискретної В.В.

приділень своїх значень xi ,які появляють-

ся з деякою імовірністю pi .Наприклад, ци-

МС це начебто середнє арифметичне

фри, які появляються при викиданні гра-

В.В. Його можна знайти по формулі

льног кубика. Значення xi I pi можна пред-

ставити у вигляді таблиці розприділень В.В.

n

M ( x ) 

xi pi

xi

2

5

6

i1

Дисперсія В.В. – це міра розсіяння В.В. навколо її математичного

pi

0,1

0,1

0,8

сподівання. Дисперсію дискретної В.В. можна знайти по формулі

D( x )  M ( x 2 ) [ M ( x)]2

Розглянемо тепер математичне сподівання (МС) безперервної В.В

M ( x ) 

 xf ( x ) dx

МС безперервної В.В. визначається наступною формулою



В той же час дисперсія безперервної випадкової величини

D ( x )   [( x  M ( x )] f ( x ) dx



Крім параметрів М(x) I D(x) в цій теорії використовують понят-

 x 

D ( x)47

тя середньо квадратичного відхилення випадкової величини σx

Приклад знаходження математичного сподівання

Закон розподілу дискретної випадкової величини задано таблично

Обчислити математичне сподівання. Розв'язання. Згідно наведеної вище формули, обчислюємо

Таким чином, знайдене математичне сподівання рівне 0,5 ₄₈

Зміст дисперсії , функція кореляції і функція взаємної кореляції

Дисперсія є мірою розкиду				 0	дисперсія співпадає з середнім
значень випадкової функції	При		X (t )		значенням квадрату випадкового
навколо середнього значення.					процесу :

D[ X (t₁ )]  X ² (t₁)  _x²

Середнє значення ( математичне сподівання ) і дисперсія характеризують поведінку випадкового процесу в окремі моменти часу.

Статистичний зв'язок між значеннями випадкового процесу X ( t₁ ) і X( t₂ ), які прий-мають ці значення в моменти часу t₁ і t₂ , описується функцією кореляції. Ця фун-кція визначається як математичне сподівання добутку цих значень:

 

B_x (t₁ , t ₂ )  X (t₁ ) X (t ₂ )  _{ } x₁ x₂ p₂ ( x₁ , t₁ ; x₂ , t ₂ ) dx₁dx₂  (2.10)

  

Статистичний зв’язок двох випадкових процесів X ( t ) I Y ( t ) в моменти часу t₁ I t₂ описується функцією взаємної кореляції:

B _xy (t₁ , t ₂ )  X (t₁ )Y (t ₂ )  ^_ ^_ xyp₂ ( x , t₁ ; y , t ₂ ) dxdy  (2.11)49

 

Статистична незалежність випадкових функцій

Якщо випадкові функції X ( t ) I Y ( t ) статистично незалежні, то двомірна густина імовірності розпадається на добуток двох одномірних:

p₂ ( x, t₁ ; y , t ₂ )  p₁ ( x, t₁ ) p₁ ( y , t ₂ )

а функція взаємної кореляції B_xy ( t₁,t₂ ) = X (t₁ )Y (t ₂ ) Якщо в останній ф - лі

X (t₁ )  Y (t ₂ )  0, то  і  B_xy (t₁ , t ₂ )  0

Статистична залежність тягне за собою відсутність кореляції. В той же час зворотне твердження в загальному випадку не є вірним.

Для деяких випадкових процесів середнє значення (математичне сподівання ) і фун-кція кореляції є вичерпними характеристиками. До таких процесів, наприклад, від-носиться процес, який має нормальний розподіл імовірностей.

Слід зазначити, що математичне сподівання (середнє значення )

і дисперсія випадкового процесу є функціями моменту часу t₁, а функція кореляції- функцією двох моментів часу t₁ I t₂.

50

Приклади вирахування матсподівання та дисперсії

Знаходимо математичне сподівання дискретної випадкової величини по формулі M (x )=Σ x_i p_i =

=2·0,1 + 3·0,6 + 5·0,3 = 3,5

Знаходимо закон розподілу квадрату випадкової величини

X2	4	9	25
pi	0,1	0,6	0,3

Математичне сподівання від x² : M (x²)=4·0,1+9·0,6+25·0,3=13,3

Дисперсія випадкової величини X

D (x ) = M ( x² ) – [ M ( x )]² = 13,3 – ( 3,5 )² = 1,05

Відповідь: M ( x ) =3,5 D ( x ) =1,05

51

личина (В.В,) відтворює деяку подію, то кожній В.В.відповідає деяка імовірність P її появи. Співвідношення між значен-нями В.В. і її імовірністю називається

Випадкова величина і закон її розподілу

Теорія імовірності працює з двома поняттями: подія і імовірність .

Подія – це є якась дія, робота. Імовірність можливість її появи

Випадкова величина, яка приймає конкрет-		Випадкова величина, яка приймає любі
ні значення називається дискретною.		значення в межах від a до b називаєть-

Наприклад, проведення контрольної робо- ^{ся безперервною. Так як випадкова ве-}

ти в класі. Тут випадковими величинами будуть оцінки одержані учнями в результа-ті її виконання. Одержані оцінки, в наведе-

ному прикладі, будуть дискретними випад-

ковими величинами, які можна представити ^{законом розподілу В.В. Закон розподі-}законом розподілу у вигляді табличного ^{лу безперервної В.В.задається деякою} ряду розподілу дискретної випадкової вели- ^{функцією f (x ) і імовірністю події p.}

^{чини. При цьому кожній випадковій величиніПри цьому можна} записати

відповідає деяка ймовірність її появи. Ці	b
	p ( a  x  b )   f ( x ) dx
дані приведені в наступній таблиці:
	a

xi	2	3	4	5	Дискретні випадкові
					величини
pi	0,1	0,2	0,6	0,1	Імовірність їх появи

Графік функції f (x ) безперервної В.В.- називаєть-ся кривою розподілу. Імовірність події не може бути

більше одиниці. І тому		52
 pi  1  або   f ( x ) dx 1



Ергодичність стаціонарних випадкових процесів

Випадковий процес називається стаціонарним, якщо його математичне сподівання не залежить від часу, тобто

24. (t )  _xp ( x ) dx

• кореляційна функція залежить тільки від різниці t₂ – t₁ = τ

Для стаціонарних процесів в більшості практично важливих випадків справедлива ергодична теорема, відповідно до якої усереднення по ансамблю можна заміни-ти усередненням по часу.

Властивість ергодичності має велике практичне значення,Вона дозволяє при дос-лідженні статистичних властивостей випадкового процесу розглядати не множину їх реалізацій, а всього лише одну реалізацію достатньо великої протяжності. Наприк-лад, при вивченні властивостей шуму на виході підсилювача не треба мати велику кількість підсилювачів, які будуть давати різні реалізації шуму, а достатньо взяти один підсилювач і дослідити шум на його виході на протязі довгого проміжку часу.

Найважливішою характеристикою ергодичного процесу є його кореляційна функція Хай x ( t ) є напруга на виході приймача. Якщо в момент часу t значення шуму x (t ) велике, то мало імовірно, що в момент часу t + τ, де τ – мала величина, вона стане дуже малим. Якщо взяти τ досить великим, то величина x ( t + τ ) може бути якою завгодно. Другими словами, між x ( t ) I x ( t + τ ) є залежність, яка послаблюється⁵³

при збільшенні τ.

Властивості ергодичних систем

1. Перевага ергодичних систем в тому, що при значному часі спостереження такі системи можна описати статистичними методами.

2. Для ергодичного процесу характерне те, що числові характеристики процесу

( математичне сподівання, дисперсія, кореляційна функція ), які вираховуються шляхом усереднення по ансамблю процесу і вирахувані по одній (любій ) його реалізації (шляхом усереднення по часу) співпадають.

3. Для ергодичного процесу один екземпляр реалізації процесу на інтервалі часу Т… ∞ еквівалентний всьому ансамблю реалізацій процесу.

3. Ергодичний процес є, насамперед, стаціонарним процесом.

3. Хоча ергодичний процес повинен бути строго стаціонарним, але не всі строго стаціонарні процеси є обов'язково ергодичними.

3. По відношенню до сигналу, то якщо сигнал є ергодичним, то всі його характерис-тики можуть бути оцінені по одній реалізації в часі.

Якщо дати загальне визначення терміну ЕРГОДИЧНІСТЬ, то Ергодичність – спеціальна властивість деяких динамічних систем, яка полягає в тому, що в процесі еволюції ергодичної системи майже можна точка її з певною імовірністю проходить поблизу любої другої точки системи.

ПРИКЛАДИ ЕРГОДИЧНИХ СИСТЕМ: 1. Певні цикли еволюції життя людини в дина-мічній системі реінкернації суспільства (Реікарнація – це нам дана Божественним або Космічним Законом можливість народжуватись заново) 2. Фази розвитку моди в

плинності часу. Таким чином – процес еволюції життя людини і процес розвитку мо-

54

ди – це ергодичні процеси

Використання теорії інформації у техніці передавання

Є дві основних форми існування інформації - статична (у вигляді записів на папе-рі, стрічці, диску, фотопапері тощо) та динамічна - під час її передавання. Потрібно зауважити, що процес фізичного перевезення чи пересування носія інформації (лис-та, магнітної стрічки, диска, касети тощо) не відноситься до динамічної форми існу-вання інформації. Якщо дані передаються каналом зв’язку, то у кожній точці каналу під час передавання процес змінюється в часі і так само змінюється вплив зовніш-ніх факторів на сигнали, що несуть в собі інформацію. При фізичному перевезенні цього не відбувається, хоча дані, що зафіксовані на носію, теж підпадають під вплив зовнішніх факторів і можуть руйнуватися з часом.

Таким чином, статичною цю форму можна назвати відносною. Більш точне визна-

чення - квазистатична.

Інформація, що зберігається на носію, може зчитуватись, передаватись, знов запи-суватись, тобто вона може багаторазово переходити з однієї форми існування до іншої.

Основна проблема - передавання інформації з найменшими втратами. При цьому необхідно оцінювати інформацію кількісно.

55

Інформація та її характеристики

Перша спроба ввести науково обґрунтовану міру інформації була зроблена в 1927 році Р. Хартлі (Англія). Він запропонував та обґрунтував кількісну міру, яка дозволяє порівнювати спроможність різних систем передавати інформацію. Ця міра підходить і для систем зберігання інформації, тому вона є відправною точкою д ля створення теорії інформації.

Природною вимогою, що пред’являється до інформаційної міри є вимога адитивності, тобто кількість інформації, що може бути збережена у двох однакових комірках повинна бути удвічі більшою за ту, що зберігається в одній з них.

Якщо одна комірка для зберігання інформації має m можливих станів, то дві таких комірки будуть мати m² можливих станів, а n однакових комірок – mⁿ можливих станів. Це саме стосується і кількості можливих повідомлень. Якщо символ може прийняти значення 0 або 1, то з одного символу можуть бути одер-жані 2 повідомлення, з двох символів - 4, з трьох - 8 тощо. Таким чином кількість можливих повідомлень визначається кількістю символів, що входять до слова n та кількістю можливих станів символу m: mⁿ. Тому Р.Хартлі ввів логарифмічну міру

інформаційної ємності: C = logm (4.1)

Наприклад,якщо слово складається з 4 символів(n=4), а к-ть можливих станів символу також дорівнює 4 (m=4), то загальна к-ть повідомлень або логарифмічна міра інфор.ємності буде

C = log₂ m ⁿ=nlog₂m=4log₂4 =4·(lg4/lg2)=4·(0,6/0,3)=8 двійк.од.=8 біт ⁵⁶

Загальна ємність повідомлення

Таким чином, ємність повідомлення, що складається з n комірок і має mⁿ станів, дорівнює ємності однієї комірки, помноженої на їх кількість:

C = log mn = n log m біт

4.2

Цю формулу можна пояснити ще по іншому:

Хай можливе повідомлення побудоване на основі букв алфавіту, який складається

• m різних букв. Необхідно визначити, яка кількість інформації передається в слові

• n букв, якщо імовірність появлення букв однакова. Так як букви появляються неза-лежно одна за одною, то кількість інформації в слові з n букв буде так само визнача-

тись формулою (4.2), тобто якщо m=32 (алфавіт), n=5(к-ть букв у слові), то С=

5log₂32=5·(1,5/0,3)=25 біт

Для двійкового коду, коли елементарне повідомлення складається з двох елемен-тів "0" і "1“, тобто m =2 несе інформацію (по формулі 4.2) C=n log₂ 2 = n, двійк. од

Інформаційна ємкість С у двійкових одиницях в загальному випадку визначається

по формулі:	C = ka·log2 m	( 4.3)
де ka – коефіцієнт, що залежить від основи логарифму а.		57

Середня кількість інформації, що припадає на символ

Якщо припустити, що може передаватися n_а символів у повід. S_а, що відповідають події А,і n_b символів у повідомленні S_b, що відповідають події В , а всього буде m різних символів. Символи повідомлень S_a, S_b являють собою алфавіт з різних m символів. Сума усіх символів q складає:

q = n_a + n_b+…… (4.6)

Згідно (4.5) приймання символів повідомлення S_a дає кількість інформації:

ΔI = - log pa ,

4.7

де p_a - імовірність події А.

Тоді у n_a символах міститься кількість інформації І= n_a (- log p_a ). Загальна кількість інформації складає:

m
Iq = (-na·log pa - nb·log pb - …) = ni log pi	4.8
i1

Вираз для визначення середньої кількості інформації, що припадає на один символ, можна отримати, розділивши (4.8) на q:, де q –сума всіх символів:

m	ni
I1  		log pi	4.959
i1	q

Ентропія дискретних повідомлень

З формулі (4.9) для середньої кількості інформації при	lim	(	ni	)  p	і
pa  pb  .... 1	q  		q	i
				4.10 і 4.11

отримуємо остаточно формулу, яка визначає середню кількість інформації на один символ

m
I1   pi log pi	4.13

i 1

де p_s – імовірність появи і – того символу, m- к-ть символів або к-ть станів джерела Формула (4.13) виражає теорему К.Шеннона, згідно якої середня кількість інформа-ції, що припадає на один символ, отримала назву ЕНТРОПІЇ – Н і визначається з формули

m
H   pi log pi Біт/символ 4.14	60
i1

Ентропія – характеристика невизначенності ситуації при передачі повідомлень

Ентропія являє собою логарифмічну міру безладдя стану джерела повідомлень і характеризує середню степінь невизначеності стану цього джерела. Отримання ін-формації - процес розкриття невизначеності.

В інформаційних системах невизначеність знижується за рахунок прийнятої інфор-мації, тому чисельно ентропія Н дорівнює кількості інформації І, тобто є кількісною мірою інформації.

Якщо усі m різних станів джерела рівноімовірні і враховуючи, що p_i =1/m , то ентро-пія максимальна:

		m	1		1		Приклад, коли m=4,то р1=р2=
	H max   			log		 log m	Р3=р4=1/mi і Hmax=log24=		4.15
			m		m
							2·біт/симв.
		i1
		Якщо повідомлення нерівноімовірні, то середня кількість інфор-
		мації, що вміщується в одному повідомленні, буде меншою.
		При використанні двійкової системи з рівними імовірностями
		p=1/2 виникнення 0 та 1, згідно із формулою Шеннона:
		H = -0,5log20,5 – 0.5log20.5 = 1.
Рис 4.1 Ентропія Н		Ентропія - Н, а з нею к-ть інформації I дорівнюють нулю,							коли
		P1 =0 або pi=1. Це видно з рисунка.							61
як функція p

Деякі коментарі до виразів кількості інформації та Ентропії

Формула (4.13) , яка виражає кількість інформації на один символ і вираз (4.14), який називається Ентропією – одинакові і ці вирази співпадають з формулою (4.15) для Ентропії, при 1/m=p_i , де m – к-ть можливих станів комірки для зберігання інфо-рмації, p_i – імовірність появи i – того символу в повідомленні.

Кількість інформації в повідомленні І(х) і Ентропію Н(х) по всій сукупності випад-кових повідомлень Х, можна отримати усередненням по всім подіям у вигляді:

n	p ( xi )
I ( X )  H ( X )   p ( xi ) log a		4.16

i1

Залежність (4.16) виражає середнє на одну подію кількість інформації і ентропії. Термін "ентропія― взята з термодинаміки, де аналогічний вираз характеризує серед-ню невизначеність стану системи молекул речовини. Не дивлячись на співпадання залежностей для I(X) I H(X) вони принципово різні. Так H(X) виражає середню неви-значеність стану джерела повідомлення і, якщо відома статистика повідомлень, то ця ентропія, тобто H(X) може бути вирахувана апріорно, тобто до отримання пові-домлення споживачем. В свою чергу I(X) є апріорною характеристикою і визначає кількість інформації, яке отримується з поступленням повідомлення.

H(X) є міра безладдя інформації або невизначеності про стан окремої сис-теми. З поступленням інформації про стан системи ентропія останньої понижується62.

Що значить співпадання формул для I(X) I H(X) ?

Співпадання виразів для I(X) I H(X) говорить лише про то, що кількість інформації, що отримується, дорівнює чисельно ентропії, яка мала місце відносно джерела по-відомлень.

Одиниці вимірювання кількості інформації і ентропії залежить від вибору основи логарифма "а" в формулі (4.16) для I(X) I H(X), При виборі десяткових логарифмів (а=10) кількість інформації і ентропія визначається в десятичних одиницях – дитах. В випадку використання двійкових логарифмів (а=2) параметри I(X) I H(X) вимірю ються в двійкових одиницях – бітах. І нарешті, при використанні натуральних лога-рифмів (а=е=2.73) одиницею вимірювання є натуральна одиниця – ніт.

Міра кількості інформації у вигляді співідношення (4.16) вперше була запропонова-на Клодом Шенноном в 1948 році і потім більш строго визначена А.Я.Хінчиним в ро-боті "Понятие энтропии и теории информации". (1953р). В випадку рівної імовірнос-ті повідомлень (p₁=p₂=1/2) і застосування бінарної системи вираз (4.16) для кілько-сті інформації I(X) можна привести до вигляду

I ( X )   log 2 p ( xi )  log2 m

4.17

де m=1/ p( x_i ) –кількість повідомлень, що передаються. Така міра інформації була запропонована в 1928 році американцем Ральфом Хартлі і дуже часто називають63 мірою Хартлі.

Основні властивості ентропії дискретних повідомлень

Ентропія дискретних випадкових повідомлень (вираз 4.17) має наступні властивості: 1. Ентропія є дійсною величиною, обмеженою і не від'ємною. Ця властивість вихо-дить з того, що імовірність p(i) є величиною додатньою (не від'ємною), яка знаходи-ться в проміжку ( 0 ≤ p(x_i) ≤ 1 )

2. Ентропія детермінованих повідомлень дорівнює нулю.

3. Ентропія максимальна, якщо повідомлення рівноімовірні. ( див.рис.4.1)

3. У випадку m рівноімовірних повідомлень їх імовірність p(x₁)=p(x₂)=…=p(x_m) = 1/m

4. У випадку рівноімовірних повідомлень ентропія зростає з ростом їх кількості m і її максимальне значення буде дорівнювати:

m	1			1				Приклад: при m=2, Hmax =1. при m=5,
H ( X max )   		log	2		 log	2 m	4.18
	m			m				Hmax =2.35. при m=10, Hmax =3,33.
i1

6. Ентропія системи двоальтернативних подій може змінюватися від 0 до одиниці. При цьому максимум ентропії буде мати місце, коли p(x₁) = p(x₂) і тоді максималь-не значення ентропії буде дорівнювати:

H ( X )		 	1	log		1		1	log		1	1дв.од.	4.19
	max		2		2 2			2		2 2

Т аким чином, можна стверджувати, що одна двійкова одиниця – це ентропія систе-

64

ми двох рівноімрвірних незалежних подій.

Передавання інформації без завад

Ємність каналу – це гранична швидкість передавання інформації цим каналом

	lim	(	log q	)	4.20
C  T  			T

де q – кількість елементарних інформативних повідомлень, що передаються за час Т. Якщо сигнали передаються зі швидкістю S імпульсів за секунду, тобто S=1/τ, де τ – час передавання одного імпульсу, то тоді за час Т можна передати n імпуль-сів

n = T/τ =ST	4.21

Для двійкового каналу, що пропускає лише елементарні сигнали "0" і "1―, максималь-на кількість комбінацій елементарних сигналів q, яка може бути передана за час Т,

q = 2ⁿ = 2^ST

Тоді емність бінарного каналу зв'язку визначається залежністю (4.22)

	4.22
Для недвійкового каналу к-ть комбінацій q = mST,
де m- к-ть символів в алфавіті. При цьому ємність	65
каналу виражається формулою (4.23)→→→→→→→	4.23

Узгодження джерела інформації з

каналом

Ємність каналу зв’язку С може бути виражена у бітах на символ. Якщо до входу каналу підключене джерело повідомлень з ентропією на символ, що дорівнює ємності каналу зв’язку, то джерело інформаційно узгоджене з каналом. Якщо ентропія джерела менша ніж ємність каналу, то ємність каналу використовує-ться не повністю (канал інформаційно недовантажений).

Узгодження джерела з каналом є досить складною справою і реалізовується за допомогою статистичного кодування. К. Шеннон показав, що інформаційне узгодження, яке досягається статистичним кодуванням, аналогічне енергетич-ному узгодженню внутрішнього опору електричного генератора з навантажен-ням за допомогою трансформатора для передавання від генератора макси-мальної потужності. Тут маємо на увазі узгодження джерела з каналом зв’язку за допомогою пристрою кодування з метою максимального використання єм-ності каналу.

66

Особливості передавання повідомлень в каналі з шумами

Завади (англ. interference) або шуми (англ. noise) у каналі зв’язку суттєво усклад-нюють передавання інформації. На приймальному боці немає впевненості, що той чи інший елемент повідомлення будуть прийняті у тому вигляді, в якому вони були передані. Тому під час передавання каналом із завадами виникають дві проблеми:

– підвищення ефективності передавання;

– підвищення вірогідності (завадозахищеності) передавання. Ці проблеми до певної міри протилежні.

Якщо за рахунок впливу шуму був прийнятий елемент повідомлення j, в той час, як був переданий елемент i, то збільшення інформації можна визначити:

4.24

де p_i – апріорна імовірність передавання елемента i; p_j (i) – умовна імовірність прий-мання елемента j в той час, як був переданий елемент i.

Якщо шуми досить великі, повідомлення, що приймається, не вміщує інформації і приймання його не змінює початкових знань. За умови відсутності шуму: p_j(i) = 1, якщо i = j, або p_j (i) = 0, і якщо j ≠ і.,в цьому випадку маємо

4.25 67

Пропускна здатність каналу з шумами - R_c

Пропускна здатність каналу R_c з шумами (у двійкових одиницях на символ) дорівнює середньому за всіма i та j значенню приросту інформації:

4.25а

де	– ентропія джерела

– ентропія повідомлень на приймальному боці;

– умовні ентропії.

68

Швидкість передавання інформації для каналу з шумами

Для каналу з шумами швидкість передавання інформації (у бітах за секунду):

4.26

де S – кількість символів, що передаються за секунду, R_с –пропускна здат. каналу

4.27

Тоді остаточно швидкість передавання інформації дорівнює:

4.28

Якщо швидкість передавання інформації каналу складає 1000 біт/с, а дія завад вик-ликає помилку у 1% символів, то за умови, що імовірності передавання «0» та «1» однакові, ентропія є максимальною Н = 1 (біт/символ). Імовірність того, що під час передавання «0» приймається «1» складає p₁ (0) = 0,01. Відповідно до цього інші умовні імовірності будуть p₀ (0) = 0,99; p₀ (1) = 0,01; p₁ (1) = 0,99. Розраховані ент-ропії складають: H_i = 1, Н_i (j) = H_j (i) = 0,081. Згідно з (4.28) швидкість передавання інформації каналом із шумами:

v = 1000 ⋅ (1 – 0,081) = 919 (біт/с).

Таким чином швидкість передавання інформації під впливом шуму зменшується⁶⁹ більш різко, ніж кількість правильно переданих символів.

Ємність бінарного каналу з шумами

Рис.4.2

На рис.4.2 наведений графік залежності ємності бінарного каналу з шумами від імовірності спотворення елементів.

К. Шеннон доказав, що якщо ентропія джерела інформації не перевищує пропу-скної здатності каналу, тобто Н ≤ С, то існує код, який забезпечує передавання інформації каналом із шумами з якою зав-годно малою частотою помилок або з якою завгодно малою невірогідністю.

При Н > С такого коду не існує, тобто пе-редавання без помилок неможливе.

К. Шеннон визначив також максимальну швидкість передавання інформації:

4.29

де f_ш – смуга частот каналу, Р_с – середня потужність сигналу, Р_ш – середня потужність білого шуму

Таким чином. Інформація може бути переданою, якщо швидкість передавання інформації не пере-

вищує максимальної швидкості каналу.

70

Максимальна кількість інформації, яка передається каналом за час Т

Для випадку, коли Pc >> Pш одиницею у формулі( 4.29 ) можна знехтувати і тоді:

4.30

Максимальну кількість інформації, яка може бути передана за час Т знаходимо, як

4.31

Оскільки ця величина може бути зображена у вигляді паралелепіпеда, то вона от-римала назву об’єму сигналу. Таким чином можна змінювати окремі параметри си-гналу, не змінюючи його об’єм. Якщо до виразу (4.31) підставити потенційні можли-вості каналу передавання (час, на який канал надається користувачу, виділена йо-му смуга частот і максимальна потужність сигналу, що може передаватися кана-лом), то параметр матиме назву ємність каналу. Для передавання сигналу кана-лом зв’язку необхідно, щоб об’єм сигналу був не менший, ніж ємність каналу, тобто необхідно виконати умову

Vc ≤ Vk

4.32

71

Умови передавання інформації каналом зв'язку

Якщо ж згадана умова не виконується, то сигнал передати цим каналом зв’язку неможливо. Може бути ситуація, при якій дана умова виконується, але смуга частот, на яку розрахований канал, менша за смугу частот сигналу або час, який виділено на передавання інформації менший, ніж необхідно, тобто умова (4.32) розпадаєть-ся на систему:

4.33

Одним з найбільш поширених способів перетворення сигналу є варіювання величинами f_с та T_с за їх незмінним добутком. Потужність сигналу, як правило, не збільшується.

72

ОСНОВИ ПЕРЕДАЧІ ДАНИХ

73

Теоретичні основи передачі даних

Будь-який сигнал g (t) або x(t) можна розглядати як функція часу (t), або як функцію частоти (f).

У першому випадку, тобто при часовому поданні, функція g (t) показує, як змінюються параметри сигналу, наприклад, напруги або струму, з плином часу. Якщо ця функція має безперервний характер, то говорять про зміну в часі безпере-рвного сигналу.

Якщо ця функція має дискретний вигляд, то говорять про зміну в часі дискретного сигналу.

Частотне подання функції засноване на тому факті, що будь-яка функція може бути представлена у вигляді ряду Фур'є.

(1),

де –f частота, a_n ,b_n - амплітуди n-ой гармоніки.

Характеристику каналу, який визначає спектр частот, яку фізичне середовище, з якої зроблена лінія зв'язку і яка утворює канал зв'язку, пропускає без істотного зниження потужності сигналу, називають смугою пропускання F.

Максимальну швидкість V_max , з якою канал здатний передавати дані, називають

пропускною спроможністю каналу або бітової швидкістю каналу

74

Теорема Найквіста

У 1924 р. Гаррі Найквіст відкрив взаємозв'язок між пропускної здатністю \каналу і шириною його смуги пропускання.

Теорема Найквіста: V_max =2F log₂ M біт/сек

де V_max - максимальна швидкість передачі F - ширина смуги пропускання каналу, виражена у Гц, М - кількість рівнів сигналу, які використовуються при передачі. Наприклад, із цієї формули видно, що канал з смугою 3 кГц не може передавати дворівневі сигнали ( M=2 ) швидше 6000 біт/сек.

Ця теорема також показує, що, наприклад, безглуздо сканувати лінію частіше, ніж подвоєна ширина смуги пропускання. Дійсно, всі частоти вище цієї відсутні в сиг-налі, а тому вся інформація, необхідна для відновлення сигналу буде зібрана при такому скануванні.

Остаточно, ця теорема була сформульована Гаррі Найквістом в 1928 році у роботі

«Certain topics in telegraph transmission theory».(Вибрані розділи теорії передачі

телеграфу)

Однак, теорема Найквіста не враховує шум в каналі, який вимірюється як відношен-ня потужності корисного сигналу до потужності шуму: S/N. Ця величина вимірюється в децибелах: 10lg(S/N) dB. Наприклад, якщо відношення S/N дорівнює 10, то гово-рять про шумі у 10 dB, якщо відношення дорівнює 100, то то говорять про шум75в

20 dB.

Теорема Клода Шеннона

або теорема відліків, що визначає максимальну швидкість передачі по каналу з шумом

На випадок каналу з шумом є теорема Клода Шеннона, за якої максимальна швид кість передачі даних по каналу з шумом дорівнює:

V_S/N = F log₂ (1+S/N) біт/сек

де S/N - співвідношення сигнал-шум у каналі (раз).

Тут вже не важливо кількість рівнів в сигналі. Ця формула встановлює теоретичну межу, яка рідко досягається на практиці. Наприклад, по каналу з смугою пропускан-ня F= 3000 Гц і рівнем шуму 30 dB = 1000 раз ( S/N=1000)(це характеристики теле-фонної лінії) не можна передати дані швидше, ніж зі швидкістю 30 000 біт/сек.

• англомовній літературі ця теорема відома під іменем теореми Найквіста

– Шеннона і називається теоремою відліків.

В 1933 році подібні роботи були опубліковані Володимиром Олександровичем Котельніковим в його роботі "Про пропускну здатність ефіру і дроту в електро-

76

зв'язку", що є однією з основоположних теорем в теорії і техніці цифрового зв’язку.

Теорема Котельнікова

Теорема В.О.Котельнікова	свідчить, що якщо безперервний сигнал x(t) має спектр,
обмежений частотою Fmax	, то він може бути однозначно і без втрат відновлений

за своїми дискретними відліками, узятими з частотою f_дискр =2F_max , або, по-іншому,

за відліками, взятими з періодом T_дискр = 1/2F_max

Теорему Котельнікова можна сформулювати наступним чином:

Для того, щоб відновити сигнал при прийомі без втрат, необхідно, щоб частота дискретизації була хоча б у два рази більша за максимальну частоту вихідного сиг-

yалу f_дискр ≥ 2F_max .

Теорема Котельникова розглядає ідеальний випадок, коли сигнал почався нескін-ченно давно й ніколи не закінчується, а також не має в часовій характеристиці то-чок розриву. Саме це має на увазі поняття «спектр, обмежений частотою F_max ».

Реальні сигнали є скінченні у часі і, звичайно, мають у часовій характеристиці роз-риви, відповідно їх спектр не безкінечний. У такому випадку повне відновлення сиг-налу неможливо і з теореми Котельникова випливають 2 наслідки:

1. Будь-який аналоговий сигнал може бути відновлений з якою завгодно точністю за своїми дискретними відліками, узятими із частотою f > 2F_max , де F_max максималь-на частота, якою обмежений спектр реального сигналу.

2. Якщо максимальна частота в сигналі перевищує половину частоти дискретизації,

77

то способу відновити сигнал з дискретного в аналоговий без спотворень не існує.

Деякі історичні факти, які зв'язані з теоремою Котельнікова

• західній літературі теорема Котельнікова називається теоремою Найквіста з поси-ланням на його роботу 1928 року. В цій роботі мова йде лише про необхідну смугу лінії зв'язку для передачі імпульсного сигналу ( частота повторюваності повинна бути меншою подвоєної смуги). Таким чином, в контексті теореми відліків доречно говорити лише про частоту Найквіста. Про можливість повної реконструкції вихід-ного сигналу по дискретним відлікам в цій роботі мова не йде.

Повна теорема була запропонована і доведена В.О.Котельніковим в 1933 році в ро-боті "Про пропускну здатність ефіру і дроту в електрозв'язку", в якій, зокрема, були

сформульована одна з теорем наступним чином: "Любу функцію f ( t ), яка простя-гається частот від 0 до F_max , можна безперервно передавати з любою точністю при допомозі чисел, які слідують одне за одним через 1 / 2 F_max секунд". Незалежно від В.О.Котельнікова цю теорему в 1949 році, тобто через 16 років, до-вів Клод Шеннон і по цій причині в західній літературі цю теорему називають тео-ремою Найквіста - Шеннона.

• 1999 році Міжнародний науковий фонд Едуарда Рейна (Німеччина ) признав пріо-ритет В.О. Котельникова і нагородив його премією в номінації "за фундаментальні дослідження" за вперше математично точно сформульовану і доведену в аспекті комунікаційних технологій теорему відліків. Разом з цим історичні пошуки показую-ть, що теорему відліків, як в частині підтвердження можливості реконструкції ана-

логового сигналу по дискретним відлікам, так і в частині способу реконструкції, роз-

78

глядалась в математичному плані багатьма вченими і раніше.

Інформаційні моделі

джерела дискретних повідомлень

79

Алфавіт джерела повідомлення

Приймемо, що джерела повідомлень висилають у певні дискретні моменти часу електричні сигнали, які є символами певного коду, причому кількість символів є скін-ченним числом. Сукупність усіх символів називають алфавітом джерела.

Раніше ми відзначили, що сигнал несе певну інформацію для користувача лише то-ді, коли користувач наперед не знає, який саме символ вишле джерело, або, іншими словами, коли існує невизначеність стосовно символу, який вишле джерело. Тому питання про кількість інформації, яку висилає джерело, безпосередньо пов’язане з невизначеністю стосовно конкретного символу. Цю невизначеність прийнято пов’я-

зувати з імовірністю появи символа: чим менша апріорна ймовірність появи сим-вола, тим більшу кількість інформації несе цей символ.

Кількість інформації, яку несе символ х_і оцінюють за формулою:

I(x_і) = log₂ [1/p(x_і)] = – log₂ [p(x_і)], (6.1), де p(x_і) – імовірність появи символа х_і. Виз-

начену в такий спосіб кількість інформації вимірюють у бітах

Для оцінки інформаційних характеристик джерел дискретних повідомлень розглянемо методику побудови їх інформаційних моделей.

Найпростіша модель джерела дискретних повідомлень характеризується двома власти-востями:а) відсутністю пам’яті;б) стаціонарністю.

Перша властивість означає, що імовірності появи окремих символів є статистично не за-лежними, тобто імовірності появи конкретних символів у певний момент часу не залежа-ть від того, які символи були вислані у попередні моменти. Друга властивість означає, що імовірності появи символів є сталими і не змінюються у часі. Таке джерело часто ⁸⁰нази-вають стаціонарним дискретним джерелом без пам’яті

Побудова інформаційної моделі повідомлення

Приймемо, що стаціонарне дискретне джерело без пам’яті характеризується алфа-вітом X = {x1, x2, … xN}, який містить N символів, імовірності появи яких відповідно дорівнюють p(x1), p(x2), … p(xN). Очевидно, що при цьому виконується умова:

p(x1) + p(x2) + … + p(xN) = 1. (6.2)

Джерело в цілому характеризують середньою кількістю інформації, яка припадає на символ. Цю характеристику називають, як вже було сказано, ентропією (невизна-ченістю) повідомлень джерела й її кількісне значення розраховують за формулою

N	N
H(X)  I(xi )  p(xi )  p(xi ) log 2 (1/ p(xi ))
i1	i1

Вимірюють ентропію у бітах на символ [біт/симв]. Ще раз підкреслимо, що ентро-пія повідомлень джерела характеризує невизначеність (міру несподіваності) стосов-но того, який символ буде вислано у наступний момент часу

Дещо складнішою є модель стаціонарного джерела без пам’яті, яке характеризуєть-ся, як і у попередньому випадку, алфавітом X = {x1, x2, … xN} з імовірностями появи статистично незалежних символів p(x1), p(x2), … p(xN), проте це джерело висилає повідомлення не у вигляді поодиноких символів, а у вигляді групи символів (слів), до складу кожної групи входить n символів. Позначимо таке джерело як Xn. Число n прийнято називати довжиною слова. Окремі слова можуть відрізнятись між собою i символами, і порядком розміщення символів у слові. За таких умов можна створи-

ти Nn різних слів. Імовірність появи конкретного слова залежить від імовірнос⁸¹-тей появи символів, що входять до складу цього слова.

Ентропія джерела, яка висилає слова.

Оцінюючи ентропію джерела, котре висилає слова довжиною n символів, як серед-ню кількістю інформації, що припадає на одне слово, можемо переконатись, що йо-го ентропія є в n разів більшою у порівнянні з джерелом, яке висилає поодинокі сим-воли:

H(Xn) = nH(X).

Розглянуті моделі джерел без пам’яті є дуже спрощеними. В загальному випадку символи, які генерує джерело, не є статистично незалежними, бо літери алфавіту конкретної мови утворюють певні типові комбінації, що часто виступають у даній мові, натомість інші комбінації відсутні (наприклад, в українській мові відсутні комбі-нації з м’яким знаком: аь, оь, еь тощо).

Моделлю джерела, яка враховує статистичну залежність між символами алфавіту, є т. зв. модель послідовностей Маркова*. У цій моделі ймовірність появи символу у певний момент часу залежить від того, які символи були вислані у попередні моме-нти часу. Отже, для математичного опису такого джерела потрібно знати не лише апріорні ймовірності появи окремих символів, а й умовні ймовірності їхньої появи залежно від появи інших символів. Аналіз таких моделей є складним, і тут ми не розглядатимемо їх.

•Марков, Андрій Андрійович (1856–1922) – російський академік, видатний вчений в

галузі теорії ймовірностей, теорії чисел та математичного аналізу.

82

ОСОБЛИВОСТІ ДЕЯКИХ

СИГНАЛІВ І КОЛИВАНЬ

83

Деякі особливості гармонічного сигналу

Загальний вигляд гармонічного сигналу i  I _m sin(t )

Діюче (ефективне), амплітудне і середнє значення гармонічного сигналу.

Діюче (ефективне) значення сили змінного струму називають величину постійного струму, дія якого проведе таку же роботу, що і змінний струм за час одного періоду В технічній літературі частіше всього використовується математичне визначення цієї величини – середньоквадратичне значення сили змінного струму. Діюче значення

струму можна визначити по формулі: I 	1	0T i 2 dt
	T
Для гармонічних коливань струму діюче значення струму I 			1			I m  0, 707Im
				2

Таким чином, змінний електричний струм незалежно від його форми ха-рактеризується амплітудним I_m,ефективним I_еф і середнім I_сер значеннями.

Дія струму на різні навантаження при зміні його форми змінюються по різному.

84

Фізична інтерпретація амплітудного I_m, середнього I_сер і

ефективного I_еф значень змінного струму.

Амплітудне значення I_m дорівнює максимальному миттєвому значенню струму за період його зміни. З точки зору дії струму різної форми на різні навантаження амплі-туда струму є найменш інформативною. По цій причині значення змінного струму ви-значаютьпорівнанням його дії з дією постійного струму.

Середнє значення змінного струму I_сер – це значення такого постійного струму, Який переносить такий же заряд електрики за той же проміжок часу, що і змінний струм. Для змінного струму, форма якого симетрична відносно вісі часу (наприклад, синусоїдальний сигнал) середнє значення струму дорівнює нулю. Тому звичайно під середнім значенням розуміють середнє випрямлене, тобто середнє значення стру-му після його випрямлення. Середнє значення струму характеризує його дію, напри-клад, при зарядці акумулятора.

Ефективне значення змінного струму I_еф - Це значення постійного струму, який,

проходячи через активне лінійне навантаження (наприклад, резистор) виділяє за той же проміжок часу таку же кількість тепла, яке виділяє в цьому навантаженні змін-ний струм. Власне по цій причині, ефективне значення струму важливе при застосу-ванні до нагрівальних пристроїв.

Для характеристики форми періодичних сигналів введені два параметри:
1. Коефіцієнт амплітуди ka = Im/Iеф і 2. Коефіцієнт форми kф = Iеф/ Iсер . Для синусої
дальної форми сигналу ці коефіцієнти дорівнюють: Iсер =(2/π) Im або Iсер	= 0,63 Im ;
Iеф = (1/√2) Im тоді ka =√2=1,41; kф = π/(2√2)=1,11; Iеф = 0,7 Im .	85

Графічна інтерпретація середнього значення змінного струму

Для напруги змінного електричного сигналу присутні тіж значення, що і для струму:- ам-плітудне U_ампл , середнє U_серед.і ефективне U_ефф. . Звязокміж ними такий же. При ефек-тивній напрузі мережі 220 В амплітудна нап-руга складає 311 В, а середнє випрямлене

198 В.

Графічно середнє значення змінного струму

– це площа під кривою, яка характеризує за-Лежність струму від часу. Ефективне значен-ня відповідає квадратному корню з площі під Кривоюяка описує залежність квадрату стру-му від часу.На рисунку приведені графіки для звичайного синусоїдального сигналу I(t)/I_ампл І його квадрату (I(t)/I_амп)² . З співставлення графіків видно, що квадрат струму (а йому пропорційна миттєва потужність) пульсує з подвійною частотою в порівнянні зі струмом. Крім цього, відхилення кривої квадрату стру-му відносно лінії на рівні 0,5 вверх і вниз оди-накові При розрахунку площі під цією кривою Відхилення компенсуються, а значить, що во-на (площа) вдвоє меньша, ніж площа під пря-мою, яка характеризує постійний струм. Пос кільки ефективне значення струму пропорцій-не квадратному корню з плоші, то очевидно, що воно в √2 меньше, чим амплітудне значен-ня струму.

86

Електричні сигнали різноманітної форми

На рисунку 1 представлені деякі найбільш часто зустрічаємі форми сигналів. Так на Рис.1а представлене синусоїдальне коли-вання, яке при двопівперіодному випрям-ленні (рис.1б) зберігає свої характеристики І його середнє значення стає строго рівним середньовипрямленому.При однопівперіо дному випрямленні (Рис.1в) середнє знач ення напруги зменьшується в два рази в по-рівнанні з двопівперіодним, а ефективне значення – в √2 раз. На Рис.1г показананий сигнал типу Меандр. Так називають сигнал, який в одну половину періоду дорівнює сво-єму максимальному значенню, а в другу – нулю.Для цього сигналу його середнє значе-ння дорівнює половині амплітудного. Потуж-ність, яка виділяєтьсяструмои такої форми в навантаженні в два рази меньша від поту-жності постійного струму. По цій причині ефективне значення сигналу в√2 рази мень-

ше. Для двополярного меандра (Рис.1д)

_{Рис.1 Форми сигналів} ^{значення напруги U}ампл ^,Uсер.випр.^{, U}ефек.^спів-

87

падають між собою.

Послідовність прямокутних імпульсів, пилкоподібний та інші сигнали

На Рис.1е показана послідовність прямокутних імпульсів протяжністю t з періодом повто-рення Т. Для такого сигналу існує поняття "скважність“, яку дуже часто позначають буквою Q і визначають як відношення періоду до тривалості імпульсів: Q=T/ t . Так як струм сигналу такої форми діє в Q раз менше часу,чим постійний струм, то середнє значення сигналу в Q раз менше амплітудного і в √Q раз менше ефективного.

На Рис.1 ж,з представлений пилоподібний сигнал. Для цього сигналу середнє значення (сер-едньовипрямлене для двополярного) дорівнює половині амплітудного ( площа трикутника до-рівнює половині добутку основи на висоту). Для розрахунку ефективного значення треба визна чити площу під параболою, яка описує залежність квадрату сигналу від часу. При математич-ному розрахунку ефективне значення в √3 раз менше амплітудного.

Ті самі співвідношення справедливі для сигналу трикутної форми (Рис.1и) і в тому числі для

двополярного трикутного сигналу (Рис.1к)

Форму напруги на виході фазоімпульсного регулятора (Рис.1л) характеризує кут провідності α, який в загальному випадку випадку може змінюватися в межах від 0 до π радіан. Амплітудне

значення напруги такої форми складає Uампл	= Uампл.с sinα для α≤π/2 і Uампл = Uампл.с
для α>π/2. При цьому Uсер=Uампл.с(1-cosα)/π,	Uеф=Uампл.с (  (sin 2 ) / 2) / (2 )

В цих виразах Uампл.с – амплітудна напруга мережі на вході регулятора, а кут
Α в радіанах	88