Питання

1. Що таке модуляція?

а) змінення одного (чи декількох) параметрів носія, наприклад амплітуди, для представлення даних,що передаються;

б) використання однієї смуги частот для передавання декількох сигналів;

в) передача імпульсів постійного струму мідними дротами.

2. Цифрові системи забезпечують більш якісну передачу сигналів, ніж аналогові, тому що:

а) в цифрових системах повторювачі регенерують сигнал, видаляючи при цьому усі спотворення, а підсилювачі аналогових каналів підвищують рівень не тільки сигналу, але й завад;

б) цифрові сигнали коротші за аналогові та менш чутливі до спотворень;

в) цифрові сигнали передаються екранованими кабелями;

г) виборку цифрових сигналів виконати легше, аніж виборку аналогових.

3. Чому техніка комутації пакетів в Інтернеті більш ефективна, ніж комутація каналів?

4 Передавання та кодування інформації

Суттю передачі даних по деякому каналу є відтворення одержувачем деякої (заданою відправником) функції, наприклад, зміни струму або напруги в часі. При розповсюдженні сигналу відбувається його спотворення: загасання, спотворення форми, змішування з шумом і ін. Загасання виникає через те, що частина енергії сигналу розсіюється, при цьому чим більша довжина каналу, тим більше загасання. Крім того, сигнали різних частот загасають неоднаково. Спотворення форми сигналу відбувається унаслідок різної швидкості розповсюдження сигналів різної частоти. В результаті гармоніки сусідніх сигналів можуть змішуватися і спотворювати одна одну. Причиною шуму є наявність інших джерел енергії (окрім передавача). Джерелом шуму можуть бути, наприклад, інші лінії передачі даних, силові електричні кабелі, атмосферні явища. Неминучим різновидом шуму є тепловий шум (при температурі середовища більше абсолютного нуля).

4.1 Кількість інформації та ентропія

4.1.1 Моделі Хартлі (Шеннона)

Джерело інформації, яке може в кожний момент часу знаходитися в одному з можливих станів, називається дискретним джерелом інформації. Називатимемо кінцеву множину всіх можливих станів {u₁, u₂ ., u_N} абеткою джерела (N – розмір абетки або число можливих станів). У загальному випадку різні стани u_i вибираються джерелом з різною вірогідністю p_i, і його можна охарактеризувати сукупністю абетки і безлічі вірогідності станів – ансамблем U_N = {u₁, p₁, u₂, p₂ ., u_N, p_N}. Зрозуміло, сума вірогідності всіх станів повинна дорівнювати 1.

Введемо міру невизначеності стану джерела H(U), що задовольняє таким умовам:

• монотонність: міра повинна монотонно зростати із зростанням кількості можливих станів;

• адитивність: міра, обчислена для складного джерела, що складається з двох незалежних джерел (з розмірами абеток N і M, тоді розмір абетки складного джерела – NM), повинна дорівнювати сумі мір цих двох джерел. Згідно з умовою адитивності міра повинна задовольняти співвідношенню:

. (4.1)

Крім того, існує гранична умова: міра невизначеності для джерела з розміром алфавіту 1 повинна дорівнювати 0. Можна показати, що цим умовам задовольняє логарифмічна функція (з довільною основою).

Для джерела з абеткою розміру N і рівноімовірними станами (p_i = 1/N для будь-якого i) логарифмічна міра була запропонована Р. Хартлі у 1928 р. і має вигляд:

. (4.2)

Припущення про рівні імовірності станів джерела інформації називається моделлю Хартлі. Якщо основу логарифма вибрати рівною двом, відповідна одиниця невизначеності відповідатиме невизначеності вибору з двох рівноімовірних подій і називатиметься двійковою одиницею або бітом (від англ. bit, скороченого binary digit, – двійкова цифра).

Моделі Хартлі бракує врахування вірогідності станів. Якщо, наприклад, джерело має два можливі стани з вірогідністю 0.999 і 0.001, зрозуміло, що міра невизначеності такого джерела повинна бути менша 1 біта: є велика упевненість у виборі першого стану. Якщо вірогідність станів відрізняється трохи (наприклад, 0.51 і 0.49), то й міра невизначеності повинна змінитися трохи порівняно з рівноімовірним випадком. Таким чином, міра невизначеності повинна залежати від вірогідності станів джерела, від всього ансамблю. Така модель джерела інформації називається моделлю Шеннона (1948 р.). Міра невизначеності вибору дискретним джерелом стану з ансамблю U_N називається ентропією дискретного джерела інформації або ентропією кінцевого ансамблю.

, (4.3)

де C – довільне позитивне число.

За умови рівної вірогідності станів джерела міра Шеннона зводиться до міри Хартлі.

Доведено, що приведена функція – єдина і така, що задовольняє всім переліченим умовам. Термін “ентропія” запозичений з термодинаміки і використаний для міри невизначеності через те, що обидві ентропії – термодинамічна й інформаційна – характеризують ступінь різноманітності станів даної системи і описуються аналогічними функціями.