Модульна контрольна робота 1

Перелік запитань до модульної контрольної роботи 1

1.1. Визначіть поняття “дані”, “повідомлення”, “інформація”, “сигнал”.

1.2.Яка залежність між кількістю інформації і кількістю комбінацій, складених із даного алфавіту?

1.3.Визначіть поняття “ентропія”

1.4.Як визначається ентропія та кількість інформації для рівноймовірних і взаємонезалежних символів (міра Хартлі)?

1.5.Як визначається ентропія та кількість інформації для нерівноймовірних символів (міра Шеннона)?

2.1. Як визначається безумовна ентропія?

2.2. Основні властивості ентропії.

2.3. Як визначається ентропія джерела і приймача повідомлень?

2.4. Як визначається умовна ентропія?

2.5. Часткова і загальна умовна ентропія.

2. 6. Ентропія об’єднання.

3.1.Яка особливість визначення ентропії неперервного джерела інформації?

3.2.Диференціальна ентропія і її основні властивості.

3.3.Які розподілення мають максимальну ентропію?

3.4.В чому сутність епсилон-ентропії випадкової величини?

3.5.Середньоквадратичний критерій вірності відтворення.

3.6.Визначення епсилон-ентропії через безумовну і умовну диференціальні ентропії.

4.1.Чому дорівнюють інформаційні втрати в каналах зв’язку без завад і в каналах зв’язку з високим рівнем завад?

4.2.Як описуються інформаційні характеристики реальних каналів зв’язку з використанням умовної ентропії?

4.3.Як описуються інформаційні характеристики реальних каналів зв’язку за допомогою ентропії об’єднання?

4.4.Які дані необхідно задати для повного опису каналу зв’язку?

5.1.В чому сутність частотного зображення сигналів?

5.2.Спектр амплітуд і спектр фаз.

5.3.Чим відрізняються спектри періодичного і неперіодичного сигналів?

5.4.Як визначається практична ширина спектру.

5.5.Дискретизація і квантування сигналів.

5.6.Теорема Котельникова.

5.7.Продуктивність джерела дискретних повідомлень.

5.8.Епсилон-продуктивність джерела неперервних повідомлень.

Перелік задач до модульної контрольної роботи 1

1.Тексти, які складені з 32 літер українського алфавіту, передаються по телетайпу за допомогою двох якісних ознак: наявності та відсутності струму. Чому дорівнює кількість інформації, яка припадає на одну прийняту літеру?

2.В алфавіті три букви А,В,С. Скласти максимальну кількість повідомлень, комбінуючи по три букви в повідомленні. Визначити кількість інформації на символ первинного алфавіту.

3.Скількома способами можна передати положення фігур на шаховій дошці? Чому дорівнює кількість інформації в кожному випадку?

4.Алфавіт складено із символів А,В,С,D. Імовірності появлення символів дорівнюють відповідно р_А = р_В = 0,25;

р_С = 0,34; p_D = 0,16. Визначити кількість інформації на символ повідомлення, складеного з такого алфавіту.

5.Чому дорівнює кількість інформації при одержанні восьми повідомлень рівномірного чотиризначного потрійного коду?

6.Визначити об’єм і кількість інформації в тексті “Широка страна моя родная”, переданому стандартним телеграфним кодом №3.

7.Визначити ентропію джерела повідомлень, якщо статистика розподілення ймовірностей появлення символів на виході джерела повідомлень складає р(а₁) = р(а₂) = 0,25; р(а₃) = 0,3: р(а₄) = 0,2.

8.В результаті статистичних випробувань встановлено, що при передачі кожних 100 повідомлень довжиною по 5 символів в повідомленні символ К зустрічається 50 раз, а символ Т зустрічається 30 раз. Разом з символом К символ Т зустрічається 10 раз. Визначити умовні ентропії Н(К/Т) і Н(Т/К).

9.Визначити загальну умовну ентропію повідомлень, складених з алфавіту А, В, якщо ймовірності появлення символів в повідомленнях дорівнюють р_{А =} 0,6; р_В = 0,4. Умовні ймовірності переходів одного символу в інший дорівнюють р(В/А) = 0,15; р(А/В) = 0,1.

10.В одному кошику 2 яблука і 1 груша, в другому 3 яблука і 1 груша, в третьому 2 яблука і 2 груші. Визначити повну умовну ентропію можливості витягнути яблуко навмання з будь-якого кошика.

11.Умовні ймовірності стану системи А відносно системи В: p(b₁/a₁)=p(b₂/a₁)=0,5; p(b₂/a₂)=0,666; p(b₃/a₂)= 0,334; p(b₂/a₃)=0,4; p(b₃/a₃)=0,6; p(b₃/a₁) = p(b₁/a₂)=p(b₁/a₃)=0. Який вигляд має матриця імовірностей об’єднаної системи АВ, якщо безумовні ймовірності системи А: р(а₁)=0,2; р(а₂)=0,3; р(а₃)=0,5.

12.Визначити виграш у потужності при організації перешкод, які характеризуються ентропією, з допомогою джерела струму з гаусовою щільністю розподілення в порівнянні з джерелом з рівномірною щільністю розподілення.

13.Знайти -ентропію джерела інформації ансамбль станів якого описується нормально розподіленою випадковою величиною U з дисперсією ² при вірності відтворення V(ZU)  ².

14.Канал зв’язку описано такою канальною матрицею:

|0,98 0,01 0,01|

p(b/a) = |0,1 0,75 0,15|

|0,2 0,3 0,5 |

Обчислити середню кількість інформації, яка переноситься одним символом повідомлення, якщо ймовірність появлення символів джерела повідомлень дорівнюють p(a₁)=0,7; p(a₂)=0,2; p(a₃)=0,1. Чому дорівнюють інформаційні втрати при передачі повідомлення з 400 символів алфавіту a₁ a₂ a₃ ?

15.Визначити кількість інформації при передачі повідомлень, які побудовані з алфавіту 1,2,3, якщо апріорні імовірності появлення символів первинного алфавіту рівні між собою, а внаслідок дії завад 5% символів можуть з однаковою ймовірністю перейти в будь-який інший символ даного алфавіту.

16.Визначити спектри амплітуд і фаз періодичної послідовності прямокутних імпульсів тривалістю  і амплітудою u₀, слідуючих з частотою ₁ = 2/T.

17.Визначити за теоремою Котельнікова крок дискретизації t для детермінованої функції

2e^-t при t  0,

u(t) = 

0 при t  0,

при практичній ширині спектру з  = 0,95.

Модуль 2