- •7. Інформаційні характеристики каналів…………….36
- •1. Предмет і задачі теорії інформації
- •1.1. Основні поняття і визначення
- •1.2. Кількісна оцінка інформації
- •2. Безумовна та умовна ентропії
- •2.1 Безумовна ентропія і її властивості
- •2.2 Умовна ентропія
- •2.3 Ентропія об’єднання
- •Умовні ймовірності вигляду p(ai/bj) I p(bj/ai) обчислюються як
- •3. Диференціальна ентропія
- •3.1. Диференціальна ентропія
- •3.2. Епсилон-ентропія
- •4. Канали передачі інформації
- •4.1. Види каналів передачі інформації
- •4.2. Обчислення інформаційних втрат при передачі повідомлень по дискретним каналам зв’язку з шумами
- •5. Джерела повідомлень
- •5.1. Моделі сигналів
- •Спектр амплітуд є парною функцією k
- •5.2. Перетворення сигналів
- •5.3. Інформаційні характеристики джерела
- •Тоді повна ентропія джерела повідомлень
- •5.4. Інформаційні характеристики джерела
- •Модульна контрольна робота 1
- •6. Коди і кодування
- •6.1. Визначення кодів
- •6.2. Надмірність інформації
- •6.3. Оптимальне кодування
- •Для двоїчних кодів
- •Очевидно, що ця рівність вірна при умові, що довжина коду у вторинному алфавіті
- •У випадку нерівноймовірних і взаємозалежних символів
- •7. Інформаційні характеристики каналів зв’язку
- •7.1. Інформаційні характеристики дискретних каналів зв’язку
- •У випадку нерівноймовірних і взаємозалежних символів різної тривалості
- •7.2. Інформаційні характеристики неперервних каналів зв’язку
- •7.3. Узгодження фізичних характеристик сигналу і каналу
- •8. Ефективність і надійність систем передачі інформації.
- •8.1. Завадостійкість систем передачі інформації
- •8.2. Надійність систем передачі інформації
- •Для практичних розрахунків можна користуватись виразом
- •8.3. Цінність інформації
- •8.4. Інформаційна оцінка автоматизованих систем управління
- •В усталеному режимі буде додержуватись умова
- •Модульна контрольна робота 2
- •6.9.Як визначається ефективність онк?
- •Додатковий
В усталеному режимі буде додержуватись умова
hk-1(X) = hk(X);
Ik(X) = hk(X),
тобто кількість інформації, яка передається через контур управління за інтервал дискретності, буде дорівнювати приросту ентропії процесу від дії збурень. Сумарний приріст кількості інформації за час перехідного періоду дорівнює сумарному зменшенню ентропії процесу
I(x) = [hk-1(X) - hk(X)]
Модульна контрольна робота 2
Перелік запитань до модульної контрольної роботи 2
6.1.Що таке код і кодування?
6.2.Які є способи відображення кодів?
6.3.Які є види надмірностей?
6.4.Часткові види інформаційної надмірності і повна інформаційна надмірність.
6.5.Фундаментальна теорема кодування при відсутності шумів.
6.6.Що являє собою оптимальний нерівномірний код?
6.7.Побудова оптимального коду за методом Шеннона-Фано.
6.8.Побудова ОНК за методикою Хаффмена.
6.9.Як визначається ефективність онк?
7.1.Як обчислюється швидкість передачі інформації в дискретному каналі?
7.2.Як визначається пропускна здатність дискретного каналу?
7.3.Охарактеризуйте двоїчний симетричний канал.
7.4.Які допущення прийняті в моделі, відомій як гаусовий канал?
7.5.Як визначається швидкість передачі інформації і пропускна здатність неперервного каналу?
7.6.Залежність пропускної здатності гаусового каналу від ширини смуги пропускання.
7.7.Що таке об’єм сигналу та об’єм каналу?
7.8.Які умови узгодження фізичних характеристик сигналу і каналу?
7.9.Основна теорема Шеннона про кодування в присутності шумів.
8.1.Охарактеризуйте види завад в інформаційних системах.
8.2.Що таке статична і динамічна завадостійкість?
8.3.Як оцінюється ефективність інформаційної системи?
8.4.Що таке надійність інформаційної системи?
8.5.Охаректеризуйте ідеальний приймач Котельникова.
8.6.В чому полягає метод збільшення надійності Бодо-Вердана?
8.7.Визначте числові захисти як засіб виявлення і виправлення помилок.
8.8.Як визначається довжина кодових комбінацій для виявлення і виправлення помилок?
8.9.Охаректеризуйте системи передачі дискретної інформації з рішаючим зворотним зв’язком.
8.10.Як визначається цінність інформації?
8.11.Інформаційна оцінка автоматизованих систем управління.
Перелік задач до модульної контрольної роботи 2
1.Повідомлення складається із алфавіту a,b,c,d. Імовірність появлення літер алфавіту в текстах дорівнює відповідно pa=0,2; pb=0,3; pc=0,4; pd=0,1. Знайти надмірність повідомлень, складених з даного алфавіту.
2.Визначити загальну і часткову надмірність деякого восьмисимвольного алфавіту, якщо відомо , що з врахуванням нерівноймовірності розподілення символів його ентропія дорівнює 2,7 біт/символ, а з врахуванням взаємозалежності символів ентропія цього алфавіту зменшується на 0,25 біт/символ.
3.Побудувати оптимальний код повідомлення, у якому імовірності появлення символів підлягає закону рі = (1/2)і, тобто символи даного повідомлення розміщені таким чином, що імовірність появлення кожного з них буде у два раза менше імовірності появлення поперднього. Визначити коефіцієнти ефективності.
4.Побудувати оптимальний код повідомлення, у якому імовірності появлення символів первинного алфавіту, складеного із 8 символів, є цілим від’ємним степенем двох, а сума цих імовірностей дорівнює 1. Визначити коефіцієнти ефективності.
5.Побудувати ОНК для передачі повідомлень, у яких імовірності появлення символів первинного алфавіту. дорівнюють: р(А1)=0,5; р(А2)=0,25; р(А3)=0,098; р(А4)=0,052; р(А5)=0,04; р(А6)=0,03; р(А7)=0,019; р(А8)=0,011. Визначити коефіцієнти ефективності.
6.Повідомлення передаються у двоїчному коді (т=2). Час передачі 0 0 = 1с., тривалість імпульсу для 1 1 = 5с. Визначити швидкість передачі інформації для випадків: а) коли символи рівноймовірні і незалежні; б) імовірність появлення символу 0 р0 = 0,2, імовірність появлення символу 1 р1 = 0,8.
7.Побудувати ОНК для передачі повідомлень, алфавіт яких складається із двох букв А і В з імовірностями рА = 0,89 і рВ = 0,11, при кодуванні по одному, по два і по три символи в блоці. Оцінити ефективність одержаних кодів.
8.Визначити пропускну здатність дискретного бінарного каналу, в якому у результаті дії завад 3% повідомлень не відповідають переданим.
9.Визначити пропускну здатність симетричного каналу, якщо джерело зі швидкістю 2 знака в секунду виробляє повідомлення, закодовані кодом з основою т=10, а імовірність хибного прийому рх=0,03
10.Метод Бодо-Вердана дозволяє виправляти помилки завжди, коли помилка при повторній передачі не повторюється в одному і тому ж розряді. Скільки разів треба повторити передачу повідомлення, щоб можна було виправити n–кратні помилки?
11.Необхідно передати систематичним кодом, який виявляє трикратні помилки, всі комбінації п’ятизначного двоїчного коду. Чому дорівнює загальна довжина такого коду?
12.Визначити кількість інформаційних розрядів в систематичному коді довжиною 15 символів, якщо кодова відстань між комбінаціями коду дорівнює 5.
13.Необхідно побудувати систему стабілізації літального апарату з ЦОМ в контурі управління, яка забезпечує в стаціонарному режимі: точність стабілізації кута тангажу =1; кута рискання =0,5; кута обертання =0,3; дальності польоту х=50 м; центру мас по нормалі н=30 м. Потрібно, щоб система стабілізації після включення виводила об’єкт у вказаний стаціонарний режим не більше ніж за 30 с при такому початковому відхиленні координат: 0=8; 0=10; 0=20; 0н=3км; 0х=33км. У випадку раптового припинення управління в стаціонарному режимі на 1с, відхилення зростають до таких значень: =1,5; =5; =10; х=55м; н=33м. Закон розподілення імовірностей вихідних координат приймається нормальним, координати – незалежними, інтервал дискретності управління =1с. 1)Визначити кількість інформації, яку необхідно передавати через повний багатовимірний контур управління в стаціонарному режимі протягом інтервалу дискретності. 2)Оцінити загальну кількість інформації, яка необхідно передати через контур управління в перехідному режимі. 3)Оцінити нижню границю ємності пам’яті ЕОМ.
СПИСОК ЛІТЕРАТУРИ
Основний
Цымбал В.П. Теория информации и кодирование. – К.: Вища шк., 1992. – 263 с.
Дмитриев В.И. Прикладная теория информации. – М.: Высш. шк., 1989. – 320 с.
Кузьмин И.В. Основы теории информации и кодирования. – К.: Вища шк., 1986. – 238 с.
Цымбал В.П. Задачник по теории информации и кодированию. – К.: Вища шк.,1976. – 276 с.
