
- •7. Інформаційні характеристики каналів…………….36
- •1. Предмет і задачі теорії інформації
- •1.1. Основні поняття і визначення
- •1.2. Кількісна оцінка інформації
- •2. Безумовна та умовна ентропії
- •2.1 Безумовна ентропія і її властивості
- •2.2 Умовна ентропія
- •2.3 Ентропія об’єднання
- •Умовні ймовірності вигляду p(ai/bj) I p(bj/ai) обчислюються як
- •3. Диференціальна ентропія
- •3.1. Диференціальна ентропія
- •3.2. Епсилон-ентропія
- •4. Канали передачі інформації
- •4.1. Види каналів передачі інформації
- •4.2. Обчислення інформаційних втрат при передачі повідомлень по дискретним каналам зв’язку з шумами
- •5. Джерела повідомлень
- •5.1. Моделі сигналів
- •Спектр амплітуд є парною функцією k
- •5.2. Перетворення сигналів
- •5.3. Інформаційні характеристики джерела
- •Тоді повна ентропія джерела повідомлень
- •5.4. Інформаційні характеристики джерела
- •Модульна контрольна робота 1
- •6. Коди і кодування
- •6.1. Визначення кодів
- •6.2. Надмірність інформації
- •6.3. Оптимальне кодування
- •Для двоїчних кодів
- •Очевидно, що ця рівність вірна при умові, що довжина коду у вторинному алфавіті
- •У випадку нерівноймовірних і взаємозалежних символів
- •7. Інформаційні характеристики каналів зв’язку
- •7.1. Інформаційні характеристики дискретних каналів зв’язку
- •У випадку нерівноймовірних і взаємозалежних символів різної тривалості
- •7.2. Інформаційні характеристики неперервних каналів зв’язку
- •7.3. Узгодження фізичних характеристик сигналу і каналу
- •8. Ефективність і надійність систем передачі інформації.
- •8.1. Завадостійкість систем передачі інформації
- •8.2. Надійність систем передачі інформації
- •Для практичних розрахунків можна користуватись виразом
- •8.3. Цінність інформації
- •8.4. Інформаційна оцінка автоматизованих систем управління
- •В усталеному режимі буде додержуватись умова
- •Модульна контрольна робота 2
- •6.9.Як визначається ефективність онк?
- •Додатковий
5. Джерела повідомлень
Моделі сигналів. Частотна форма зображення сигналів. Перетворення сигналів, теорема Котельникова. Інформаційні характеристики джерела дискретних повідомлень. Інформаційні характеристики джерела неперервних повідомлень.
5.1. Моделі сигналів
Залежно від структури інформаційних параметрів сигнали діляться на дискретні, неперервні і дискретно-неперервні. Існують такі різнавидності математичних моделей детермінованого сигналу: неперервна функція неперервного аргумента, неперервна функція дискретного аргумента, дискретна функція неперервного аргумента, дискретна функція дискретного аргумента. При аналізі проходження складного сигналу через системи передачі інформації його зображають у вигляді зваженої суми базисних функцій, або відповідного їй інтегралу. При вибраному наборі базисних функцій сигнал повністю визначається сукупністю безрозмірних коефіцієнтів. Такі сукупності чисел називають дискретними спектрами сигналів.
Частотна форма зображення сигналів.
Якщо функція u(t) задана в інтервалі часу t1 t t2, задовольняє умовам Дирихле і повторяється з періодом T = 2/ = t2 – t1 протягом часу від - до + , то вона може бути зображена рядом Фур’є в комплексній формі
u(t)=1/2A(jk)ejkt, (5.1)
k=-
t2
A(jk)=2/Tu(t)e-jktdt. (5.2)
t1
Функція A(jk) називається комплексним спектром періодичного сигналу. Цей спектр дискретний, тому що функція A(jk) визначена на числовій осі тільки для цілих значень k і при конкретному k називається комплексною амплітудою. Комплексний спектр в експоненційній формі
A(jk)=A(k)e-j(k) (5.3)
має модуль A(k), який називається спектром амплітуд і функцію (k) в показнику, яка називається спектром фаз. За допомогою формули Ейлера комплексний спектр виражається у вигляді дійсної і уявної частин:
t2 t2
A(jk)=2/T[u(t)cosktdt-ju(t)sinktdt]=Ak–jBk (5.4)
t1 t1
Спектр амплітуд є парною функцією k
A(k)=Ak2+Bk2, (5.5)
а спектр фаз - непарною
(k)=arctg(Bk/Ak). (5.6)
Окремі складові спектра називаються гармоніками, а при k = 0 буде постійна складова
t2
A0=2/Tu(t)dt. (5.7)
t1
Для неперіодичних сигналів додавання переходить в інтегрування, а формули перетворення Фур’є мають вигляд
u(t)=1/2S(j)ejtd, (5.8)
-
S(j)=u(t)e-jtdt. (5.9)
-
Величину S(j) називають комплексною спектральною щільністю або спектральною характеристикою. Як комплексна величина спектральна характеристика може бути записана у вигляді
S(j)=S()e-j(), (5.10)
де S() = |S(j)| називається спектральною щільністю амплітуд або спектром неперіодичного сигналу. Тригонометрична форма інтегрального перетворення Фур’є має вигляд
u(t)=1/S()cos[t-()]d. (5.11)
0
Розподілення енергії в спектрі описується рівнянням Парсеваля
|u(t)|2dt=1/2|S()|2d=1/|S()|2d. (5.12)
- - 0
Воно показує, що енергію неперіодичного сигналу, яка виділяється за час його існування , можна визначити інтегруючи квадрат модуля його спектральної характеристики в інтервалі частот.
Для реальних сигналів розглядають моделі, які мають скінченну тривалість і обмежений спектр. Як критерій обмеження використовується енергетичний критерій, згідно з яким практичну тривалість Тп і практичну ширину спектру п вибирають так, щоб в них була зосереджена переважна частина енергії сигналу. Для сигналів, які починаються в момент часу t0 = 0, практична тривалість визначається із співвідношення
Тп
|u(t)|2dt = |u(t)|2dt, (5.13)
0 0
де - коефіцієнт, близький до 1 (від 0,9 до 0,99), а практична ширина спектру відповідно
п
1/|S()|2d = /|S()|2d. (5.14)
0 0