- •Тема 1. Інформація та інформаційні процеси.
- •1. Повідомлення та інформація.
- •2. Моделі інформаційних систем
- •3. Математичні моделі каналу зв’язку
- •4. Предмет теорії інформації та кодування
- •Тема 2. Вимірювання інформації.
- •1. Основні підходи до вимірювання інформації, їх особливості.
- •2. Технічний (об’ємний) спосіб оцінювання інформації та його застосування в комп’ютерних системах.
- •3. Інформаційний обсяг повідомлення
- •4. Поняття про алгоритмічний підхід до вимірювання інформації.
- •Тема 3. Поняття ентропії інформації. Умовна та безумовна ентропії.
- •1. Кількісна міра інформації.
- •2. Ентропія та її властивості.
- •3. Безумовна ентропія
- •4. Умовна ентропія
- •5. Ентропія об’єднання двох джерел.
- •Тема 4. Методи визначення ентропії.
- •1. Ентропія по Хартлі.
- •2. Ентропія по Шеннону.
- •3. Ентропія по Колмогорову та ентропія 3
- •4. Ентропія по Шульцу та Мідлтону
- •5. Ентропія по Николайчуку. Інші методи визначення ентропії.
- •Тема 5. Характеристика дискретних джерел інформації. Теорема Шеннона.
- •1. Продуктивність дискретного джерела та швидкість передачі інформації
- •2. Інформаційні втрати при передачі інформації по дискретному каналу зв'язку
- •3. Пропускна здатність дискретного каналу. Основна теорема про кодування дискретного джерела.
- •Тема 6. Характеристики неперервних джерел інформації.
- •1. Інформаційні втрати при кодуванні неперервних джерел.
- •2. Продуктивність неперервного джерела та швидкість передачі інформації
- •3. Пропускна здатність неперервного каналу
- •Тема 7. Поняття про коди та кодування.
- •1. Поняття про коди та кодування. Потужність та довжина коду.
- •2. Рівномірні коди. Основна теорема про рівномірні коди.
- •3. Нерівномірні коди
- •4. Основні напрями кодування
- •Тема 8. Основи економного кодування.
- •1. Передавання інформації каналами зв’язку
- •2. Теоретичні основи побудови економних кодів. Перша теорема Шенона
- •3. Алгоритм Шенона—Фано для побудови економного коду
- •Алгоритм кодування за методом Шенона—Фано
- •4. Алгоритм Хаффмена для побудови оптимального коду
- •Алгоритм Хаффмена
- •5. Оптимальні нерівномірні коди і проблеми стискування інформації
- •Тема 9. Нерівномірні двійкові первинні коди.
- •1. Класифікація первинних кодів
- •2. Код Морзе
- •3. Число-імпульсні коди
- •Тема 10. Рівномірні двійкові первинні коди.
- •1. Числові двійкові коди
- •2. Двійково-десяткові коди
- •3. Двійково-десяткові коди з самодоповненням
- •4. Двійково-шістнадцятковий код
- •5. Рефлексні коди
- •Тема 11. Двійкові коди з виявленням помилок.
- •1. Коди з перевіркою на парність та непарність
- •2. Код із простим повторенням
- •3. Інверсний код
- •4. Кореляційний код
- •5. Код зі сталою вагою
- •6. Код із кількістю одиниць в комбінації, кратною трьом
- •Тема 12. Недвійкові коди з виявленням помилок.
- •1. Код з перевіркою за модулем q
- •2. Код із повторенням
- •3. Незвідні змінно-позиційні коди
- •4. Штрихові коди
- •Тема 16. Кодування в системі залишкових класів.
- •1. Побудова кодів у системі залишкових класів, породжених базисом Крестенсона
- •2. Переваги та недоліки кодування у системі залишкових класів
- •3. Ефективність математичних операцій у системі залишкових класів
- •4. Надлишковість та здатність виявляти та виправляти помилки
- •Тема 17. Коди Галуа.
- •1. Методика формування кодів Галуа, їх переваги
- •2. Надлишковість та здатність виявляти та виправляти помилки
2. Моделі інформаційних систем
Під інформаційною розумітимемо будь-яку систему, яка за допомогою технічних засобів виконує одну або кілька таких функцій,як збирання, передавання, перетворення, накопичення, зберігання та оброблення інформації.
Розподіл систем за функціональною ознакою:
системи електрозв’язку
системи передачі даних
інформаційно-вимірювальні системи
системи перетворення інформації
інформаційно-пошукові системи
системи зберігання інформації
автоматизовані системи управління
системи експериментальних досліджень.
Найпоширенішими в повсякденному житті є системи електрозв’язку та передачі даних,які можна об’єднати назвою систем передачі інформації (СПІ).
Лінія зв’язку – це фізичне середовище, в якому поширюються сигнали.
Каналом зв’язку називається сукупність технічних засобів, що забезпечує передачу повідомлень від джерела до одержувача.
Сукупність лінії зв’язку, модулятора та демодулятора (пристроїв перетворення сигналів) утворює неперервний канал передачі інформації,а якщо до цієї сукупності додати ще кодер і декодер, то дістанемо дискретний канал цієї передачі.
Модулятор і демодулятор, конструктивно об’єднані в одному блоці, називаються модемом, а конструктивне об’єднання кодера та декодера – кодеком.
Під способом передачі сигналів розуміють сукупність операцій перетворення повідомлення на сигнал, яку можна подати так:
{ y к .зі(t)}=Λ прд {x i}= Λ м Λ к {x i},
де Λ прд - оператор способу передачі сигналів; Λ м – оператор їх модуляції; Λ к- оператор кодування сигналів.
Сигнали при передачі по лінії зв’язку загасають, піддаючись дії завад і спотворень, що спричинює значні відхилення послідовності сигналів на вході приймача { y п.з і (t)} від переданої в лінію послідовності сигналів { y к.з і (t)}, тобто
{ y п.з і (t)} = Λ л { y к.з і (t)}= Λ л Λ прд {x i}
Де Λ л – оператор лінії зв’язку.
Якщо в лінії є адитивна завада у вигляді випадкового процесу ω(t), то на виході приймача діятиме неперервний випадковий процес
у і (t)-{y п.з(t)} + ω(t).
Сукупність операцій перетворення сигналів на повідомлення називається способом їх приймання, який можна відобразити так:
,де Λ прд = Λ дм Λ дк – оператор способу приймання сигналів; Λ дм – оператор їх демодуляції; Λ дк – оператор декодування сигналів.
Процес передавання дискретної інформації можна подати у вигляді:
3. Математичні моделі каналу зв’язку
Від вибору каналу зв’язку залежить не тільки кількість інформації, яку можна передавати від передавача до одержувача повідомлень, а й швидкість передачі інформації та її вірогідність.
Розрізняють математичні моделі неперервних і дискретних каналів зв’язку :
Ідеальний канал зв’язку без завад – це лінійне коло зі сталою функцією передачі, що звичайно зосереджена в обмеженій смузі частот, де завади будь-якого виду відсутні. Вихідний сигнал такого каналу визначається виразом
Де S(t) – вхідний сигнал; К п – коефіцієнт передачі; Ʈ – час затримки сигналу в каналі ; ω(t) – гауссовий адитивний шум з нульовим математичним сподіванням і заданою кореляційною функцією. Якщо змінити початок відліку часу на виході каналу, то запізнення Ʈ сигналу можна не враховувати. Модель застосовується для опису реальних проводових каналів зв’язку й однопроменевих радіоканалів без завмирань на метрових хвилях для зв’язку в межах прямої видимості, а також радіоканалів з повільними завмираннями, для яких можна надійно передбачити значення k n та Ʈ.
Канал з невизначеною фазою сигналу – це канал, який відрізняється від попереднього тим, що в ньому запізнення Ʈ є випадковою величиною.
Модель використовується для опису тих самих каналів зв’язку, що й попередня, якщо фаза сигналу в них змінюється. Ця флуктуація фази пояснюється незначними змінами довжини каналу, фазовою нестабільністю генераторів носійної частоти, а також незначними змінами властивостей середовища, через яке передається сигнал.
Однопроменевий гауссовий канал із загальними завмираннями також описується виразом :
,
але тут, крім запізнення Ʈ, випадковими
вважаються також коефіцієнт передачі
K
n
та
фаза θ
k,
тобто випадковими є квадратурні
компоненти:
Тоді, якщо врахувати зміну квадратурних компонентів Х(t) i Y(t) в часі, вихідний сигнал каналу визначиться виразом:
Модель досить добре описує більшість радіоканалів різних хвильових діапазонів і проводових каналів з випадковими та змінними параметрами.
Гауссовий багатопроменевий канал з завмираннями та адитивним шумом є каналом, у якому сигнали від передавача до приймача поширюються кількома шляхами (каналами), причому тривалість проходження їх і коефіцієнти передачі каналів є неоднаковими та випадковими. Крім того, в таких каналах випадкова імпульсна реакція G(t, Ʈ) від часу t не залежить, так що розсіяння за частотою практично не спостерігається.
Вихідний сигнал такого каналу визначається виразом:
-
сигнал між символьної інтерференції.
W(t) - адитивний шум у каналі; S0(t)- сигнал, обумовлений елементом, який аналізується. модель застосовується для опису радіоканалів з багатопроменевим поширенням сигналів, а також проводових каналів значної довжини, де відчувається вплив фазочастотних спотворень їх.
Моделі дискретного каналу.
Для визначення вхідних сигналів досить указати кількість q різних символів, то величина ν=1/T визначатиме кількість символів, які передаються за одиницю часу. Ця величина називається технічною швидкістю передачі (швидкістю модуляції сигналів) і виражається в бодах.
Для оцінки правильності прийнятої послідовності символів визначають різницю між прийнятою та переданою послідовностями порозрядним відніманням їх за модулем q. При цьому дістають вектор помилки.
Для будь-якої моделі дискретного каналу можна записати:
Де А(n) і A(n)-випадкові послідовності n символів на вході та виході каналу;
Е(n)-випадковий вектор помилки, який у загальному випадку залежить від А(n).
Відомості моделі дискретних каналів різняться розподілом імовірностей вектора Е(n).Розглянемо деякі з них:
Симетричний канал без пам’яті – це дискретний канал, у якому ймовірність помилкового приймання символу не залежить від передісторії, тобто від того, які символи передавалися раніше та як вони буди прийняті.
Симетричний канал без пам`яті зі стиранням відрізняється від попереднього тільки введенням у початкову послідовність символів додаткового символу,що позначається «?», який використовується тоді,коли розв`язувальна схема демодулятора не може надійно розпізнати переданий символ.Завдяки введенню цього додаткового елемента стирання досягається значне зменшення ймовірності помилки.
Несиметричний канал без пам`яті відрізняється від симетричного тим, що помилки виникають у ньому
Незалежно одна від одної,але ймовірність їх залежить від того, який символ передається.
Марківська модель є найпростішою моделлю дискретного каналу з пам`яттю. Ймовірність виникнення помилки в цій моделі утворює просте коло Маркова,тобто залежить від того,правильно чи помилково прийнято попередній символ,але в той же час не залежить від того, який символ передається.Ця модель застосовується тоді, коли в неперервному каналі з гаусовим шумом використовується відносна фазова модуляція.
Канал з адитивним дискретним шумом є узагальненою моделлю дискретних каналів, де ймовірність виникнення вектора помилки E(n) не залежить від послідовності символів, які передаються .При цьому ймовірність виникнення кожного вектора помилки вважається заданою і взагалі не визначається його вагою.
