- •Тема 1. Інформація та інформаційні процеси.
- •1. Повідомлення та інформація.
- •2. Моделі інформаційних систем
- •3. Математичні моделі каналу зв’язку
- •4. Предмет теорії інформації та кодування
- •Тема 2. Вимірювання інформації.
- •1. Основні підходи до вимірювання інформації, їх особливості.
- •2. Технічний (об’ємний) спосіб оцінювання інформації та його застосування в комп’ютерних системах.
- •3. Інформаційний обсяг повідомлення
- •4. Поняття про алгоритмічний підхід до вимірювання інформації.
- •Тема 3. Поняття ентропії інформації. Умовна та безумовна ентропії.
- •1. Кількісна міра інформації.
- •2. Ентропія та її властивості.
- •3. Безумовна ентропія
- •4. Умовна ентропія
- •5. Ентропія об’єднання двох джерел.
- •Тема 4. Методи визначення ентропії.
- •1. Ентропія по Хартлі.
- •2. Ентропія по Шеннону.
- •3. Ентропія по Колмогорову та ентропія 3
- •4. Ентропія по Шульцу та Мідлтону
- •5. Ентропія по Николайчуку. Інші методи визначення ентропії.
- •Тема 5. Характеристика дискретних джерел інформації. Теорема Шеннона.
- •1. Продуктивність дискретного джерела та швидкість передачі інформації
- •2. Інформаційні втрати при передачі інформації по дискретному каналу зв'язку
- •3. Пропускна здатність дискретного каналу. Основна теорема про кодування дискретного джерела.
- •Тема 6. Характеристики неперервних джерел інформації.
- •1. Інформаційні втрати при кодуванні неперервних джерел.
- •2. Продуктивність неперервного джерела та швидкість передачі інформації
- •3. Пропускна здатність неперервного каналу
- •Тема 7. Поняття про коди та кодування.
- •1. Поняття про коди та кодування. Потужність та довжина коду.
- •2. Рівномірні коди. Основна теорема про рівномірні коди.
- •3. Нерівномірні коди
- •4. Основні напрями кодування
- •Тема 8. Основи економного кодування.
- •1. Передавання інформації каналами зв’язку
- •2. Теоретичні основи побудови економних кодів. Перша теорема Шенона
- •3. Алгоритм Шенона—Фано для побудови економного коду
- •Алгоритм кодування за методом Шенона—Фано
- •4. Алгоритм Хаффмена для побудови оптимального коду
- •Алгоритм Хаффмена
- •5. Оптимальні нерівномірні коди і проблеми стискування інформації
- •Тема 9. Нерівномірні двійкові первинні коди.
- •1. Класифікація первинних кодів
- •2. Код Морзе
- •3. Число-імпульсні коди
- •Тема 10. Рівномірні двійкові первинні коди.
- •1. Числові двійкові коди
- •2. Двійково-десяткові коди
- •3. Двійково-десяткові коди з самодоповненням
- •4. Двійково-шістнадцятковий код
- •5. Рефлексні коди
- •Тема 11. Двійкові коди з виявленням помилок.
- •1. Коди з перевіркою на парність та непарність
- •2. Код із простим повторенням
- •3. Інверсний код
- •4. Кореляційний код
- •5. Код зі сталою вагою
- •6. Код із кількістю одиниць в комбінації, кратною трьом
- •Тема 12. Недвійкові коди з виявленням помилок.
- •1. Код з перевіркою за модулем q
- •2. Код із повторенням
- •3. Незвідні змінно-позиційні коди
- •4. Штрихові коди
- •Тема 16. Кодування в системі залишкових класів.
- •1. Побудова кодів у системі залишкових класів, породжених базисом Крестенсона
- •2. Переваги та недоліки кодування у системі залишкових класів
- •3. Ефективність математичних операцій у системі залишкових класів
- •4. Надлишковість та здатність виявляти та виправляти помилки
- •Тема 17. Коди Галуа.
- •1. Методика формування кодів Галуа, їх переваги
- •2. Надлишковість та здатність виявляти та виправляти помилки
Тема 1. Інформація та інформаційні процеси.
План
1. Повідомлення та інформація.
2. Моделі інформаційних систем.
3. Математичні моделі каналу зв’язку.
4. Предмет теорії інформації та кодування.
1. Повідомлення та інформація.
Під даними розуміють усі відомості, здобуті від навколишнього світу та подані у формалізованому вигляді (літерами, цифрами, символами тощо). Дані, що підлягають передачі,називаються повідомленнями. Повідомлення стають інформацією тільки в момент їх застосування, тобто інформація – це використовувані повідомлення, причому такі, які відзначаються новизною і раніше не були відомі одержувачеві (оператору ЕОМ).Є й інше, більш широке визначення інформації, згідно з яким інформація – це відомості, що є об’єктом зберігання, передавання та перетворення.
Для можливості технічного оброблення (передачі, запису та ін.) повідомлення має бути перетворене на сигнал – матеріальний носій, що відображує повідомлення.
Відрізняють сигнали:
звукові (акустичні)
електричні
оптичні
гідравлічні
Один вид сигналу можна перетворювати на інший (електричний на звуковий, оптичний на електричний тощо).
Будь-який сигнал характеризується такими основними параметрами:
тривалістю
шириною частотного спектра
динамічним діапазоном
Під тривалістю Т с сигналу розуміють час, протягом якого він знаходиться в каналі зв’язку.
Частотний спектр F c сигналу визначає смугу частот, яку він охоплював під час передачі по каналу зв’язку. Залежно від виду сигналу (аналоговий, дискретний) частотний спектр може бути і нескінченним; тому на практиці його обмежують для можливості передачі по каналам з обмеженою смугою частот.
Середньою потужністю Р с сигналу є потужність, яка забезпечується апаратурою під час його находження до каналу зв’язку. Частіше замість Р с користуються поняттям динамічного діапазону D с , що визначається логарифмом відношення найбільшої (максимальної) миттєвої потужності сигналу (Pc max=Pc ) до найменшої (мінімальної) P c min , дозволене значення якої дорівнює потужності завад
(P c min=Р 3):
D с=log (Р с / Р 3).
Усі ці параметри сигналу є його обсягом:
V c =T c F c D c.
Повідомлення та відповідні сигнали можуть бути неперервними (аналоговими) та дискретними (знаковими).Перші описуються неперервною функцією часу.До них належать такі повідомлення, як музика, телевізійне зображення, радіомовлення.
Дискретне повідомлення – скінченна послідовність окремих символів (знаків, літер) з обмеженою тривалістю. Для перетворення дискретного повідомлення на сигнал потрібна операція кодування.
Неперервні повідомлення можна передавати дискретними способами: неперервні сигнали, якими передаються ці повідомлення, перетворюються на дискретні за допомогою операцій квантування за рівнем та дискретизації в часі. На приймальному боці виконується обернене перетворення: за прийнятими дискретними сигналами відновлюються передані неперервні сигнали.
Дискретні сигнали як засіб передачі повідомлень більш поширені, ніж неперервні,завдяки тому що вони меншою мірою зазнають впливу завад і спотворень в каналах зв’язку,а в разі спотворення їх легше відновити.