- •Тема 1. Інформація та інформаційні процеси.
- •1. Повідомлення та інформація.
- •2. Моделі інформаційних систем
- •3. Математичні моделі каналу зв’язку
- •4. Предмет теорії інформації та кодування
- •Тема 2. Вимірювання інформації.
- •1. Основні підходи до вимірювання інформації, їх особливості.
- •2. Технічний (об’ємний) спосіб оцінювання інформації та його застосування в комп’ютерних системах.
- •3. Інформаційний обсяг повідомлення
- •4. Поняття про алгоритмічний підхід до вимірювання інформації.
- •Тема 3. Поняття ентропії інформації. Умовна та безумовна ентропії.
- •1. Кількісна міра інформації.
- •2. Ентропія та її властивості.
- •3. Безумовна ентропія
- •4. Умовна ентропія
- •5. Ентропія об’єднання двох джерел.
- •Тема 4. Методи визначення ентропії.
- •1. Ентропія по Хартлі.
- •2. Ентропія по Шеннону.
- •3. Ентропія по Колмогорову та ентропія 3
- •4. Ентропія по Шульцу та Мідлтону
- •5. Ентропія по Николайчуку. Інші методи визначення ентропії.
- •Тема 5. Характеристика дискретних джерел інформації. Теорема Шеннона.
- •1. Продуктивність дискретного джерела та швидкість передачі інформації
- •2. Інформаційні втрати при передачі інформації по дискретному каналу зв'язку
- •3. Пропускна здатність дискретного каналу. Основна теорема про кодування дискретного джерела.
- •Тема 6. Характеристики неперервних джерел інформації.
- •1. Інформаційні втрати при кодуванні неперервних джерел.
- •2. Продуктивність неперервного джерела та швидкість передачі інформації
- •3. Пропускна здатність неперервного каналу
- •Тема 7. Поняття про коди та кодування.
- •1. Поняття про коди та кодування. Потужність та довжина коду.
- •2. Рівномірні коди. Основна теорема про рівномірні коди.
- •3. Нерівномірні коди
- •4. Основні напрями кодування
- •Тема 8. Основи економного кодування.
- •1. Передавання інформації каналами зв’язку
- •2. Теоретичні основи побудови економних кодів. Перша теорема Шенона
- •3. Алгоритм Шенона—Фано для побудови економного коду
- •Алгоритм кодування за методом Шенона—Фано
- •4. Алгоритм Хаффмена для побудови оптимального коду
- •Алгоритм Хаффмена
- •5. Оптимальні нерівномірні коди і проблеми стискування інформації
- •Тема 9. Нерівномірні двійкові первинні коди.
- •1. Класифікація первинних кодів
- •2. Код Морзе
- •3. Число-імпульсні коди
- •Тема 10. Рівномірні двійкові первинні коди.
- •1. Числові двійкові коди
- •2. Двійково-десяткові коди
- •3. Двійково-десяткові коди з самодоповненням
- •4. Двійково-шістнадцятковий код
- •5. Рефлексні коди
- •Тема 11. Двійкові коди з виявленням помилок.
- •1. Коди з перевіркою на парність та непарність
- •2. Код із простим повторенням
- •3. Інверсний код
- •4. Кореляційний код
- •5. Код зі сталою вагою
- •6. Код із кількістю одиниць в комбінації, кратною трьом
- •Тема 12. Недвійкові коди з виявленням помилок.
- •1. Код з перевіркою за модулем q
- •2. Код із повторенням
- •3. Незвідні змінно-позиційні коди
- •4. Штрихові коди
- •Тема 16. Кодування в системі залишкових класів.
- •1. Побудова кодів у системі залишкових класів, породжених базисом Крестенсона
- •2. Переваги та недоліки кодування у системі залишкових класів
- •3. Ефективність математичних операцій у системі залишкових класів
- •4. Надлишковість та здатність виявляти та виправляти помилки
- •Тема 17. Коди Галуа.
- •1. Методика формування кодів Галуа, їх переваги
- •2. Надлишковість та здатність виявляти та виправляти помилки
4. Предмет теорії інформації та кодування
Теорія інформації- це розділ кібернетики, в якому за допомогою математичних методів вивчаються способи вимірювання кількості інформації, що міститься в будь-яких повідомленнях, способи кодування для економічного подання повідомлень і надійної передачі їх по каналах зв`язку з завадами.
Курс теорії інформації об`єднює такі теоретичні напрями:
-кількісна оцінка інформації
-кодування повідомлень,їх стиснення
-оцінка ефективності та завадостійкості передачі кодованих повідомлень.
Завдання теорії кодування- здобуття ефективних алгоритмів кодування для джерел повідомлень і передачі даних по каналах зв`язку.
Тема 2. Вимірювання інформації.
План
1. Основні підходи до вимірювання інформації, їх особливості.
2. Технічний (об’ємний) спосіб оцінювання інформації та його застосування в комп’ютерних системах.
3. Інформаційний обсяг повідомлення
4. Поняття про алгоритмічний підхід до вимірювання інформації.
1. Основні підходи до вимірювання інформації, їх особливості.
Поняття інформації настільки багатозначне, що дати йому строге і повне визначення неможливо. Ми будемо дотримуватися досить поширеної в науковому світі концепції, згідно з якою поняття інформації належить, як і поняття речовини (матерії) та енергії, до фундаментальних неозначуваних понять науки.
Отже, не існує загальноприйнятого визначення інформації.
У випадках, коли наука не може дати чіткого визначення певному об’єкту (явищу), доводиться користуватися поняттям. Поняття відрізняються від визначень тим, що різні люди за різних обставин можуть вкладати в них різний зміст.
В різних галузях науки та техніки існують різні тлумачення поняття інформації.
У відповідності до них існують і різні підходи до вимірювання (оцінювання) інформації.
Їх можна стисло охарактеризувати за допомогою таблиці 1.
При побутовому тлумаченні інформації використовується змістовний підхід до її оцінювання.
Кількість інформації, що міститься у повідомленні, визначається обсягом знань, який несе це повідомлення адресату (людині, що одержує інформацію). Повідомлення містить інформацію для адресата (одержувача інформації) тільки в тому випадку, якщо відомості, які містяться в цьому повідомленні, є для одержувача інформації новими і зрозумілими. В цьому випадку вони поповнюють знання людини, яка одержала повідомлення.
Таблиця 1
Підхід до |
||
|
тлумачення інформації |
вимірювання інформації |
У побуті |
Різноманітні відомості, повідомлення, їх невизначеність |
Новизну виміряти кількісно неможливо |
У техніці |
Повідомлення, що подаються у формі знаків та сигналів. |
Інформаційний обсяг повідомлення, що залежить від кількості символів в ньому. |
У теорії зв’язку (статистичній теорії інформації) |
Зняття невизначеності (Р.Хартлі, К.Шенон) |
Кількість інформації залежить від імовірності одержання повідомлення |
В алгоритмічній теорії інформації |
Алгоритмічна складність деякої послідовності даних (А.М.Колмогоров) |
Мінімальна довжина обчислювального алгоритму, який міг би відтворити інформацію (задану послідовність даних). |
При змістовному підході є можливою якісна оцінка інформації. Семантичній інформації притаманні такі якості, як об’єктивність, корисність і зрозумілість. Об’єктивність інформації полягає в тому, що вона є відображенням зовнішнього світу, який існує незалежно від нашої свідомості, думок та суджень про нього.
Інформація є повною, якщо її достатньо для розуміння ситуації та прийняття рішення .Корисність інформації залежить від потреб конкретних людей та від тих задач, які за допомогою отриманої інформації можна розв’язати. Інформацію вважають зрозумілою, якщо в процесі її сприймання людиною, на яку розрахована ця інформація, не виникає додаткових запитань, потреби у додаткових повідомленнях.
Недоліком змістовної (семантичної) інформації є відсутність формального апарату, придатного для її об’єктивної оцінки. Одну і ту ж змістовну інформацію різні люди можуть оцінювати по-різному.
У ХХ столітті започатковано спроби побудувати формальну теорію оцінювання змістовної (семантичної) інформації.
У 1953р. американські вчені Н.Бар-Хіллел та Р.Карнак створили теорію, яка досліджує прості висловлювання деякої формалізованої мови. Кількість семантичної інформації простого висловлювання оцінюється функцією логічної ймовірності. Ця теорія має незначну практичну придатність.
Другий підхід до оцінки семантичної інформації здійснено російським вченим Ю.А.Шрейдером. В її основі лежить поняття тезаурусу – множини змістовиражаючих елементів і змістовних відношень між ними [5, C.12-14].Концепція Юрія Шрейдера передбачає один з можливих перспективних шляхів до розв’язання проблеми оцінювання семантичної інформації.