МІНІСТЕРСТВО ОСВІТИ І НАУКИ УКРАЇНИ

Національний авіаційний університет

ТЕОРІЯ ІНФОРМАЦІЇ

Конспект лекцій

Київ 2006

УДК 007.(076.5)

ББК 3811.ОЯ7

Т 338

Рецензент В.П.Стрельников

Затверджено на засіданні науково-методично-редакційної ради Інституту електроніки і систем управління НАУ 16 березня 2006 року.

Фельзер М.С.,Ситник О.Г.

Т 338 Теорія інформації: Конспект лекцій. – К.: НАУ, 2006. – 56 с

Вміщує короткий виклад основних розділів курсу “Теорія інформації”, розглянуті питання кількісної оцінки інформації, ентропії повідомлень, обчислення кількості інформації при її передачі, кодів і кодування, ефективності систем зв’язку, інформаційної оцінки автоматизованих систем управління.

Призначений для студентів факультету систем управління спеціальності 8.091401 “Системи управління і автоматики”.

УДК 007.(076.5)

БКК 3811.ОЯ7

 М.С. Фельзер, О.Г. Ситник, 2006

ЗМІСТ

ВСТУП……………………………………………………….. ………4

1.ПРЕДМЕТ І ЗАДАЧІ ТЕОРІЇ ІНФОРМАЦІЇ……………………..6

2. БЕЗУМОВНА ТА УМОВНА ЕНТРОПІЇ…………………………9

3. ДИФЕРЕНЦІАЛЬНА ЕНТРОПІЯ ……………………………….13

4. КАНАЛИ ПЕРЕДАЧІ ІНФОРМАЦІЇ…………………………….16

5. ДЖЕРЕЛА ПОВІДОМЛЕНЬ……………………………………..19

МОДУЛЬНА КОНТРОЛЬНА РОБОТА 1..………………………...25

6. КОДИ І КОДУВАННЯ……………………………………………29

7. Інформаційні характеристики каналів…………….36

8. ЕФЕКТИВНІСТЬ І НАДІЙНІСТЬ СИСТЕМ ПЕРЕДАЧІ ІНФОРМАЦІЇ………………………………………………………...43

МОДУЛЬНА КОНТРОЛЬНА РОБОТА 2…………………………..51

СПИСОК ЛІТЕРАТУРИ……………………………………………..55

ВСТУП

Сучасна авіація неможлива без широкого застосування ефективних систем зв’язку і автоматизованого управління. В основі автоматизованих систем управління всіх рівнів - управління літальними апаратами, управління повітряним рухом, управління технологічними та організаційними виробничими процесами – лежать збір, обробка і передача інформації. До технічного складу автоматизованих систем управління входять електронні обчислювальні машини, засоби передачі і відображення інформації.

Створення автоматизованих систем управління і здійснення їх ефективної експлуатації вимагає досягнення високого рівня спеціальних знань і вдосконалення практичних навиків. Вирішенню цих завдань сприяє вивчення курсу “Теорія інформації”. Теорія інформації разом з іншими математичними дисциплінами, такими як теорія оптимальних статистичних рішень, теорія оптимального управління, теорія алгоритмів і автоматів, теорія ігор та подібними, входять до складу теоретичної кібернетики – науки про управління. В основі теорії інформації лежить статистичний опис (статистичні моделі) джерел повідомлень і каналів зв’язку, а також вимірювання кількості інформації, причому кількість інформації визначається тільки ймовірними властивостями повідомлень.

Курс “Теорія інформації” є однією з основних загальнотехнічних дисциплін, які забезпечують базу для наступного вивчення спеціальних дисциплін, а також для проектування, впровадження, модернізації і експлуатації автоматизованих систем управління, систем зв’язку, інформаційних систем обробки інформації, мереж ЕОМ.

Для оволодіння матеріалом цього курсу потрібні знання з вищої математики, особливо теорії імовірностей, метрології та вимірювальної техніки, основ управління, ЕОМ і програмування та інших початкових навчальних дисциплін.

В результаті вивчення курсу “Теорія інформації” студенти повинні знати предмет і основні задачі теорії інформації, оцінку міри інформації, основи інформаційної технології перетворення і передачі інформації, основні характеристики сучасних систем передачі даних, принципи захисту інформації від спотворень, ефективність систем зв’язку, застосування теорії інформації в системах контролю і управління, а також вміти визначати кількісну оцінку інформації, обчислювати інформаційні втрати при передачі повідомлень по каналам зв’язку з перешкодами, визначати надмірність повідомлень, обчислювати швидкість передачі інформації та пропускну здатність каналів зв’язку.

Kурс побудований відповідно до кредитно-модульної системи. Він складається з двох модулів. До першого модуля входять теми 1-5, до другого – теми 6-8. В кінці кожного модуля наведено перелік запитань і завдань до модульної контрольної роботи. Запитання позначаються номером теми та порядковим номером.

Модуль 1