- •Лекція 1
- •1. Інформаційні системи на транспорті
- •1.1. Класифікація аіс
- •1.2. Структура автоматизованих інформаційних систем
- •Позамашинне інформаційне забезпечення (на папері) містить у собі
- •Комплекс технічних засобів аіс складається з
- •Лекція 2
- •1.3. Внутрішньомашинне інформаційне забезпечення аіс.
- •Інформаційні банки даних.
- •Основу сучасних аіс складають інформаційні банки даних.
- •Інформаційні банки даних з'явилися з початком використання інтегрованого опрацювання даних.
- •Лекція 3
- •2. Моделі даних
- •2.1. Ієрархічна модель
- •2.2. Сітьова модель
- •2.3. Реляційна модель даних
- •Тобто тут атрибути приймають значення з 4-х доменів.
- •Відношення навантаження:
- •Лекція 4
- •3. Реляційні бази даних
- •Відношення одержувач:
- •3.1. Первинний ключ відношення
- •3.2. Можливий ключ відношення
- •3.3. Чужі ключі
- •Лекція 5
- •4. Проектування реляційної бази даних
- •4.1. Цілі проектування рбд
- •4.2. Універсальне відношення
- •4.2.1. Поняття форми відношення. Перша нормальна форма.
- •4.2.2. Проблеми, що можуть виникнути при роботі з рбд
- •Лекція 6
- •4.3. Нормалізація відношення
- •4.3.1. Нормальна форма Бойса-Кодда
- •4.3.2. Функціональні залежності
- •Лекція 7
- •4.4.1. Поняття сутності і зв'язку
- •Лекція 8
- •4.4.2. Ступінь зв'язку
- •Лекція 9-10
- •4.4.3. Побудова попередніх відношень
- •4.4.3.1. Правило 1
- •4.4.3.2. Правило 2
- •4.4.3.3. Правило 3
- •4.4.3.4. Правило 4
- •4.4.3.5. Правило 5
- •4.4.3.6. Правило 6
- •4.5. Перевірка отриманих відношень.
- •4.6. Концептуальна модель даних
- •Лекція 11
- •5. Основні поняття теорії інформації
- •5.1. Одиниці виміру ентропії
- •Лекція 12
- •5.2. Властивості ентропії
- •5.3. Ентропія та інформація
- •Лекція 13
- •5.4. Ентропія як міра кількості інформації
- •5.5. Кодування дискретних повідомлень
- •Лекція 14
- •5.5.1. Запис повідомлення за допомогою кодів
- •5.5.2. Способи перетворювання кодів
- •Лекція 15
- •5.6. Класифікація (двійкових) кодів
- •5.6.1. Ненадлишкові коди
- •5.6.2. Надлишкові коди
- •5.6.2.1. Коди з виявленням помилок
- •5.6.2.2. Коди з виправленням помилок
- •Лекція 16
- •1.4. Позамашинне інформаційне забезпечення аіс.
- •1.4.1. Системи уніфікованої документації (документообіг)
- •Лекція 17
- •1.4.2. Класифікація та ідентифікаційне кодування інформації
- •1.4.3. Методи ідентифікаційного кодування
- •Лекція 18
- •1.4 .4. Захист від помилок ідентифікаційних кодів
- •1.4.4.1. Захист від помилок інвентарного номера вагона
- •1.4.4.2. Захист від помилок коду єср станції
Лекція 13
5.4. Ентропія як міра кількості інформації
Ентропія, як міра кількості інформації, використовується тільки для вирішення технічних питань, наприклад, оптимального кодування інформації (закодувати більшу кількість інформації меншим числом символів).
При цьому відволікаються від її (інформації) змісту.
Приклад.
Хай система S має 4 стана з Р1 = 0,5; Р2 = 0,25; Р3 = Р4 = 0,125. Задля передачі повідомлення про стан системи S можна скористатися двохбітовими кодами:
S1 ~ 00; S2 ~ 01; S3 ~ 10; S4 ~ 11.
Щоб передати 1000 повідомлень треба мати канал зв’язку ємністю 2000 біт.
Розрахуємо ентропію системи:
H(S) = (-log2Pi)=0,5(-log20,5)+0,25(-log20,25)+0,125(-log20,125)+0,125(-log20,125)=
= 0,51 + 0,252 + 0,1253 + 0,1253 = 0,5 + 0,5 + 0,375 + 0,375 = 1,75 біт.
Тобто повна інформація про стан системи S:
ІS =H(S)= 1,75 біт.
Як бачимо, для з'ясування стану системи S достатньо в повідомленні передавати в середньому всього 1,75 біт інформації, а не 2 біта, як ми припускали.
Часткова інформація від кожного окремого повідомлення про стан системи S є різною.
Кількість інформації в кожному окремому повідомленні про те, чи знаходиться система S в і-му стані дорівнює:
в 1-му стані ІS1=log20,5 =1 біт,
в 2-му стані ІS2=log20,25 =2 біта,
в 3-му чи 4-му стані ІS3=ІS4=log20,125 =3 біта.
Висновок: чим менш ймовірний стан системи, тим більшу кількість інформації отримаємо від окремого повідомлення про те, чи знаходиться система в тому стані.
У відповідності до отриманих даних про часткову інформацію від окремих повідомлень складемо коди для їхньої передачі інакше:
S1 ~ 0 (1 біт); S2 ~ 10 (2 біта); S3 ~ 110 (3 біта); S4 ~ 111 (3 біта).
*До речі, розподіляти повідомлення між собою не треба, можна відрізнити одне повідомлення від іншого й без розподільників.
Алгоритм розпізнавання змісту повідомлення: якщо перший символ 0, то це S1 (і кінець), інакше, якщо другий символ 0, це S2 (і кінець), інакше, якщо третій символ 0, це S3 (і кінець), інакше це S4.
Це так званий префіксний код, в якому ніяке повідомлення не є початком іншого повідомлення. Префіксний код дозволяє зчитувати текст повідомлень без розподільників.
Відшукаємо математичне очікування кількості біт для передачі окремого повідомлення префіксним кодом:
ІS = М[S] = nі = 1 0,5 + 2 0,25 + 3 0,125 + 3 0,125 = 1,75 біт.
де nі – кількість біт в повідомленні.
Відповідно для передачі 1000 повідомлень префіксним кодом треба 1750 біт, а не 2000, як в попередньому коді.
В теорії інформації доводиться, що це число ІS =H(S) є мінімально можливим. Саме так розробляють оптимальні коди повідомлень, а також проектують потужність каналів зв’язку та пристроїв, що запам’ятовують.
Якщо б всі стани системи S були б рівноймовірні, то користуватися цим кодом було б недоречно. Доведемо це.
Ентропія системи з чотирма рівноймовірними станами:
H(S) = log24 = 2 біта,
а повна інформація про стан цієї системи з використанням префіксного коду:
М[S] = 1 0,25 + 20,25 + 30,25 + 30,25 = 2,25 біт.
Висновок: в цьому випадку треба скористатися рівномірним кодом з однаковим числом знаків:
ІS = М[S] = 2 0,25 + 2 0,25 + 2 0, 25 + 2 0, 25 = 2 біта.
Рівність ентропії системи і повної інформації про її стан є ознакою оптимального кодування повідомлень.