Контрольні запитання

1. Який спосіб кодування використовується для представлення даних у пам'яті ЕОМ?

2. Що називається машинним словом?

3. Як визначити від’ємне число?

4. Описати алгоритм отримання прямого коду цілого числа.

5. Описати алгоритм отримання додаткового коду цілого негативного числа.

6. Які системи числення широко використовуються для представлення даних в ЕОМ?

Лабораторна робота № 3 Ентропія та її властивості. Безумовна, умовна ентропія та ентропія двох джерел

Мета роботи: оволодіти способами визначення ентропії джерела, часткової, максимальної та загальної умовної ентропії повідомлень.

Теоретичні відомості

Здобуття інформації від джерела знімає певною мірою невизначеність стану спостережуваного об'єкта. Формуючи модель джерела повідомлень (його ансамбль), треба заздалегідь передбачити всі необхідні повідомлення. Кожне таке повідомлення може бути відображене певною кількістю символів, знаків тощо, переносячи певну кількість інформації. При цьому множина повідомлень А є алфавітом повідомлень (первинним), а множина символів, знаків тощо, за допомогою яких спостерігач подає кожне повідомлення у формі, зручній для одержувача, — алфавітом джерела (вторинним). Немає ніякого значення, в якому алфавіті подаються повідомлення. Модель джерела (ансамбль) враховує лише склад їх і розподіл ймовірностей (йдеться про статистично незалежні повідомлення).

Кількість інформації, яка припадає на одне повідомлення джерела, не залежить від складу послідовностей і довжини послідовностей. Інше джерело з іншим ансамблем повідомлень матиме зовсім іншу питому кількість інформації. Ця загальна характеристика джерела повідомлень називається його ентропією Н(А).

Ентропією джерела повідомлень називається питома кількість інформації, яка припадає на одне повідомлення джерела із статистично незалежними повідомленнями. Вона має фізичний зміст середньостатистичної міри невизначеності відомостей спостерігача А відносно стану спостережуваного об'єкта. Точно ентропію можна визначити як математичне сподівання питомої кількості інформації

. (1)

З цього виразу випливає, що чим вища ентропія, тим більшу кількість інформації в середньому закладено в кожне повідомлення цього джерела, тим важче запам'ятати (записати) або передати таке повідомлення по каналу зв'язку.

Необхідні витрати енергії на передачу повідомлення пропорційні його ентропії (середній кількості інформації на одне повідомлення). Виходить, що кількість інформації в послідовностях визначається кількістю повідомлень N у послідовності та ентропією Н(А) джерела, тобто

i(N) = N·H(A). (2)

Основні властивості ентропії

Розглянемо вироджене дискретне джерело з єдиним повідомленням а А з р(а) = 1. Тоді Н(А) = 0 згідно з (1).

Якщо р(а) = 0, то Н(А) теж дорівнюватиме нулю. Таким чином, ентропія завжди додатна або дорівнює нулю, тобто невід'ємна — це перша властивість.

Друга властивість ентропії випливає з виразу (1), згідно з яким вона є величиною адитивною. Якщо N-вимірні послідовності повідомлень а₁, а₂, ..., a_N розглядати як збільшені повідомлення нового джерела, то його ентропія буде в N разів більшою від початкової.

Якщо алфавіт А = { а₁, а₂, ..., a_k } має k різних повідомлень, то Н(А) ≤ log k. Тут рівність стосується тільки рівноймовірних і статистично незалежних повідомлень а_і А. Число k називається обсягом алфавіту повідомлень.

Безумовна ентропія — це кількість інформації, яка припадає на одне повідомлення джерела із статистично незалежними повідомленнями.

Якщо є дискретне джерело статистично незалежних повідомлень з ансамблем А = {а₁, а₂, ..., a_і, ..., a_k} та р = {p_l, p₂, ..., p_і,..., р_к}, то кількість інформації (середня), що припадає на одне повідомлення a_і А й визначається формулою Шеннона

, (3)

є характеристикою цього джерела в цілому.

Наприклад, джерело з k = 8 незалежними та рівноймовірними повідомленнями має ентропію

біт/повідомлення.

Якщо р = 1 або 0, то до ансамблю А не може входити більш як одне повідомлення. Таким чином,

або (4)

,

де невизначеність 0 · ∞, якщо її розкрити за правилом Лопіталя через граничний перехід, дає

Н₀(А) = 0. (5)

Безумовна ентропія K рівноймовірних повідомлень завжди максимальна і обчислюється за формулою Хартлі:

. (6)