Добавил:
Upload Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз: Предмет: Файл:
Шпори тік.docx
Скачиваний:
16
Добавлен:
10.12.2018
Размер:
65.76 Кб
Скачать

Математичні основи теорії інформації. Міра Хартлі. Ентропія.

Приклад 1.1. Визначити, скільки повідомлень можна скласти з трійкового коду (тобто, основа системи числення дорівнює трьом), комбінуючи по два символи в повідомленні.

Розв’язок.

Згідно з умовою визначаємо: m=3, n=2. Таким чином, згідно з формулою (1.1), загальна кількість повідомлень, яка може бути складена з такого алфавіту без повторень, дорівнює:

N = 32 = 9 .

Для перевірки правильності розрахунків визначимо всі можливі комбінації такого коду, вважаючи що первинний алфавіт складається з символів 0, 1, 2, тобто кожен розряд кодової комбінації може приймати одне з цих значень. Отримуємо наступні кодові комбінації:

00 10 20

01 11 21

02 12 22 .

Загальна кількість отриманих можливих кодових комбінацій дорівнює 9, що підтверджує розрахунки.

Приклад 1.2. Визначити кількість можливих станів системи, яка складається з двох підсистем, кожна з яких може випадковим чином переходити в один з трьох станів.

Розв’язок.

Згідно з умовою визначаємо: n=2, m=3. Оскільки кількість n для кожної з m підсистем однакова, у відповідності з формулою (1.1) визначаємо загальну кількість можливих станів системи в цілому:

N = 32 = 9 .

Приклад 1.3. Обчислювальна система може знаходитись з однаковою імовірністю в одному з тридцяти трьох станів. Визначити розрядність повідомлень, необхідну для передачі двійковим кодом інформації про поточний стан системи.

Розв’язок.

Згідно з умовою визначаємо кількість можливих повідомлень N=33, кількість символів алфавіту m=2 (двійковий код). З (1.1) отримуємо формулу для обчислення значення кількості символів в повідомленні n:

n = logm N .

За отриманою формулою визначаємо n:

n = log2 33 = 5.02 .

Оскільки отримане значення дробове, визначаємо найменше ціле число, не менше від розрахункового значення n. Шукане значення розрядності повідомлень дорівнює 6 (5.02 6 < 5.02+1).

Приклад 1.4. Визначити кількість біт інформації, яка міститься в одному з шістнадцяти можливих повідомлень обчислювальної системи.

Розв’язок.

Згідно з умовою кількість повідомлень N=16. За формулою (1.4) визначаємо кількість біт інформації в одному повідомленні:

І = log2 16 = 4 біта .

Оскільки основа логарифма дорівнює основі системи числення, для перевірки правильності розрахунків можна визначити всі можливі комбінації двійкового коду довжиною 4 біта:

0000 0001 0010 0011

0100 0101 0110 0111

1000 1001 1010 1011

1100 1101 1110 1111 .

Приклад 1.5. Визначити ентропію на символ шістнадцяткового коду. Скільки інформації міститься в повідомленні, яке складається з 5 таких символів?

Розв’язок.

Предметом дослідження в нашому випадку є символи шістнадцяткового коду, тобто N=16. Обчислення виконаємо в двійковій системі числення, тобто l=2. За формулою (1.6) визначаємо ентропію на 1 символ:

Н = log2 16 = 4 біта/символ .

Для визначення кількості інформації в повідомленні з 5 символів (k=5) скористаємось формулою (1.7). Отримуємо:

І = 5*4 (символ*біт/символ) = 20 біт .

Приклад 1.6. Визначити ентропію системи з п’яти елементів, кожен з яких може знаходитись в чотирьох станах з однаковою імовірністю.

Розв’язок.

Для визначення ентропії системи в цілому згідно з приміткою 1.4 визначаємо ентропію її елементів за формулою (1.6):

Нел. =log2 4 = 2 біта/стан .

Ентропію системи визначаємо як суму ентропій її елементів:

Нсист. = Нел.1ел.2ел.3ел.4ел.5 = 5 Нел. ;

Нсист.= 5*2 = 10 біт/стан .

Для перевірки скористаємось іншим підходом. За формулою (1.1) визначимо кількість можливих станів системи:

Nсист.= 45= 1024 стани .

Згідно з формулою (1.6) визначимо ентропію системи:

Нсист.= log2 1024 = 10 біт/стан .

Як видно, обидва варіанти рішення дали однаковий результат. Кількісна оцінка інформації в системах з нерівномірним розподілом імовірностей

Приклад 2.1. В алфавіті чотири літери А, В, С, D. Імовірності появи літер дорівнюють рА=рВ=0.25; рС=0.34; рD=0.16. Визначити кількість інформації на символ повідомлення, що складається з такого алфавіту.

Розв’язок.

Кількістю інформації на символ повідомлення (алфавіту) є ентропія алфавіту. Оскільки імовірності появи літер різні, для визначення ентропії алфавіту використовуємо формулу (2.1). Отримуємо:

Н=-(0.25 log2 0.25+0.25 log2 0.25+0.34 log2 0.34+

+0.16 log2 0.16)=0.5+0.5+0.529174+0.423017=

=1.952191 біта/символ .

Приклад 2.2. ЕОМ складається з трьох блоків, кожен з яких може знаходитися в одному з чотирьох станів 1,2,3,4 з імовірностями р1=0.25; р2=0.125; р3=0.125; р4=0.5. Визначити ентропію ЕОМ.

Розв’язок.

Для визначення ентропії ЕОМ (системи, групи повідомлень) необхідно визначити ентропію її елементарної складової частини - блока (в різних випадках може бути елемент, вузол, блок, окреме повідомлення з групи, літера повідомлення).

Ентропію одного блока визначаємо за формулою (2.1):

Нбл=-(0.25т log2 0.25 + 0.125 log2 0.125 +

+0.125 log2 0.125 + 0.5 log2 0.5)=

=0.5+0.375+0.375+0.5=1.75 біта/стан .

Ентропія ЕОМ визначається як сумарна ентропія її складових частин:

НЕОМбл1 + Нбл2 + Нбл3 = 1.75 * 3 = 5.25 біт/стан .

Оцінка недовантаження та надлишковості повідомлень

Приклад 3.1. Визначити абсолютне недовантаження двійкового шестирозрядного повідомлення, якщо в ньому міститься 5.02 біт інформації (імовірності надходження повідомлень вважати однаковими).

Розв’язок.

Визначимо максимальну кількість можливих значень, які можуть приймати шестирозрядні двійкові повідомлення. Для цього скористаємось формулою (1.1), враховуючи, що в нашому випадку m=2 та n=6:

N = 26 = 64 .

Максимальну ентропію на одне повідомлення (за умови однакової імовірності надходження повідомлень) визначаємо згідно з формулою (1.6):

Нмакс=log2 64 = 6 біт/повідомлення .

Фактична ентропія на повідомлення за умови рівних імовірностей надходження повідомлень дорівнює кількості інформації, яка випадає на одне повідомлення, тобто:

Н = 5.02 біт/повідомлення.

Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]