- •Оскільки основа логарифма дорівнює основі системи числення, для перевірки правильності розрахунків можна визначити всі можливі комбінації двійкового коду довжиною 4 біта:
- •Як видно, обидва варіанти рішення дали однаковий результат. Кількісна оцінка інформації в системах з нерівномірним розподілом імовірностей
- •Оцінка недовантаження та надлишковості повідомлень
- •Згідно з формулою (3.1) визначаємо абсолютне недовантаження двійкового шестирозрядного повідомлення:
- •Основи перешкодостійкого кодування. Оцінка перевіряючої та корегуючої здатності кодів
- •Паритетні коди. Кодування за парністю та непарністю повідомлень і блоків даних
- •Код Хеммінга
Математичні основи теорії інформації. Міра Хартлі. Ентропія.
Приклад 1.1. Визначити, скільки повідомлень можна скласти з трійкового коду (тобто, основа системи числення дорівнює трьом), комбінуючи по два символи в повідомленні.
Розв’язок.
Згідно з умовою визначаємо: m=3, n=2. Таким чином, згідно з формулою (1.1), загальна кількість повідомлень, яка може бути складена з такого алфавіту без повторень, дорівнює:
N = 32 = 9 .
Для перевірки правильності розрахунків визначимо всі можливі комбінації такого коду, вважаючи що первинний алфавіт складається з символів 0, 1, 2, тобто кожен розряд кодової комбінації може приймати одне з цих значень. Отримуємо наступні кодові комбінації:
00 10 20
01 11 21
02 12 22 .
Загальна кількість отриманих можливих кодових комбінацій дорівнює 9, що підтверджує розрахунки.
Приклад 1.2. Визначити кількість можливих станів системи, яка складається з двох підсистем, кожна з яких може випадковим чином переходити в один з трьох станів.
Розв’язок.
Згідно з умовою визначаємо: n=2, m=3. Оскільки кількість n для кожної з m підсистем однакова, у відповідності з формулою (1.1) визначаємо загальну кількість можливих станів системи в цілому:
N = 32 = 9 .
Приклад 1.3. Обчислювальна система може знаходитись з однаковою імовірністю в одному з тридцяти трьох станів. Визначити розрядність повідомлень, необхідну для передачі двійковим кодом інформації про поточний стан системи.
Розв’язок.
Згідно з умовою визначаємо кількість можливих повідомлень N=33, кількість символів алфавіту m=2 (двійковий код). З (1.1) отримуємо формулу для обчислення значення кількості символів в повідомленні n:
n = logm N .
За отриманою формулою визначаємо n:
n = log2 33 = 5.02 .
Оскільки отримане значення дробове, визначаємо найменше ціле число, не менше від розрахункового значення n. Шукане значення розрядності повідомлень дорівнює 6 (5.02 6 < 5.02+1).
Приклад 1.4. Визначити кількість біт інформації, яка міститься в одному з шістнадцяти можливих повідомлень обчислювальної системи.
Розв’язок.
Згідно з умовою кількість повідомлень N=16. За формулою (1.4) визначаємо кількість біт інформації в одному повідомленні:
І = log2 16 = 4 біта .
Оскільки основа логарифма дорівнює основі системи числення, для перевірки правильності розрахунків можна визначити всі можливі комбінації двійкового коду довжиною 4 біта:
0000 0001 0010 0011
0100 0101 0110 0111
1000 1001 1010 1011
1100 1101 1110 1111 .
Приклад 1.5. Визначити ентропію на символ шістнадцяткового коду. Скільки інформації міститься в повідомленні, яке складається з 5 таких символів?
Розв’язок.
Предметом дослідження в нашому випадку є символи шістнадцяткового коду, тобто N=16. Обчислення виконаємо в двійковій системі числення, тобто l=2. За формулою (1.6) визначаємо ентропію на 1 символ:
Н = log2 16 = 4 біта/символ .
Для визначення кількості інформації в повідомленні з 5 символів (k=5) скористаємось формулою (1.7). Отримуємо:
І = 5*4 (символ*біт/символ) = 20 біт .
Приклад 1.6. Визначити ентропію системи з п’яти елементів, кожен з яких може знаходитись в чотирьох станах з однаковою імовірністю.
Розв’язок.
Для визначення ентропії системи в цілому згідно з приміткою 1.4 визначаємо ентропію її елементів за формулою (1.6):
Нел. =log2 4 = 2 біта/стан .
Ентропію системи визначаємо як суму ентропій її елементів:
Нсист. = Нел.1+Нел.2+Нел.3+Нел.4+Нел.5 = 5 Нел. ;
Нсист.= 5*2 = 10 біт/стан .
Для перевірки скористаємось іншим підходом. За формулою (1.1) визначимо кількість можливих станів системи:
Nсист.= 45= 1024 стани .
Згідно з формулою (1.6) визначимо ентропію системи:
Нсист.= log2 1024 = 10 біт/стан .
Як видно, обидва варіанти рішення дали однаковий результат. Кількісна оцінка інформації в системах з нерівномірним розподілом імовірностей
Приклад 2.1. В алфавіті чотири літери А, В, С, D. Імовірності появи літер дорівнюють рА=рВ=0.25; рС=0.34; рD=0.16. Визначити кількість інформації на символ повідомлення, що складається з такого алфавіту.
Розв’язок.
Кількістю інформації на символ повідомлення (алфавіту) є ентропія алфавіту. Оскільки імовірності появи літер різні, для визначення ентропії алфавіту використовуємо формулу (2.1). Отримуємо:
Н=-(0.25 log2 0.25+0.25 log2 0.25+0.34 log2 0.34+
+0.16 log2 0.16)=0.5+0.5+0.529174+0.423017=
=1.952191 біта/символ .
Приклад 2.2. ЕОМ складається з трьох блоків, кожен з яких може знаходитися в одному з чотирьох станів 1,2,3,4 з імовірностями р1=0.25; р2=0.125; р3=0.125; р4=0.5. Визначити ентропію ЕОМ.
Розв’язок.
Для визначення ентропії ЕОМ (системи, групи повідомлень) необхідно визначити ентропію її елементарної складової частини - блока (в різних випадках може бути елемент, вузол, блок, окреме повідомлення з групи, літера повідомлення).
Ентропію одного блока визначаємо за формулою (2.1):
Нбл=-(0.25т log2 0.25 + 0.125 log2 0.125 +
+0.125 log2 0.125 + 0.5 log2 0.5)=
=0.5+0.375+0.375+0.5=1.75 біта/стан .
Ентропія ЕОМ визначається як сумарна ентропія її складових частин:
НЕОМ =Нбл1 + Нбл2 + Нбл3 = 1.75 * 3 = 5.25 біт/стан .
Оцінка недовантаження та надлишковості повідомлень
Приклад 3.1. Визначити абсолютне недовантаження двійкового шестирозрядного повідомлення, якщо в ньому міститься 5.02 біт інформації (імовірності надходження повідомлень вважати однаковими).
Розв’язок.
Визначимо максимальну кількість можливих значень, які можуть приймати шестирозрядні двійкові повідомлення. Для цього скористаємось формулою (1.1), враховуючи, що в нашому випадку m=2 та n=6:
N = 26 = 64 .
Максимальну ентропію на одне повідомлення (за умови однакової імовірності надходження повідомлень) визначаємо згідно з формулою (1.6):
Нмакс=log2 64 = 6 біт/повідомлення .
Фактична ентропія на повідомлення за умови рівних імовірностей надходження повідомлень дорівнює кількості інформації, яка випадає на одне повідомлення, тобто:
Н = 5.02 біт/повідомлення.