Інформаційні міри.
Велике поширення одержала адитивна міра інформації. Нехай N- число
рівно ймовірних повідомлень, n- їхня довжина, q – число букв алфавіту , який використовується для передачі інформації. Кількість можливих повідомлень довжини n дорівнює числу розміщень з повторенням
=
q
Цю міру наділяють властивістю адитивності, щоб вона була пропорційною довжині повідомлення і дозволяла підсумувати кількість інформації ряду джерел.
Для цього використовується логарифмічна функція, як міра кількості інформації
I = log N = n log q
Кількість
інформації, що припадає на один елемент
повідомлення визначається за формулою
Основа
логарифму залежить від вибору одиниці
кількості інформації. Якщо для алфавіту
використовують двійкові цифри 0 і 1 , то
за основу логарифму приймають q
= 2, у результаті чого I
= n
= n.
При довжині повідомлення n
= 1 одержують I
= 1 і цю кількість інформації називають
бітом.
Це означає, що надійшло повідомлення
одне з двох або 0 або 1.
Всі повідомлення з’являються з різною ймовірністю. Чим менша ймовірність, тим більше вона не визначена, тим більша її ентропія невизначеність. Таким чином, можна зробити висновок, що ентропія дорівняє 0 коли повідомлення заздалегідь відоме.
Ентропія двобуквених повідомлень має максимальне значення (1 біт) тому, що невідомо яка надійде інформація 0 чи 1 (50%). Ця ситуація найбільш невизначена.
Але, незважаючи на це, у цифровій схемотехніці широко використовується двійковий код (0 і 1) , тільки такий код дає ціле число бітів.
1 біт 0 або 1 ;
1 байт 8 біт ;
1 Кбайт 1024 байт ;
1 Мбайт 1024 Кбайт ;
1 Гбайт 1024 Мбайт .
При
цьому слід зауважити, що 1024 =
.
1.2.Системи числення і кодування чисел.
1.2.1. Принципи побудови систем числення.
Системою числення називають сукупність цифр і правил для записування чисел. Запис числа у деякій системі числення називається його кодом. Усі системи числення поділяють на позиційні й непозиційні. У позиційній системі числення використовують певну кількість знаків(цифр і букв), які відрізняються один від одного. Число таких знаків q називається основою позиційної системи числення.
В цифровій схемотехніці використовують позиційні системи з різною основою.
Система числення з основою два (цифри 0 і 1) називається двійковою. Система числення з основою три (цифри 0, 2, 3) – трійковою і т.д. У системах числення з основою меншою десяти використовують десяткові цифри, а для основи більшої десяти добавляють букви латинського алфавіту – А, В, С, D, E, F. Далі в позначеннях при необхідності пишуть десятковий індекс, що дорівнює основі системи числення, яка застосована.
Основа |
Система числення |
Знаки |
2 3 5 8 10 16 |
Двійкова Трійкова П’ятіркова Вісімкова Десяткова Шістнадцяткова |
0, 1 0, 1, 2 0, 1, 2, 3, 4, 0, 1, 2, 3, 4, 5, 6, 7 0, 1, 2, 3, 4, 5, 6, 7, 8, 9 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, A, B, C, D, E F |
У позиційних системах числення значення кожної цифри визначається її зображенням і позицією в числі. Окремі позиції в записі числа називають розрядами. А номер позиції – номером розряду. Число розрядів у записі числа називається його розрядністю і збігається з довжиною числа.
У непозиційних системах числення значення кожної цифри не залежить від її позиції. Найвідомішою непозиційною системою є римська, в якій використовуються сім знаків – I, V, X, L, C, D, M, що відповідають значенням:
I V X L C D M
1 5 10 50 100 500 1000
Наприклад: III – 3, LIX – 59, DVL – 555
Недоліками непозиційної системи є:
відсутність нуля та правил запису чисел ;
відсутність будь - яких арифметичних дій.
Система числення повинна забезпечувати:
можливість представлення будь – якого числа в заданому діапазоні;
однозначність запису числа, стислість запису числа та простоту виконання арифметичних операцій над числами;
досягнення високої швидкодії обчислювальної машини в процесі оброблення інформації.
Любе число у позиційній системі можна представити таким поліномом:
Аq
= ak
+ ak-1
+
… + a0
+ a-1
+ …+ a-m
,
де:
q – основа системи числення (може бути двійковою, трійковою, вісімковою,
десятковою та інш.);
-
вага
позиції ;
0,1,…,k – номери розрядів цілої частини числа ;
-1,-2,…,-m - номери розрядів дробової частини числа.
aі Є {0,1,…., (q-1) } – цифри в позиціях.
Позиційні системи з однаковою основою в кожному розряді називають однорідними. Оскільки на значення q немає обмежень, то теоретично можлива нескінченна множина позиційних систем числення.
На практиці застосовують скорочений запис полінома у вигляді послідовності цифр позицій із знаком залежно від типу числа:
для змішаного числа
Аq = ± ak ak-1… a1 a0 a-1… a-m ;
для цілого числа
Aq = ± ak ak-1…a1 a0 ;
для правильного дробу
Aq = ± 0, a-1 a-2 …a-m.
Очевидно, що у скороченому запису полінома записуються послідовно тільки коефіцієнти ak та am, що стоять біля ваги позиції.
Для двійкової системи числення запис виглядає так:
А2
= 111,01 = 1×
+ 1×
+ 1×
+ 0×
+ 1×
=7,2510
Для вісімкової системи числення :
А8
= 45,21 = 4×
+ 5×
+2×
+
1×
= 37,26510
Для десяткової системи числення :
А10
=
135,64 = 1×
+ 3×
+5×
+
6×
+
4×
Для шістнадцяткової системи числення :
А16
= DE,1B
= D×
+ E×
+ 1×
+ В×
=
= 13× + 14× + 1× + 11× = 222,10510
З наведених прикладів очевидно, що при однаковій розрядності в системах числення з більшою основою можна записати більше різних чисел. Але у цифровій схемотехніці використовується двійкова система числення.
Переваги двійкової системи числення над іншими системами числення :
використання тільки двох цифр 0 та 1 (степінь визначення інформації найвища і дорівнює 50%);
простота виконання арифметичних операцій;
легка технічна реалізація двійкового коду (ввімкнено – вимкнено, відкрито - закрито).
Як недолік, слід зазначити , що для запису великих чисел потрібна значна кількість розрядів двійкового коду. Але, ця проблема спрощується при використанні запису десяткового числа у двійково – десятковій системі, коли кожна цифра десяткової системи записується двійковим чотирирозрядним кодом, наприклад :
А10 = 873,25 = 1000 0111 0011,0010 0101
8 7 3 2 5