Единица количества информации

Два подхода.

Первый. Вероятностный. Получатель данных или сообщений имеет определённое представление о возможности наступления некоторых событий. Эти представления в общем случае недостоверны и выражены вероятностями, с которыми он ожидает то или иное событие. Общая мера неопределённости (энтропия). Характеризуется некоторой тематической зависимостью совокупности этих вероятностей.

Н – энтропия некоторого события.

m – количество возможных исходов события.

Для оценки информации используется формула Хартли: .

В случае колоды из тридцати двух карт данная формула даёт число двоичных вопросов, ответами на которые могут быть «да» и «нет».

Дама Пик

1. Масть красная - 0

2. Трефы – 0

3. Одна из четырёх старших – 0

4. Одна из двух старших - 0

5. Дама – 1

В общем случае энтропия зависит не только от числа возможных исходов. Но и от вероятности их исходов.

Шенноном предложена формула .

– вероятность наступления i-го исхода.

Тогда энтропия, приходящаяся на некоторый алфавит из n символов .

Можно статистически определить частоту употребления буквы.

Для русского языка информативность

Для английского алфавита .

Частотность символов в русском языке

1. Пробел – 0,175

2. о – 0,09

3. е – 0,072

4. ё – 0,072

5. а – 0,062

6. и – 0,062

12. л – 0,035

21. ь – 0,014

22. ъ – 0,014

33) э – 0,003

34) ф – 0,002

printer = prn

Количественный подход к определению количества информации

Важным при определении количества информации является определение единицы информации.

Единицей информации называют бит (binary digit), что в двоичном коде эквивалентно нулю и единицей.

Выбор нуля и единицы не случаен, так как:

1. наиболее просто реализуется аппаратно;

2. позволяет на одной и той же аппаратуре производить как арифметические. Так и логические операции.

Другая не случайно выбранная единица информации – байт, равная восьми битам.

Таким образом, восьми бит достаточно для кодирования двух национальных алфавитов, строчных и прописных, различных специальных символов.

Системы счисления в эвм

В ЭВМ используются позиционные системы счисления: двоичная, восьмеричная шестнадцатеричная и десятичная.

В позиционной системе счисления каждая цифра имеет свой весовой коэффициент , где b – основание системы счисления, i – номер позиции цифры в числе. Общая форма записи чисел в таких системах: . А значение рассчитывается по формуле: .

Пример. .

В ЭВМ используется двоичная система счисления, основание которой равняется 2, и каждая цифра может принимать два значения: 0 и 1.

Два способа такой записи:

1. Арифметический (вначале записывается кодовая комбинация из одних нулей 0000, затем каждой предыдущей строке добавляется единица с организацией переноса в старшие разряды).

2. Формальный (вначале записывается столбец младшего разряда, в котором на каждой строке происходит смена нулей и единиц, в каждом последующем столбце частота смены единиц и нулей уменьшается вдвое).

0000

0001

0010

0011

0100

0101

0110

0111

1000

1001

1010

1011

1100

1101

1110

1111

Кроме двоичной в ЭВМ используется восьмеричная система счисления с основанием 8 ( ) и шестнадцатеричная с основанием 16 ( ).

Восьмеричная использует цифры: 0, 1, 2, 3, 4, 5, 6, 7.

Шестнадцатеричная использует цифры: 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, A, B, C, D, E, F.

0 000 0 0000 0

1 001 1 0001 1

2 010 2 0010 2

3 011 3 0011 3

4 100 4 0100 4

5 101 5 0101 5

6 110 6 0110 6

7 111 7 0111 7

8 1000 8

9 1001 9

10 1010 A

11 1011 B

12 1100 C

13 1101 D

14 1110 E

15 1111 F

Чтобы перевести целое двоичное число в восьмеричное (шестнадцатеричное), необходимо, двигаясь влево от десятичной точки, делить его на группы по 3 (4) бита. Затем каждая группа заменяется на одну восьмеричную (шестнадцатеричную) цифру.

При необходимости к последней группе приписываются нули.

Дробные числа переводятся аналогично, но деление на группы проводится, двигаясь вправо от десятичной точки и записывая недостающие нули, являющиеся значащими.

Для преобразования восьмеричных и шестнадцатеричных чисел в двоичные, необходимо каждую восьмеричную цифру заменить тремя двоичными, шестнадцатеричную – четырьмя.

Преобразование из восьмеричной в шестнадцатеричную возможно с помощью предварительного перевода в двоичную.

Перепишем общую формулу расчёта в позиционной системе счисления в следующем виде

.

Если данную формулу разделить на основание системы счисления b, в остатке получим , а частное примет вид общей формулы, но на одно слагаемое меньше.

Если Q разделить на основание системы счисления, то получим вторую цифру.

Общая формула.

Если число в системе C необходимо перевести в систему S, то для этого нужно провести его последовательное деление на основание системы S, выраженное в системе C. На каждом шаге деления получают цифры числа в системе S, начиная с младшей. Процесс деления заканчивается, когда частное станет меньше S.

Схема Горнера

.

.

Отдельно для целой и дробной части числа в произвольной системе счисления.

Пример.

.

.

.

При вводе в ЭВМ каждая десятичная цифра заменяется четырьмя двоичными битами. Такая запись десятичных чисел называется двоично-десятичной.

- это не двоичный код.

Двоичное значение двоично-десятичного числа осуществляется по схеме Горнера.

Аналогично по схеме Горнера можно получить правила перевода дробных чисел из одной системы счисления в другую, но так как там основание системы счисления в отрицательной степени, перевод сводится к ряду последовательных умножений.

Правило1: последовательно умножать переводимое число и полученные дробные части на основание новой системы, выраженное в алфавите исходной, до тех пор, пока дробная часть не станет равной нулю или пока не будет достигнута заданная точность.

Правило2: полученные целые части произведений, являющиеся цифрами числа в новой системе счисления, выразить в алфавите этой системы.

Правило3: записать дробную часть числа в новой системе, начиная с целой части первого произведения.

Пример. .

.

В частном случае, если знаменатель дробной части представляет целую степень числа, то числитель a переводится как целое b k двоичных бит.

Смешанные числа переводятся по отдельности: целая часть и дробная часть.

Три способа перевода чисел из одной системы счисления в другую:

1. По правилам (триады, тетрады).

2. По степенному ряду.

3. По схеме Горнера.

Пример.

.

Двоичная арифметика

Сложение

0+0=0

0+1=1

1+0=1

1+1=0 выходной перенос = 1

x	y
0	0	0	0	0
0	0	1	0	0
0	1	0	1	0
0	1	1	0	1
1	0	0	1	0
1	0	1	0	1
1	1	0	0	1
1	1	1	1	1

10110110=

+1101110=

+101101=

+10111=

--------------------

101101000=