Вероятностный

Получатель данных или сообщений имеет определённое представление о возможности наступления некоторых событий. Эти представления в общем случае недостоверны и выражены вероятностями, с которыми он ожидает то или иное событие. Общая мера неопределённости (энтропия). Характеризуется некоторой тематической зависимостью совокупности этих вероятностей.

Н – энтропия некоторого события.

m – количество возможных исходов события.

Для оценки информации используется формула Хартли: Н = log₂m.

В случае колоды из тридцати двух карт данная формула даёт число двоичных вопросов, ответами на которые могут быть «да» и «нет».

Дама Пик

1. Масть красная - 0

2. Трефы – 0

3. Одна из четырёх старших – 0

4. Одна из двух старших - 0

5. Дама – 1

В общем случае энтропия зависит не только от числа возможных исходов. Но и от вероятности их исходов.

Шенноном предложена формула .

p_i – вероятность наступления i-го исхода.

Тогда энтропия, приходящаяся на некоторый алфавит из n символов .

Можно статистически определить частоту употребления буквы.

Для русского языка информативность p_i = 1/m

H_рус  5 = 4,92

Для английского алфавита Н = 4,76.

Частотность символов в русском языке:

1. Пробел – 0,175

2. о – 0,09

3. е – 0,072

4. ё – 0,072

5. а – 0,062

6. и – 0,062

12. л – 0,035

21. ь – 0,014

22. ъ – 0,014

33) э – 0,003

34) ф – 0,002

Количественный

Важным при определении количества информации является определение единицы информации.

H = log₂m

H = 1

Единицей информации называют бит (binary digit), что в двоичном коде эквивалентно нулю и единицей.

Выбор нуля и единицы не случаен, так как:

1. наиболее просто реализуется аппаратно;

2. позволяет на одной и той же аппаратуре производить как арифметические. Так и логические операции.

Другая не случайно выбранная единица информации – байт, равная восьми битам. 2⁸=256.

Таким образом, восьми бит достаточно для кодирования двух национальных алфавитов, строчных и прописных, различных специальных символов.

1Кбайт = 2¹⁰ байт = 1024байт

1Мбайт = 1024Кб

1Кб = 1024Мб

5. Позиционные системы счисления – десятичная, двоичная, восьмеричная, шестнадцатеричная. Правила записи чисел и расчёта из значений. Причины применения в ЭВМ двоичной системы счисления.

Позиционная систе́ма счисле́ния (позиционная нумерация) — система счисления, в которой значение каждого числового знака (цифры) в записичисла зависит от его позиции (разряда).

В ЭВМ используются позиционные системы счисления: двоичная, восьмеричная шестнадцатеричная и десятичная.

В позиционной системе счисления каждая цифра dⁱ имеет свой весовой коэффициент bⁱ, где b – основание системы счисления, i – номер позиции цифры в числе. Общая форма записи чисел в таких системах: . А значение рассчитывается по формуле: .

Пример. 1234.56₁₀ = 110³ + 210² + 310¹ + 410⁰ + 510^-1 + 6 10^-2.

В ЭВМ используется двоичная система счисления, основание которой равняется 2, и каждая цифра может принимать два значения: 0 и 1.

Два способа такой записи:

1. Арифметический (вначале записывается кодовая комбинация из одних нулей 0000, затем каждой предыдущей строке добавляется единица с организацией переноса в старшие разряды).

2. Формальный (вначале записывается столбец младшего разряда, в котором на каждой строке происходит смена нулей и единиц, в каждом последующем столбце частота смены единиц и нулей уменьшается вдвое).

101110₂ = 2⁵ + 2³ + 2² + 2¹ = 32 + 8 + 4 + 2 = 46₁₀

1011.111₂ = 2³ + 2¹ + 2⁰ + 2^-1 + 2^-2 + 2^-3 = 11.875₁₀

0000

0001

0010

0011

0100

0101

0110

0111

1000

1001

1010

1011

1100

1101

1110

1111

Кроме двоичной в ЭВМ используется восьмеричная система счисления с основанием 8 (2³) и шестнадцатеричная с основанием 16 (2⁴).

Восьмеричная использует цифры: 0, 1, 2, 3, 4, 5, 6, 7.

Шестнадцатеричная использует цифры: 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, A, B, C, D, E, F.

0 000 0 0000 0

1 001 1 0001 1

2 010 2 0010 2

3 011 3 0011 3

4 100 4 0100 4

5 101 5 0101 5

6 110 6 0110 6

7 111 7 0111 7

8 1000 8

9 1001 9

10 1010 A

11 1011 B

12 1100 C

13

1101 D

14 1110 E

15 1111 F

D₁₆ = 1101₂ 5₈ = 101₂

6. Перевод чисел из одной системы счисления в другую – перевод чисел с основаниями, являющимися степенью 2, перевод целых и дробных чисел по правилам, по степенному ряду, по схеме Горнера.

Перевод чисел с основаниями, являющимися степенью двойки

Чтобы перевести целое двоичное число в восьмеричное (шестнадцатеричное), необходимо, двигаясь влево от десятичной точки, делить его на группы по 3 (4) бита (правила триады и тетрады). Затем каждая группа заменяется на одну восьмеричную (шестнадцатеричную) цифру.

0001101101110111₂ = 15567₈ = 1В77₁₆

При необходимости к последней группе приписываются нули.

11111000111₂ = 3707₈ = 7С7₁₆

Дробные числа переводятся аналогично, но деление на группы проводится, двигаясь вправо от десятичной точки и записывая недостающие нули, являющиеся значащими.

111101.101110111010₂ = 75.5672₈ = 3D.BBA₁₆

110111101.101110111011₂ = 675.5673₈ = 1BD.BBB₁₆

Для преобразования восьмеричных и шестнадцатеричных чисел в двоичные, необходимо каждую восьмеричную цифру заменить тремя двоичными, шестнадцатеричную – четырьмя.

Преобразование из восьмеричной в шестнадцатеричную возможно с помощью предварительного перевода в двоичную.