4. Количество информации. Формула Хартли для определения количества информации. Формула Шенона. Информационная энтропия.

Количество информации:

• мера информации, сообщаемой появлением события определенной вероятности;

• мера оценки информации, содержащейся в сообщении;

• мера, характеризующая уменьшение неопределенности, содержащейся в одной случайной величине относительно другой.

Формула Хартли

В 1928 г. американский инженер Р. Хартли предложил научный подход к оценке сообщений. Предложенная им формула имела следующий вид:

I = log₂ N , где N - количество равновероятных событий; I - количество бит в сообщении о том, что любое из N событий произошло.

Формула Шеннона

Информацио́нная энтропи́я — мера неопределённости или непредсказуемости информации, неопределённость появления какого-либо символа первичного алфавита.

5. Системы счисления. Позиционные и не позиционные системы счисления. Двоичная, десятичная, восьмеричная и шестнадцатеричная системы счисления. Запись целых и дробных чисел в позиционных системах счисления.

Система счисления – способ наименования и изображения чисел с помощью символов, имеющих определенное количественное значение. Различают позиционные и не позиционные системы счисления.

Позиционная система счисления — система счисления, в которой значение каждого числового знака (цифры) в записи числа зависит от его позиции

Непозиционная система счисления - это система счисления, в которой значение цифры не изменяется в зависимости от ее расположения

Двоичная система счисления имеет основание 2 и использует для представления информации всего две цифры «0» и «1».

Пример 10111₂ = 1•2⁵+0•2⁴+1•2³+1•2²+1•2¹

Восьмеричная система счисления имеет основание 8 и для представления информации использует 9 цифр 1 2 3 4 5 6 7 0

Десятичная система счисления имеет основание 10 и использует для представления информации 10 цифр: 1 2 3 4 5 6 7 8 9 0 называемые арабскими цифрами.

 Шестнадцатеричная система счисления имеет основание 16. Обычно в качестве шестнадцатеричных цифр используются десятичные цифры от 0 до 9 и латинские буквы от A до F для обозначения цифр от 10₁₀ до 15₁₀

Представление целого не отрицательного числа в позиционной системе счисления с основанием p записывается в виде комбинации степеней веса р от 0-й до n-й степени следующим образом:

(x)_а = x_npⁿ + x_n–1p^n–1 + ... + x₁p¹ + x₀p⁰. Где “а” система счисления в которую переводим.

6. Перевод из десятичной системы счисления в р-ную систему счисления (целой и дробной части). Связь двоичной системы счисления с восьмеричной и шестнадцатеричной система счисления.

Перевод десятичной системы счисления в другие

1. перевести отдельно целую часть числа х, для чего последовательно делить сперва целую часть [х]₁₀, а затем все частные (получаемые при делении) на р до тех пор, пока не получим в очередном частном число меньшее р; изображение [х]_p получается последовательным приписыванием к последнему частному остатков от деления – от последнего до первого;

2. перевести отдельно дробную часть (мантиссу) числа, то есть {x}₁₀, для чего последовательно умножать сперва исходную мантиссу, а затем мантиссы получаемых чисел на р до тех пор, пока не получим мантиссу, равную нулю, или нужное количество цифр в {х}_p; изображение {х}_p получается приписыванием к целой части первого произведения второй такой же цифры и т.д., до последней цифры целой части;

3. результат будет иметь вид (х)_р = [х]_p, {х}_p.

Связь двоичной системы счисления:

В ВТ часто необходимо переводить из 2-й сис. счисления в 8-ю и 16-ю сис. счисления и обратно. Для этого существует упрощенный алгоритм.

Переход от 2 -> 8: число разбивается на триады, которые заменяются на соответствующие 8-е цифры:

100 110 110 111 100 101 011 001 011₂= 4 6 6 7 4 5 3 1 3₈

Переход от 2 -> 16: число разбивается на тетрады, которые заменяются на соответствующие 16-е цифры:

1100 1101 1011 1100 1010 1100 1011₂ = CDBCACB₁₆