4. Статистический подход определения количества информации; формула Хартли ; единицы измерения количества информации.

Статистический подход к измерению информации

В 30-х годах ХХ века американский ученый Клод Шеннон предложил связать количество информации, которое несет в себе некоторое сообщение, с вероятностью получения этого сообщения.

Вероятность p – количественная априорная (т.е. известная до проведения опыта) характеристика одного из исходов (событий) некоторого опыта. Измеряется в пределах от 0 до 1. Если заранее известны все исходы опыта, сумма их вероятностей равна 1, а сами исходы составляют полную группу событий. Если все исходы могут свершиться с одинаковой долей вероятности, они называются равновероятными.

Формула Хартли

определяет количество информации, содержащееся в сообщении длины n.

Имеется алфавит А, из букв которого составляется сообщение:

Количество возможных вариантов разных сообщений:

где N — возможное количество различных сообщений, шт; m — количество букв в алфавите, шт; n — количество букв в сообщении, шт.

1 Б (байт) = 8 бит*

1 Кб (Килобайт) = 1024 байт

1 Мб (Мегабайт) = 1024 Килобайт

1 Гб (Гигабайт) = 1024 Мегабайт

1 Тб (Терабайт) = 1024 Гигабайт

1 Пб (Петабайт)* = 1024 Терабайт

1 Эксабайт* = 1024 Петабайт

1 Зеттабайт* = 1024 Эксабайт

1 Йоттабайт* = 1024 Зеттабайт

5. Количество информации для равновероятных и неравновероятных событий; формула Шеннона; объёмный (алфавитный) подход к измерению информации.

Формула Шеннона.

I - количество информации;

N - количество возможных событий;

рi - вероятность i-го события (р = К/N, К – величина, показывающая, сколько раз произошло интересующее нас событие).

Алфавитный подход к изменению информации.

ЭВМ может хранить и обрабатывать информацию только в виде комбинации электрических сигналов двух типов, которые принято обозначать 0 и 1. Любая информация представляется в ЭВМ последовательностью этих сигналов. Такие последовательности называют двоичными кодами. 0 и 1 в коде самая мелкая единица информации и называется битом.

Количество информации i , которое несет один символ (информационный вес одного символа алфавита) в тексте, и мощность алфавита N связаны формулой: 2i = N

6. Системы счисления. Представление чисел в различных позиционных системах счисления.

Система счисле́ния — символический метод записи чисел, представление чисел с помощью письменных знаков.

Система счисления:

1. даёт представления множества чисел (целых и/или вещественных);

2. даёт каждому числу уникальное представление (или, по крайней мере, стандартное представление);

3. отражает алгебраическую и арифметическую структуру чисел.

Системы счисления подразделяются на: позиционные, непозиционные и смешанные.

Позиционная система счисления (позиционная нумерация) — система счисления, в которой значение каждого числового знака (цифры) в записи числа зависит от его позиции (разряда). В общем случае в позиционной системе с основанием P имеется ровно P разных цифр в диапазоне от 0 до P-1. Так в десятичной системе счисления используется 10 цифр: от 0 до 9. В двоичной – всего две цифры 0 и 1, а в шестнадцатеричной – 16 цифр. Поскольку обычных цифр для шестнадцатеричной системы недостаточно, то для цифр после 9 используются буквы латинского алфавита от A до F.