Меры и единицы количества и объема информации. Энтропия

Единицы измерения количества информации служат для измерения объёма информации — величины, исчисляемой логарифмически. Это означает, что когда несколько объектов рассматриваются как один, количество возможных состояний перемножается, а количество информации — складывается

Первичные единицы

Объёмы информации можно представлять как логарифм количества состояний. Наименьшее целое число, логарифм которого положителен - 2. Соответствующая ему единица - бит - является основой исчисления информации в цифровой технике.

Бит в теории информации – количество информации, необходимое для различения двух равновероятных сообщений   (типа "орел"—"решка", "чет"—"нечет" и т.п.).

1 бит – величина, уменьшающая неопределенность в два раза

В вычислительной технике битом называют наименьшую "порцию" памяти компьютера, необходимую для хранения одного из двух знаков "0" и "1", используемых для внутримашинного представления данных и команд.

Единицы информации

бит	б	1
байт	Б	8 бит
килобит	кбит (кб)	1 000 бит
килобайт	КБайт (KБ)	1024 байта
мегабит	мбит (мб)	1 000 килобит
мегабайт	МБайт (МБ)	1024 килобайта
гигабит	гбит (гб)	1 000 мегабит
гигабайт	ГБайт (ГБ)	1024 мегабайта
терабит	тбит (тб)	1 000 гигабит
терабайт	ТБайт (ТБ)	1024 гигабайт

Почему в 1 байте 8 бит?

• 8-битные байты были приняты в System/360, из-за использования BCD-формата представления чисел: одна десятичная цифра (0-9) требует 4 бита (тетраду) для хранения; один 8-битный байт может представлять две десятичные цифры. 6-битные байты могут хранить только по одной десятичной цифре, два бита остаются незадействованными.

• По другой версии, 8-битный размер байта связан с 8-битным же числовым представлением символов в кодировке EBCDIC.

• По третьей версии, из-за двоичной системы кодирования в компьютерах наиболее выгодными для аппаратной реализации и удобными для обработки данных являются длины слов кратные степеням 2, в том числе и 1 Байт = 2³ = 8 битов, системы и компьютеры с длинами слов не кратными степеням 2 отпали из-за невыгодности и неудобства

Меры информации

• Мера Хартли H = log2N (бит).

• Мера Шеннона

• увеличение меры Шеннона свидетельствует об уменьшении энтропии (увеличении порядка) системы;

• уменьшение меры Шеннона свидетельствует об увеличении энтропии (увеличении беспорядка) системы.

Неопределенность

Максимальная неопределенность предполагает наличие нескольких равновероятных альтернатив (вариантов), т.е. ни один из вариантов не является более предпочтительным.

Минимальная неопределенность равна 0

Энтропия (H) – мера неопределенности, выраженная в битах. Так же энтропию можно рассматривать как меру равномерности распределения случайной величины.

Пример:

Пусть в некотором учреждении состав работников распределяется так: ¾ - женщины, ¼ - мужчины. Тогда неопределенность, например, относительно того, кого вы встретите первым, зайдя в учреждение, будет рассчитана рядом действий.

Если же априори известно, что мужчин и женщин в учреждении поровну (два равновероятных варианта), то при расчете по той же формуле мы должны получить неопределенность в 1 бит. Проверка этого предположения проведена в таблице.

Количество информации I и энтропия H характеризуют одну и ту же ситуацию, но с качественно противоположенных сторон. I – это количество информации, которое требуется для снятия неопределенности H