Вероятностная мера

Общая оценка количества информации, названная вероятностной мерой, была разработана американским инженером-связистом и ученым Клодом Шенноном в 1948 г в известных работах по теории информации. С этого времени началось интенсивное развитие теории информации вообще и углубленное исследование вопроса об измерении ее количества в системах телекоммуникации в частности.

Формула Шеннона .

Здесь: I – количество информации, получаемое в результате проведения опыта; N – общее количество исходов в опыте; p_i – вероятность i-го исхода.

Если вероятности всех исходов в опыте равны p₁ = p₂ = . . . = p_n = 1/N (бросание монеты, игрального кубика, вытаскивание карты из колоды и т.п.), то формула Шеннона превращается в формулу Хартли (1928 г.): I = log₂N.

Как видно, в результате произведенных выкладок получилась уже известная нам логарифмическая мера.

Таким образом, по формуле Шеннона под количеством информации понимается уменьшение неопределенности о состоянии какой-либо системы.

Понятия бита, байта

Известны различные формы представления информации. Однако, элек­тронно-вычислительная машина – это техническое устройство, основанное на работе электронных компонентов, а значит, обладающее определенными фи­зическими характеристиками. Поэтому, информация, предназначенная для ЭВМ, должна иметь физическое представление, причем это представление должно быть наиболее простым.

Этим требованиям отвечает, так называемое, битовое представление информации, основанное на двоичной системе счисления, при котором каждая запоминаемая частица может принимать только два значения - либо 0, либо 1. В технических устройствах двоичная система счисления используется для обозначения систем с двумя возможными состояниями. Например:

1 - есть отверстие, 0 - нет отверстия;

1 - включено, 0 - выключено;

1 - есть напряжение, 0 - нет напряжения.

Причем каждая двоичная цифра содержит один бит информации.

За единицу информации 1 бит (binary digit – двоичная единица) принимается количество информации, получаемое в результате проведения опыта, состоящего в выборе одного из двух равновероятных исходов.

Бит действительно является очень маленьким объемом хранения информации, содержащим всего два состояния: 0, 1. Если объединить два бита в одно целое, то в таком объеме можно хранить уже 4 состояния: 00, 01, 10, 11. Если объединить три, то появляется возможность для хранения еще большей информации: 000, 001, 010, 011, 100, 101, 110, 111. И так далее. Таким образом, объем информации, записанной двоичными знаками (0 и 1) в памяти компьютера или на внешнем носителе информации подсчитывается просто по количеству требуемых для такой записи двоичных символов. Напри­мер, восьмиразрядный двоичный код 11001011 имеет объем дан­ных V= 8 бит.

Чтобы было нагляднее, изобразим это в таблице:

Количество битов	Возможные комбинации	Количество комбинаций
1	0, 1	2
2	00, 01, 10, 11	22
3	000, 001, 010, 011, 100, 101, 110, 111	23
...	... ... …
n	... ... …	2n

На практике чаще применяется более крупная единица измерения – байт (1 байт = 8 бит), а также производные от него единицы измерения информации.

Для измерения больших объемов информации используются следующие единицы:

1 Кб  (один килобайт)= 1024 байт=2¹⁰байт 1 Мб  (один мегабайт)= 1024 Кб=2¹⁰Кбайт=2²⁰байт 1 Гб  (один гигабайт)= 1024 Мб=2¹⁰Mбайт=2³⁰байт 1Тбайт (один терабайт)=2¹⁰Гбайт=1024Гбайт=2⁴⁰байт 1Пбайт(один петабайт)=2¹⁰Тбайт=1024Тбайт=2⁵⁰байт 1Эбайт(один экзабайт)=2¹⁰Пбайт=1024Пбайт=2⁶⁰байт 1Збайт(один зетабайт)=2¹⁰Эбайт=1024Эбайт=2⁷⁰байт 1Йбайт(один йотабайт)=2¹⁰Збайт=1024Збайт=2⁸⁰байт.

Следует обратить внимание, что в системе измерения двоичной (компьютерной) информации, в отличие от метрической системы, единицы с приставками «кило», «мега» и т. д. получаются путем умножения основной единицы не на 10³= 1000, 10⁶= 1000 000 и т. д., а на 2¹⁰ , 2²⁰ и т. д.