2.1.3.Меры и единицы представления, измерения и хранения информации

Количеством информации называют числовую характеристику сигнала, отражающую ту степень неопределенности (неполноту знаний), которая исчезает после получения сообщения в виде данного сигнала. Эту меру неопределенности в теории информации называют энтропией.

Любая информация может рассматриваться как уменьшение неопределенности наших знаний об окружающем мире (в теории информации принято говорить именно об уменьшении неопределенности, а не об увеличении объема знаний).

Случайность любого события заключается в том, что реализация того или иного исхода имеет некоторую степень неопределенности.

Пусть, например, абсолютно незнакомый нам студент сдает экзамен, результатом которого может служить получение оценок «неуд.», «удов.», «хор.» или «отл.». Поскольку мы ничего не знаем о данном студенте, то степень неопределенности всех перечисленных результатов сдачи экзамена совершенно одинакова. Напротив, если нам известно, как он учится, то уверенность в некоторых исходах будет больше, чем в других.

Наиболее просто определить количество информации в случае, когда все исходы события могут реализоваться с равной долей вероятности. В этом случае для вычисления информации используется формула Хартли¹:

i = log₂N, (1)

где i – количество информации,

N – множество сообщений.

Согласно этой формуле процесс получения информации рассматривается как выбор одного сообщения из конечного наперёд заданного множества N равновероятных сообщений, а количество информации i, содержащееся в выбранном сообщении, определяется как двоичный логарифм N.

Наиболее простую форму для формулы (1) можно представить следующим образом:

2ⁱ = N (2)

Пример: Из колоды выбрали 8 карт и положили на стол рисунком вниз. Верхнюю карту перевернули. Сколько информации будет заключено в сообщении о том, какая карта оказалась сверху?

Решение: Все карты одинаковы, поэтому любая из них могла быть перевернута с одинаковой вероятностью. Событие, заключающееся в открытии карты, для нашего случая могло иметь 8 возможных вариантов. Следовательно, информация о реализации одного из них равняется

i = log₂ 8 = 3 бита

Пример: Бросают монету. При броске может выпасть «орел» или «решка». Сколько информации будет заключено в сообщении о том, что выпал «орел» или «решка»?

Решение: Воспользуемся формулой Хартли. Для данной задачи N=2, следовательно, i = log₂ 2 = 1 бит.

В более сложной ситуации, когда исходы события ожидаются с разной степенью уверенности, требуются более сложные вычисления по формуле Шеннона:

i =  (p₁*Log₂p₁+ p₂*Log₂p₂+….+ p_i*Log₂p_i +….+p_n*Log₂p_n), (3)

где n – количество возможных событий, p_i – вероятности отдельных событий.

Бит – минимальная единица количества информации (необходимое для различения двух равновероятных сообщений).

При получении информации в 1 бит неопределенность уменьшается в 2 раза. Таким образом, каждое бросание монеты дает нам информацию в 1 бит.

В ЭВМ информация представляется в виде набора бит, позволяющих описывать различную информацию.

Байт – основная единица измерения информации в ЭВМ.

1 байт = 8 битам.

Именно восемь битов требуется для того, чтобы закодировать любой из 256 символов алфавита клавиатуры компьютера (256=2⁸).

Существуют производные единицы информации: килобайт (Кбайт, Кб), мегабайт (Мбайт, Мб), гигабайт (Гбайт, Гб), терабайт (Тбайт, Тб), петабайт (Пбайт, Пб).

1 Кб = 1024 байта = 2¹⁰ (1024) байтов.

1 Мб = 1024 Кбайта = 2²⁰ (1024²) байтов.

1 Гб = 1024 Мбайта = 2³⁰ (1024³) байтов.

1 Тб = 1024 Гбайта = 2⁴⁰ (1024⁴) байтов.

1 Пб = 1024 Тбайт = 2⁵⁰ (1024⁵) байтов.