Производные единицы измерения информации для байта

1 байт = 8 бит= 2³ бит.

1 Килобайт	≈	103	байт	=	210	байт	=	1024 байт.
1 Мегабайт	≈	106	байт	=	220	байт	=	1024 Килобайт.
1 Гигабайт	≈	109	байт	=	230	байт	=	1024 Мегабайт.
1 Терабайт	≈	1012	байт	=	240	байт	=	1024 Гигабайт.
1 Петабайт	≈	1015	байт	=	250	байт	=	1024 Терабайт.

3. Подходы к определению количества информации

Сообщение несет больше информации, если в нем содержатся новые и понятные сведения. Такое сообщение называется информативным. Количество информации в информативном сообщении больше нуля. Количество информации в сообщении равно нулю, если оно неинформативно. Информативность приводит к уменьшению неопределенности знаний.

Информация – это мера устранения неопределенности в отношении исхода интересующего нас события. В физике мерой беспорядка, хаоса для термодинамической системы является энтропия системы. Энтропия системы может рассматриваться как мера недостающей информации. Информация рассматривается как антиэнтропия или энтропия с обратным знаком. Информация – противоположность неопределенности.

Содержательный подход к определению количества информации

При содержательном подходе к определению количества информации оценивают вероятность наступления события из возможных (равновероятных или неравновероятных).

В 1948 г. Клод Шеннон в своих работах по теории связи предложил формулу для вычисления количества информации в случае различных вероятностей событий:

, (1)

где I – количество информации;

N – количество возможных событий;

p_i – вероятность i-го события.

Пример. В коробке лежат кубики: 12 синих, 10 красных, 8 зеленых, 5 желтых. Вычислите количество информации, которое будет получено, если достать любой кубик.

Решение: События не равновероятные.

Всего кубиков: N = 10 + 8 + 5 +12 = 35.

Рассчитываем вероятности: р_с = 12 / 35 ≈ 0,34; р_к = 10 / 35 ≈ 0,29;

р_з = 8 / 35 ≈ 0,22; р_ж = 5 / 35 ≈ 0,14.

По формуле (1) находим количество информации:

I = - (0,34×log₂0,34+0,29×log₂0,29+0,22×log₂0,22+0,14×log₂0,14) = 1,92 бит.

Ответ: 1,92 бит.

Для частного случая, когда события равновероятны (p_i=1/N), количество информации можно рассчитать по формуле Хартли:

I= log₂N. (2)

Пример. В игре «Крестики-нолики» на поле 8х8 перед первым ходом существует 64 возможных события (64 различных варианта расположения «крестика»). Какое количество информации получит второй игрок после первого хода первого игрока? (События равновероятны).

Решаем показательное уравнение: 64 = 2^I; I = log₂64 = 6. Ответ: 6 бит.