Формула Хартли

Подойдем к определению понятия количества информации с точки зрения неопределенности опыта. Интуитивно понятно, что при N = 16 изначальная неопределенность больше, чем при N = 14, и еще больше, чем при N = 10

I = log2 N – формула Хартли N – число возможных выборов

Формула Хартли

I = log2 N – формула Хартли N – число возможных выборов

Формула Хартли более точно определяет количество информации:

Формула Хартли подразумевает для опыта

равновероятные исходы

Формула Хартли

С точки зрения формулы Хартли 1 бит — это

количество информации, уменьшающее

вдвое неопределенность исходной ситуации Количество информации, при броске кубика:

I = log2N = log2 6 2.6 бита

Количество информации, при подкидывании монеты: I = log2N = log22 = 1 бит

Т.о., 1 бит – это единица измерения неопределенности при двух возможных

равновероятных исходах опыта

Аддитивность информации

Функция называется аддитивной, если f(ab) = f(a) + f(b)

По свойству логарифмической функции: log2 N1N2 = log2 N1 + log2 N2