Формула Хартли

Если значение N равно целой степени двойки (4, 8, 16, 32, 64 и т.д.) , то показательное уравнение легко решить в уме, поскольку i будет целым числом. А чему равно количество информации в сообщении о результате матча Динамо-Зенит? В этой ситуации N=3. Можно догадаться, что решение уравнения

2ⁱ=3

будет дробным числом, лежащим между 1 и 2, поскольку 2¹=2<3, а 2²=4>3. А как точнее узнать это число?

В математике существует функция, с помощью которой решается показательное уравнение. Эта функция называется логарифмом, и решение нашего уравнения записывается следующим образом:

i = log₂ N .

Читается это так: «логарифм от N по основанию 2». Смысл очень простой: логарифм по основанию 2 от N — это степень, в которую нужно возвести 2, чтобы получилось N. Например, вычисление уже известных вам значении, можно представить так:

log₂ 2=1, log₂ 4=2, log₂ 8=3.

Значения логарифмов находятся с помощью специальных логарифмических таблиц. Также можно использовать инженерный калькулятор или табличный процессор. Определим количество информации, полученное из сообщения об одном событии из трех равновероятных, с помощью электронной таблицы. Первая таблица представлена в режиме отображения формул, вторая – в режиме отображения значений.

	A	B
1	N	i (бит)
2	3	=LOG(A2;2)

	A	B
1	N	i (бит)
2	3	1,584962501

В табличном процессоре Excel функция логарифма имеет следующий вид: LOG(аргумент; основание). Аргумент – значение N, находится в ячейке А2, а основание логарифма равно 2. В результате получили с точностью до девяти знаков после запятой:

i=log₂3=1,584962501 бит

Формула для измерения информации: i = log₂ N была предложена американским ученым Ральфом Хартли – одним из основоположников теории информации.

Данный пример показал, что количество информации, определяемое с использованием содержательного подхода, может быть дробной величиной. В то же время, информационный объем, вычисляемый путем применения алфавитного подхода, может иметь только целочисленное значение.

Р. Хартли (1888-1970)

Измерение информации – содержательный подход
Измеряется количество информации в сообщении о некотором событии
Равновероятные результаты: никакой результат не имеет преимущества перед другими
Неопределенность знаний – число возможных результатов (вариантов сообщения) - N	Количество информации в сообщении об одном результате события – I бит
2 I = N
Частный случай: два равновероятных результата события
N=2	I = 1 бит
1 бит – количество информации в сообщении об одном из двух равновероятных результатов некоторого события
Формула Хартли: i = log2 N