1.2 О формуле Хартли

В 1928 г. американский инженер Р. Хартли предложил научный подход к оценке сообщений. Предложенная им формула имела следующий вид:

I = log₂ K ,

Где К - количество равновероятных событий; I - количество бит в сообщении, такое, что любое из К событий произошло. Тогда K=2I.

Иногда формулу Хартли записывают так:

I = log₂ K = log₂ (1 / р) = - log₂ р,

т. к. каждое из К событий имеет равновероятный исход р = 1 / К, то К = 1 / р.

Задача №1

Шарик находится в одной из трех урн: А, В или С. Определить сколько бит информации содержит сообщение о том, что он находится в урне В.

Решение.

Такое сообщение содержит I = log₂ 3 = 1,585 бита информации.

Задача №2

Определить количество информации, содержащееся в сообщении длины n.

Решение

Решение зависит от используемого алфавита, так как число символов в разных алфавитах разное.

Пусть имеется алфавит А, из букв которого составляется сообщение и он содержит m символов: | А | = m (длина алфавита A равно m)

Формула Хартли позволяет определить количество информации, содержащееся в сообщении длины n.

Применим подход, подобный опыту с подбрасыванием многогранника. Число граней у него равно числу символов в алфавите – то есть m. Число многогранников равно n. Подкидывая каждый многогранник по разу получаем слово (сообщение).

Количество всех возможных сообщений, из которых может выпасть одно слово равно принять:

N = mⁿ

Формула Хартли определяется:

I = log₂N = nlog₂m

При равновероятности символов алфавита вероятность появления одного символа p=1/m, m=1/p формула Хартли переходит в собственную информацию.

Задача №3

Определить, какой минимальный объём информации содержится в опыте, по определению загаданного в интервале 1-100 загаданного целого числа.

Решение

Допустим, нам требуется что-либо найти или определить в той или иной системе. Есть такой способ поиска как «деление пополам». Например, кто-то загадывает число от 1 до 100, а другой должен отгадать его, получая лишь ответы «да» или «нет». Задается вопрос: число меньше? Ответ и «да» и «нет» сократит область поиска вдвое. Далее по той же схеме диапазон снова делится пополам. В конечном итоге, загаданное число будет найдено.

Посчитаем сколько вопросов надо задать, чтобы найти задуманное число. Допустим загаданное число 27. Начали:

Больше 50? Нет

Больше 25? Да

Больше 38? Нет

Меньше 32? Да

Меньше 29? Да

Больше 27? Нет

Это число 26? Нет

Наконец, делаем окончательный вывод: если число не 26 и не больше 27, то это явно 27.

Чтобы угадать методом «деления пополам» число от 1 до 100 нам потребовалось 7 вопросов.

Кто-то может задаться вопросом: а почему именно так надо задавать вопросы? Ведь, например, можно просто спрашивать: это число 1? Это число 2? И т.д. Но тогда вам потребуется намного больше вопросов (возможность того, что вы телепат, и угадаете с первого раза не рассматривается). «Деление пополам» самый короткий рациональный способ найти число. Остальные подходы требуют избыточной, ненужной информации.

Объем информации заложенный в ответ «да» или «нет» равен одному биту. Действительно, ведь бит может быть в состоянии 1 или 0. Итак, для угадывания числа от 1 до 100 нам потребовалось семь бит (семь ответов «да» - «нет»). Число «состояний» системы равно

N = 2^k

Такой формулой можно представить, сколько вопросов (бит информации) потребуется, чтобы определить одно из возможных значений. N – это количество значений, а k – количество бит. Например, в нашем примере 100 меньше чем 27, однако больше, чем 26. Да, нам могло потребоваться и всего 6 вопросов, если бы загаданное число было бы 28.

Формула Хартли:

k = log₂N.

Следовательно, количество информации (k), необходимой для определения конкретного элемента, есть логарифм по основанию 2 общего количества элементов (N).