Формула Хартли

I=log₂N.

Отсюда следует, что 2^I=N.

Рассмотрим пример: допустим нужно угадать число из набора целых чисел от нуля до 63. В соответствии с формулой Хартли количество информации в сообщении о том, какое число угадано равно I=log₂64=6 бит.

Формула Хартли определяет длину двоичного слова (I), которое требуется для кодирования N равновероятных сообщений (объектов, состояний, событий).

Такой подход для определения количества информации назвали вероятностным. Рассмотрим с этой точки зрения формулу Хартли.

Пусть N – число равновероятных событий. Поскольку вероятности появления событий равны, то можно записать р= , следовательно N= . Исходя из этого, запишем формулу Хартли в следующем виде:

I=log₂N=log₂(1/p)=-log₂p.

Следует учесть, что не все события могут быть равновероятны. Для такого рода задач американский ученый Клод Шеннон в 1948г. предложил формулу определения количества информации, учитывающую возможную неодинаковую вероятность сообщений в наборе.

Формула Шеннона.

I=-(p₁log₂p₁+p₂log₂p₂+…p_Nlog₂p_N),

где р_i – вероятность того, что именно i-е сообщение выделено в наборе из N сообщений.

Практически одновременно такие же исследования по теории передачи информации велись в СССР. Например, в том же 1948 г. вышла работа советского математика А.Н. Колмогорова «Математическая теория передачи информации».

Помимо рассмотренных подходов к определению количества информации существуют и другие. Например, структурная мера информации. «В структурном аспекте рассматривается строение массивов информации и их измерение простым подсчетом информационных элементов или комбинаторным методом». [2]

Итак , в качестве единицы информации условились принять один бит. Это то количество информации, которое необходимо для различения двух равновероятных событий. В вычислительной технике бит (разряд) – это наименьший объем памяти, необходимый для хранения одного из двух чисел «0» или «1».

Следует заметить, что на практике применяются более крупная единица измерения – байт. Для современных ЭВМ 1 байт= 8 битам.

Широко используются еще более крупные единицы информации:

1 Килобайт(Кбайт)=1024 байт=2¹⁰ байт

1 Мегабайт(Мбайт)=1024 Кбайт=2²⁰ байт

1 Гигабайт(Гбайт)=1024 Мбайт=2³⁰ байт

1 Терабайт(Тбайт)=1024 Гбайт=2⁴⁰ байт

1 Петабайт(Пбайт)=1024 Тбайт=2⁵⁰ байт.

Не следует путать понятия «количество» информации и «объем» информации. Поясним на примере различие этих понятий. Два ученика набирали в текстовом редакторе сочинение. Количество страниц у них получилось одинаковым. Но один ученик изложил свои мысли, а второй заполнил все листы символом «*». Объем информации в этих двух сочинениях одинаков, а вот количество информации совершенно различно. Страницы, заполненные символом «*» не несут никакой информации.

Задачи.

1. В корзине с фруктами лежит 8 яблок, 6 груш и 2 персикa. Какое количество информации содержит сообщение о том, что из корзины случайно взяли одно яблоко, одну грушу, один персик?

Решение.

Определим количество фруктов в корзине: N=8+6+2=16.

Для каждого из событий «взять яблоко», взять «грушу», взять «персик» определим его вероятность:

р₁=8/16 =1/2 - вероятность события «случайно взять яблоко»;

р₂=6/16=3/8 – случайно взять грушу;

р₃=2/16=1/8 – случайно взять персик.

Для решения задачи воспользуемся формулой: I=log(1/p). Подставим в формулу вероятности событий, получим:

I₁=-log₂(1/2)=1

I₂=-log₂(3/8)=1.415

I₃=-log₂(1/8)=3 .

Ответ: I₁=1 бит, I₂=1.415 бит, I₃= 3 бита.

2. В коробке лежит 16 шариковых ручек. Среди них есть ручки с синей пастой и черной пастой. Сообщение о том, что вынули синюю ручку несет 2 бита информации. Определить, сколько в коробке синих ручек?

Дано: N=16;

Ic=2 бита.

Найти: количество синих ручек.

Решение.

Пусть х – искомое число синих ручек.

Определим вероятность того, что вынута синяя ручка: р=х/16.

Воспользовавшись формулой I=log₂(1/p), найдем х.

I=log2(1/p)  2=log₂(1/p)  2²=16/x x=4.

Ответ: в коробке 4 синих ручки.

Решить самостоятельно.

1. В корзине лежат белые, черные и красные шары. Информационный объем сообщения «из корзины вынут не красный шар» равен: . Информационный объем сообщения « из корзины вынут белый шар» равен . Чему равен информационный объем сообщения из «корзины вынут черный шар»?

.2. В корзине лежат желтые, серые и белые нитки. Информационный объем сообщения "Из корзины извлечен клубок желтых ниток " равен 2LOG₂3-1 битам. Количество информации, содержащееся в сообщении "Из корзины извлечен клубок серых ниток", равно 1+LOG₂9-LOG₂5 двум битам. Найти информационный объем сообщения “Из корзины извлечен клубок не белых ниток”.

2. В коробке лежат красные, желтые и зеленые карандаши. Информационный объем сообщения "Из коробки вынули красный карандаш" равен трем битам. Количество информации, содержащееся в сообщении "Из коробки вынули желтый карандаш", равно двум битам. В коробке 5 зеленых карандашей. Определить общее количество карандашей в коробке.

3. В доме 32 квартиры. Среди них имеются квартиры трехкомнатные, двухкомнатные и однокомнатные. Сообщение о том, сто ваш друг живет в двухкомнатной квартире , содержит 2 бита информации. Сколько в доме двухкомнатных квартир?