2 Вопрос:

- Ты получил пятёрку?

- Нет!

Выбран один вариант из двух оставшихся: оценка – «четвёрка». Получен ещё 1 бит информации. В сумме имеем 2 бита.

Задача №2. На книжном стеллаже 8 полок. Книга может быть поставлена на любую из них. Сколько информации содержит сообщение о том, где находилась книга?

Задаём вопросы:

- Книга лежит выше четвертой полки?

- Нет.

- Книга лежит ниже третьей полки?

- Да.

- Книга – на второй полке?

- Нет.

- Теперь всё ясно! Книга лежит на первой полке!

Каждый ответ уменьшал неопределённость в 2 раза. Всего было задано 3 вопроса. Значит набрано 3 бита информации. И если бы сразу было сказано, что книга лежит на первой полке, то этим сообщением были переданы те же 3 бита информации.

Обозначим буквой N количество возможных событий, или - неопределённость знаний. Буквой i будем обозначать количество информации в сообщении о том, что произошло одно из N событий.

В примере с монетой N=2, i=1.

В примере с оценками N=4, i=2.

В примере со стеллажом N=8, i=3.

Нетрудно заметить, что связь между этими величинами выражается формулой: 2ⁱ=N

В КОИ-8 каждая буква, знак препинания, пробел – это 1 байт. На страницу учебника помещается 48 строк, в каждой строке – примерно 60 знаков (60 байт). Таким образом, полностью заполненная страница нашего учебника имеет информационный объем 48*60 = 2880 байт  2,9Кбайта. А если в книге 250 страниц, то примерно 250*2,9=725 Кбайт  0,7 Мбайт. В БОЛЬШОЙ СОВЕТСКОЙ ЭНЦИКЛОПЕДИИ примерно 120 Мбайт информации. Один цветной кадр телевизора содержит около 1 мегабайта информации, а 1,5 часовой цветной фильм (при частоте 25 кадров в секунду) – 135 гигабайт.

Пусть некто вынимает одну карту из колоды. Нас интересует, какую именно из 36 карт он вынул. Изначальная неопределенность, рассчитываемая по формуле (2), составляет H=log₂(36)≈5,17 бит. Вытянувший карту сообщает нам часть информации. Используя формулу (5), определим, какое количество информации мы получаем из этих сообщений:

Вариант A. “Это карта красной масти”.

I=log₂(36/18)=log₂(2)=1 бит (красных карт в колоде половина, неопределенность уменьшилась в 2 раза).

Вариант B. “Это карта пиковой масти”.

I=log₂(36/9)=log₂(4)=2 бита (пиковые карты составляют четверть колоды, неопределенность уменьшилась в 4 раза).

Вариант С. “Это одна из старших карт: валет, дама, король или туз”.

I=log₂(36)–log₂(16)=5,17-4=1,17 бита (неопределенность уменьшилась больше чем в два раза, поэтому полученное количество информации больше одного бита).

Вариант D. “Это одна карта из колоды".

I=log₂(36/36)=log₂(1)=0 бит (неопределенность не уменьшилась - сообщение не информативно).

Вариант D. “Это дама пик".

I=log₂(36/1)=log₂(36)=5,17 бит (неопределенность полностью снята).

Пример: В первой урне имеются 7 белых, 5 черных и 2 синих шара. Во второй урне- 4 белых, 6 черных и 2 синих шара. Наудачу вынимают один шар.  Для какой из урн исход более определенный?

Вычислим энтропию для каждого из случаев: шар – из первой урны, шар – из второй урны. Менее определенному исходу соответствует большее значение энтропии.

Для первой урны возможны три состояния : шар может оказаться или белым, или черным, или синим.

Найдем вероятность каждого состояния: белый шар- р =7/14=1/2; черный шар – р = 5/14; синий шар-    р = 2/14 =1/7.

Энтропия для первой урны :

Аналогичные расчеты выполним для второй урны. Вероятности состояний: белый шар- р =4/12= 1/3; черный шар – р = 6/12 =1/2; синий шар-    р = 2/12 =1/6.

Энтропия для второй урны :

  

Так как энтропия  для второй урны меньше, значит исход для нее более определенный (получено меньшее количество информации).