3. Информация и неопределённость
Информация - это сведения или данные, не содержащая неопределённость для адресата. Если всё же информация содержит некоторую неопределённость, то её можно воспринять только с некоторой вероятностью. Поэтому, при наличии неопределённости, получатель информации каким-либо образом добивается свести к минимуму саму неопределённость. Если при этом удаётся получателю информации исключить неопределённость полностью, то он владеет информацией вполне. Вопросы о том, как это можно делать на практике, являются содержанием данной главы.
3. 1. Количественная мера неопределённости
Для сравнения неопределённостей, рассмотрим следующие примеры или опыты , и , содержащие неопределённости H(), H() и H() соответственно:
1. Определить очередного чемпиона мира по шахматам (опыт ).
2. Определить номер лотерейного билета, на который выпадет наибольший выигрыш в предстоящем тираже лотереи (опыт ).
3. Определить следующего президента РФ (опыт ).
Очевидно, степень неопределённости каждого опыта отличается от двух других, причём скорее всего имеют место неравенства
H() > H() > H(),
где H(), H() и H() - количественные меры неопределённостей (или энтропии) опытов , и соответственно. В частном случае, если для некоторого опыта имеет место равенство H() = 0, то говорят, что опыт достоверный, т.е. он не содержит неопределённости. Другими словами неоределённость опыта есть не что иное как недостача информации или отрицательная информация.
I. Формула Хартли. Пусть - произвольный опыт с k равновероятными исходами Аk
События
А 1
А 2
. . . А k
Вероятности
1/ k 1/ k . . . 1/ k .
При k = 1 H() = 0, а при возрастании k H() также возрастает, т.е.
H() = f (k) ,
где f - некоторая функция от k. С другой стороны, если независимый от другой опыт с l равновероятными исходами Вl, то для сложного опыта , состоящего в одновременном выполнении опытов и , естественно считать что степень неопределённости опыта равна сумме неопределённостей, характеризующих опыты и , т.е.
H() = H() + H().
Таким образом, в качестве функции f можно выбрать логарифмическую функцию и считать, что
H() = log2k .
Это есть формула Хартли и она представляет собой меру неопределённости относительно опыта , содержащимся в опыте и имеющим два равновероятных исхода (например,"да" или "нет"). Другими словами, H() это то количество информации (за единицей измерения количества информации считается бит), с помощью которого неопределённость опыта превращается в достоверность.
Так, например, для угадывания задуманного числа в диапазоне от 1 до 8 необходимо максимум 3 бит информации, т.е. необходимо задать три вопроса.
II. Формула Шеннона. Пусть - произвольный опыт с к неравновероятными исходами Ак:
События А 1 А 2 . . . А k
Вероятности Р(А1) Р(А2) . . . Р(Аk) .
Тогда k
H() = - P(A i)log2P(A i)
i = 1
- есть мера неопределённости опыта по Шеннону. В частности, при Р(А i) = 1/ k , из формулы Шеннона следует формула Хартли.
3.1.1. Доказать, что H() = H() + H().
3.1.2. Сколько вопросов необходимо задать студентам академической группы преподавателю, чтобы определить старосту этой группы (ответы на вопросы преподавателя могут быть либо "да" либо "нет").
3.1.3. Рассмотреть задачу 3.1.2. в случае одного вопроса.
3.1.4. Пусть х- элемент множества М мощности m. Какое количество
информации необходимо для определения элемента х ?
3.1.5. Пусть х 1 и х 2 - два произвольных элемента множеств М 1 и М 2 мощностей m 1 и m 2 соответственно. Какое количество информации необходимо для одновременного определения элементов х 1 и х 2 ?
3.1.6. Пусть имеется 27 золотых монет, из которых одна фальшивая (легче настоящих), и весы с чашками. Сколько взвешиваний необходимо произвести, чтобы определить фальшивую монету ?
3.1.7. Доказать, что любого опыта H() 0, причём H() = 0 тогда и только тогда, когда одна из вероятностей равна 1, а остальные равны 0.
3.1.8. Доказать, что H() ≤ log2k , где k - число исходов опыта , причём равенство достигается лишь в случае, когда исходы равновероятны.
3.1.9. Какими свойствами обладает H() , если имеет два исхода ?