, Где коэффициент по Лагранжу, а – из условия ограничения.

Берем первые частные производные по :

Поскольку правые части всех выражений одинаковые, можно сделать вывод о равновероятных состояниях исходов опыта, то есть:

.

Тогда .

Получили выражение для максимальной энтропии, соответствующее формуле Хартли.

Иными словами, среди всех опытов, имеющих k исходов, наиболее неопределенным является опыт с распределением вероятностей:

Исходы опыта	А1	А2	А3	…	Аk
Вероятности				…

И функция растет с увеличением числа k (см. аксиому 3). Причем,

. (1.5)

Для одного же исхода опыта . Например это может касаться k букв алфавита при равновероятном их использовании. Энтропия появления одной буквы будет равна , а трех последовательно .

Свойство 6. Функция удовлетворяет соотношению

.

Это соотношение означает, что неопределенность опыта с распределением вероятностей

Исходы опыта	B	A3	…	Ak
Вероятности		p3	…	pk

получаемого отождествлением двух первых исходов опыта , меньше неопределенности этого последнего опыта на умноженную на меру неопределенности опыта , состоящего в выяснении того, какой именно из первых двух исходов опыта имел место, если известно, что осуществился один из именно этих двух исходов.

Свойство 7. Математическое ожидание информации есть энтропия (без доказательства)

.

Пример 1. Пусть из многолетних наблюдений за погодой известно, что для определенного пункта вероятность того, что 15 июня будет идти дождь, равна 0,4, а вероятность того, что в указанный день дождя не будет, равна 0,6. пусть далее для этого же пункта вероятность того, что 15 ноября будет идти дождь равна 0,65, вероятность того, что 15 ноября будет идти снег, равна 0,15 и вероятность того, что 15 ноября вовсе не будет осадков, равна 0,2. Если из всех характеристик погоды интересоваться лишь вопросом о наличии и о характере осадков, то в какой из двух перечисленных дней погоду в рассматриваемом пункте следует считать более неопределенной?

Решение

Согласно тому, как понимается здесь слово «погода», опыта и , состоящие в выяснении того, какая погода имела место 15 июня и 15 ноября, характеризуются следующими таблицами вероятностей:

опыт :

исходы опыта	дождь	отсутствие осадков
вероятность	0,4	0,6

опыт :

исходы опыта	дождь	снег	отсутствие осадков
вероятность	0,65	0,15	0,2

Поэтому энтропии наших двух опытов равны

бита,

и

бита .

Следовательно, погоду 15 ноября в рассматриваемом пункте следует считать более неопределенной, чем 15 июня.

Полученный результат, разумеется, существенно зависит от того, как понимать слово «погода»; без точного разъяснения того, что под этим понимается, наша задача вообще не имеет смысла. В частности, если интересоваться только тем, будут ли в рассматриваемый день осадки или нет, то исходы «дождь» и «снег» опыта следует объединить. При этом вместо мы будем иметь опыт , энтропия которого равна

.

Поэтому при таком понимании погоды надо считать, что 15 ноября погода является менее неопределенной, чем 15 июня. Если же интересоваться не только осадками, но и, например, температурой воздуха, то решение задачи становится более сложным и требует привлечения дополнительных данных о распределении значений температуры в рассматриваемом пункте 15 июня и 15 ноября.

Соображения, развитые в решении этой задачи, представляют интерес для оценки качества предсказания погоды по тому или иному методу (аналогично обстоит дело и в случае любого другого прогноза). В самом деле, при оценке качества прогноза нельзя учитывать лишь его точность (т. е. процент случаев, в которых прогноз оправдывается); иначе нам пришлось бы высоко оценивать любой прогноз, имеющий большие шансы оказаться правильным. В том числе, например, и предсказание отсутствия снега в Киеве 1 июня, не представляющее, разумеется, никакой ценности. При сравнении качества различных прогнозов следует учитывать не только их точность, но и трудность удачного прогноза, которую можно характеризовать степенью неопределенности соответствующего опыта.

Пример 2. Найти энтропию непрерывной случайной величины, распределенной по показательному закону

.

Решение

Применяя одно из свойств плотности распределения, находим . Таким образом, по формуле (1.4)

[применяя формулу интегрирования по частям, получаем]

бит.

Пример 3. Сравнить неопределенность, приходящуюся на каждую букву источника информации русского языка и характеризующуюся ансамблем, представленным в таблице (знаком «–» обозначен промежуток между словами), с неопределенностью того же источника, но при равновероятном использовании букв.

Буква	Вероятность	Буква	Вероят- ность	Буква	Вероят- ность	Буква	Вероят- ность
а	0,064	и	0,064	р	0,041	ш	0,006
б	0,015	й	0,010	с	0,047	щ	0,003
в	0,039	к	0,029	т	0,056	ъ, ь	0,015
г	0,014	л	0,036	у	0,021	ы	0,016
д	0,026	м	0,026	ф	0,002	э	0,003
е, ё	0,074	н	0,056	х	0,009	ю	0,007
ж	0,008	о	0,096	ц	0,004	я	0,19
з	0,015	п	0,024	ч	0,013	–	0,142

Решение

При одинаковых вероятностях появления всех 32 (считая промежутки между словами и буквы е,ё и ъ,ь за одну букву) букв алфавита неопределенность, приходящаяся на одну букву, равна (см. формулу (1.5)):

бит.

Энтропия источника, характеризующегося вышеуказанной таблицей, находится по формуле (1.3):

бит.

Таким образом, неравномерность распределения вероятностей использования букв снижает энтропию источника с 5 до 4,42 бит.

Пример 4. Определить энтропию сообщения, состоящего из 5 букв, если общее число букв в алфавите равно 32 и все пятибуквенные сообщения равновероятны.

Решение

Общее число пятибуквенных сообщений .

Используя (1.5), получаем:

бит.

Пример 5. Заданы ансамбли U и V двух дискретных случайных величин :

	0,5	0,7	0,9	0,3			5	10	15	8
	0,25	0,25	0,25	0,25			0,25	0,25	0,25	0,25

Сравните их энтропии.

Решение

Поскольку энтропия не зависит от конкретных значений случайной величины, а вероятности их появления у одинаковы, то

бит.