Допустим, что все исходы равновероятны.

Тогда Р(а₁ )= Р( а ₂) = ….=Р(а _n )=1/n

Если А может иметь только один исход n =1 , то неопределенность события А равна нулю. При n =2 она будет отличатся от нуля и с возрастанием числа возможных исходов будет увеличиваться.

Рассмотрим сложное событие АВ, состоящее из двух независимых событий А и В. Событие А имеет n, а событие В – m равновероятных исходов.

Для удобства примем, что неопределенность сложного события равна сумме неопределенностей составляющих его простых событий. Однако событие АВ имеет nm равностоящих исходов. В силу вышесказанного мера неопределенности сложного события должна удовлетворять условию:

У (п т) = У(п) + У(т)

Оказывается, что такому условию удовлетворяет лишь логарифмическая функция:

Log(n m) = log n + log m

Так как исходы предположены равновероятными, то, очевидно, что каждый из них будет вносить в общую неопределенность события равною долю, именно 1/n log n .

Поскольку log n = - log 1/n, то 1/n log n = - 1/n log 1/n,

где 1/n – вероятность каждого исхода.

Следовательно, в общем случае неопределенность каждого исхода будет определятся лишь логарифмом его вероятности (-log P(a_i)).

Так как информация есть мера устранения неопределенности, то ее естественно измерять ее как разность неопределенностей некоторого исхода до и после получения сообщения. Пусть неопределенность исхода до сообщения совершения события А измеряется logP₀(a_i), а после А – logP_i(a_i). Тогда количество информации об исходе ai, полученной из сообщения А, будет равно

I(а₁ )= logР_i( ) – log Р₀().

Если это сообщение о совершении исхода ,то Р_i()=1 и I() = -logР₀().

Из этого с очевидностью следует, что чем больше вероятность исхода до осуществления события (априорная вероятность); тем меньше количество информации, получаемое из сообщения о его осуществлении.

Выражение I() характеризует количество информации относительно индивидуального исхода . Но событие А может иметь несколько исходов. Ясно, что неопределенность каждого из них связана с неопределенностью события А в целом. Определим среднюю величину неопределенности всех возможных исходов, взвешенную по их вероятностям

Так как сумма вероятностей независимых исходов равна единице, то .

Величина Н(А) называется энтропией события А и является мерой его средней неопределенности. Нетрудно показать, что она достигает максимума при равновероятности всех исходов и делает тем меньше, чем больше различия и вероятностях отдельных исходов.

Энтропия сложного события (АВ) равна сумме энтропий составляющих его простых событий, но лишь при условии, что последние независимы.

H(AB) = H(A) +H(B)

Если же А и В взаимозависимы, то очевидно, что

H(AB)  H(A) +H(В)

В случае, когда исход события В полностью определяется исходом события А, то есть если А и В связаны функциональной зависимостью

H(AB) = H(A)

Если же зависимость, связывающая события А и В вероянтостная, то

H(AB) = H(A) +H(B/А),

где, Н(В/А) – условная энтропия события в при условии, что событие А наступило.

Как уже отмечалось выше, в теории Шеннона-Винера не рассматриваются вопросы смыслового содержания сообщений и ценность их для пользователей. Вероятности, используемые для измерения информативности сообщений, суть объективные, частотные вероятности.

Поэтому, естественно, предпринимались многочисленные попытки построить другие способы измерения информации, более пригодные для использования в практике построения современных систем управления.