Zadanie_6

Информационная энтропия по Шеннону для независимых случайных равновероятных событий x с n возможными состояниями(от 1 до n) рассчитывается по формуле

Где p(i)-вероятность появления i-го события.

Вероятность достоверного события равна единице и

Тогда при бросании монеты вероятность выпадения:

«орла» p(1)=0.5,

«решетки» p(2)=0.5.

При этом и процесс бросания монеты имеет энтропию, бит:

H=- =1 .

Таким образом, энтропия в один бит означает, что сообщение о результате подбрасывания монеты уменьшает неопределенность нашего знания (перед броском монеты) в два раза.

Вычислим энтропию того, что при бросании кубика выпадет, например, «пятерка».Вероятность этого события равна 1/6, тогда