Информатика(Writer) / Задание № 15

Информационная энтропия по Шеннону для независимых случайных равновероятных событий х с п возможными состояниями (от 1 до п) рассчитывается по формуле:

где p(i) – вероятность появления i-го события.

Вероятность достоверного события равна единице и log21 = 0 .

Тогда: при бросании монеты вероятность выпадения:

«орла» р(1)=0.5,

«решетки» р(2)=0.5.

При этом. log2 0.5 = -1 и процесс бросания монеты имеет энтропию, бит:

Таким образом, энтропия в один бит означает, что сообщение о

результате подбрасывания монеты уменьшает неопределенность нашего знания (перед броском монеты) в два раза.

Вычислим энтропию того, что при бросании кубика выпадет, например, «пятерка». Вероятность этого события равна 1/6, тогда