Мера количества информации в вероятностной теории

Вероятностная теория информации была разработана К.Шенноном. Основные ее положения были опубликованы им в 1948 году в статье «Математическая теория связи».

Получение информации в опыте связано прежде всего с тем, что до осуществления опыта имеется некоторая неопределенность относительно его исхода, т.е. относительно того, какое из событий в нем произойдет, какое значение примет величина или какой конкретный вид получит функция.

Эта неопределенность порождается самой случайностью исходов, которая не позволяет дать однозначный ответ о конечном результате опыта. По окончании опыта неопределенность относительно его результата или совсем исчезает или уменьшается.

За меру количества информации в вероятностной теории принимается величина. I = H_{до опыта} - H_{после опыта}.

…