Мера Шеннона определения количества информации

Точное определение количества информации по К.Шеннону:

Будем понимать под и два опыта, условия проведения которых зависят друг от друга, так что исход опыта влияет на исход опыта . Если вычислить абсолютную энтропию опыта и условную энтропию опыта , при условии, что перед ним проводился опыт , то выражение

I ( ) = H( ) - H ( )

определяет количество информации, которое реализация опыта позволяет получить об исходе опыта .