2) Содержательный подход (Количество и как мера уменьшения неопределенности знания).
Измеряемая И. рассматривается в
субъективном подходе
(Процесс познания окружающей мира
приводит к накоплению информации в
форме знаний, фактов, теорий)
Получение новой И приводит к расширению
знаний или, как иногда говорят к
уменьшению неопределенности знания
Количество информации можно рассматривать
как меру уменьшения неопределенности
знания, при получении информационных
сообщений
Пусть в некотором сообщении содержатся
сведения о том, что произошло одно из N
равновероятных событий (равновероятность
означает, что ни одно сообщение не имеет
преимуществ перед другими.)
- Формула, связывающая
количество возможных равновероятных
информационных сообщений N
с количеством информации i,
которое несет полученное сообщение.
1 бит – такое количество
информации, которое содержится в
информационном сообщении, уменьшающем
неопределенность знания в 2 раза.
При бросании монеты сообщение о результате
жребия (например, выпал орел) несет 1 бит
информации, поскольку количество
возможных вариантов результата равно
2 (орел и решка). Оба эти варианта
равновероятны.
Вывод: в любом случае сообщение об
одном событии из двух равновероятных
несет 1 бит информации.
5
