18. Сущность и содержание понятия энтропия.
19. Определение и сущность двоичной единицы изменения информации.
H = log2 2 = 1 двоичная единица или бит (bit) «binary unit» или в компьютерной интерпретации – «binary digit» – двоичный разряд. Иными словами, двоичная единица – есть единица измерения степени неопределенности, представляющая неопределенность, которая содержится в одном опыте, имеющем два равновероятных исхода.
Так как в двоичной системе счисления каждый разряд числа с равной вероятностью может принимать значения 0 или 1, то соответственно и количество информации, приходящееся на один двоичный разряд (двоичную цифру), оказывается равным 1 биту. При обработке информации в машинах, ради удобства представления слов в виде совокупности неделимых частей некоторой стандартной длины в качестве таких частей выбраны 8-разрядные порции. Поэтому наряду с битом получила распространение укрупненная единица – байт, равный 8 битам. Кроме того, для измерения больших объемов информации широко используются более укрупненные единицы количества информации: килобит (К бит) и килобайт (К байт), а также мегабит (М бит) и мегабайт (М байт). Причем приставка «кило» условно обозначает не 1 тыс., а 210 = 1024 бит (байт), а «мега» — не 1 млн., а 220 = 1 048 576 бит (байт). Емкости памяти современных компьютеров уже измеряются гига- и терабайтами.
20. Единицы измерения информации
Синтаксический подход к определению количества информации.
Мера измерения информации в данном подходе - степень неопределенности. + см. вопрос 22.
Семантический подход к определению количества информации.
Мера измерения информации в данном подходе - тезаурус. + См. вопрос 23.
Прагматический подход к определению количества информации.
Мера измерения информации в данном подходе – полезность, ценность. + См. вопрос 24.
21. Условная и безусловная энтропия
Условная энтропия и информация
Пусть осуществляется два опыта и β, характеризующиеся следующими вероятностями исходов (табл. 2 и 3).
Таблица 2
Вероятности исходов опыта
Исходы опыта |
А1 |
А2 |
… |
Ai |
… |
An |
Вероятности исходов |
PA1 |
PA2 |
… |
PAi |
… |
PAn |
Таблица 3
Вероятности исходов опыта β
Исходы опыта |
В1 |
В2 |
… |
Вi |
… |
Вn |
Вероятности исходов |
PВ1 |
PВ2 |
… |
PВi |
… |
PВn |
Сложный опыт γ заключается в одновременной реализации опытов и β. Если опыты независимы, можно использовать правила сложения энтропий:
Н(γ) = Н() + Н(β).
Сложнее определить энтропию, когда события зависимы:
Н(γ)=Н()+Н(β /)=Н(β)+Н(/β),
где Н(β /) – так называемая средняя условная энтропия опыта β при условии выполнения опыта .
В любом случае имеет место соблюдение следующих неравенств:
0 Н(β /) Н(β);
0 Н(/β) Н(),
т.е. условная энтропия заключается между 0 и безусловной энтропией.
Предварительное выполнение одного из опытов может уменьшить неопределенность другого опыта или свести ее совсем к нулю.
Вывод:
Н(γ) Н(); Н(γ) Н(β);
Н(γ) Н() + Н(β).
Как было показано выше, для двух зависимых опытов и β средняя энтропия опыта β при условии осуществления опыта , как правило, меньше безусловной энтропии опыта β, т.е. Н(β) Н(β /).
Причем разность Н(β) - Н(β /) убывает по мере ослабления связи между этими опытами и в пределе становится равной нулю (т.е. Н(β) = Н(β /) ), когда опыты становятся независимыми.
Таким образом, разность Н(β) - Н(β /) количественно выражает уменьшение энтропии, или неопределенности, опыта β после осуществления опыта , или, можно сказать, увеличивает наши представления, знания о возможном исходе опыта β. Это дало логическое основание для того, чтобы назвать эту разность информацией (или количеством информации I,β) об опыте β, содержащемся в опыте , т.е.
I,β = Н(β) - Н(β /).
Изложенные соображения закладывают основы количественного статистического подхода к измерению количества информации в соответствии с концепцией, предложенной К.Шенноном.
Иллюстрация этой концепции приведена на рис. 2, где наглядно показано, что энтропия Н(β) опыта β после осуществления опыта уменьшается на величину I,β .
I,β = Н(β) - Н(β /)
Н(β)
Н(β /)
Рис. 2. Изменение энтропии опыта и количества информации
Если бы опыты β и были независимы, то Н(β) = Н(β /) и I,β = 0, а если результат опыта полностью снимает неопределенность опыта β, т.е. если Н(β /) = 0, то I,β = Н(β).
Энтропия Н(β) опыта β представляет информацию об этом опыте, которая содержится в самом опыте, так как осуществление опыта полностью определяет его исход и следовательно Н(β / β) = 0, т.е. неопределенность опыта после его исхода равна 0.
Рассматривая сообщение как информацию об исходе некоторого опыта, можно утверждать, что чем более неопределенным было это сообщение до его получения, тем большее количество информации оно содержит.
Количество информации I можно определить и через отношение вероятностей:
I = log P1/P,
где P1 — вероятность события после поступления сообщения о нем;
P — вероятность данного события до поступления сообщения о нем.
Так как числитель этой дроби (вероятность события после поступления сообщения о том, что оно произошло) равен единице, то:
I = - log P.
Таким образом, мы определили логическую сущность понятия количество информации.