Добавил:
Upload Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз: Предмет: Файл:
L11_L12.doc
Скачиваний:
3
Добавлен:
27.08.2019
Размер:
286.21 Кб
Скачать

ЛЕКЦИЯ 11

Количественная оценка информации.

Количество информации в дискретных сообщениях.

Процесс измерения связан с отбором информации у объекта и передачей ее получателю. Информацию можно оценить количественно, ее мерой служит величина уменьшения неопределенности статистических сведений об объекте.

Рассмотрим дискретные сообщения. Источник информации может в каждый момент времени случайным образом принять одно из конечного множества возможных состояний. Такой источник называют дискретным источником информации. Каждому состоянию источника «u» ставится в соответствие условное обозначение: u1, u2, …, uN. В общем случае источник характеризуется ансамблем U, т.е. полной совокупностью состояний с вероятностями их появления, составляющими в сумме единицу

(1)

причем

или

Меру неопределенности выбора состояний источника можно рассматривать и как меру количества информации, получаемой при полном устранении неопределенности относительно состояний источника. Мера должна монотонно возрастать с увеличением возможностей выбора, т.е. числа возможных состояний N, причем недопустимые состояния (состояния с вероятностями ноль) не должны учитываться, т.к. они не меняют неопределенности. Кроме того, мера должна отвечать требованию аддитивности, состоящему в следующем.

Если два независимых источника с числом равновероятных состояний N и M рассматривать как один источник, одновременно реализующий пары состояний nimj, то естественно предположить, что неопределенность объединенного источника должна равняться сумме неопределенностей исходных источников. Поскольку общее число состояний объединенного источника равно NM, то искомая функция должна удовлетворять условию

(2)

Соотношение (2) выполняется, если в качестве меры неопределенности источника с равновероятными состояниями и характеризующего его ансамбля U принять логарифм числа состояний:

(3)

Тогда при N=1 H(U)=0 и требование аддитивности выполняется.

Справка. О свойстве аддитивности.

Предположим, что в сообщении о том, что объект находится в каком-то i-ом состоянии, содержится тем больше количества информации, чем более неопределенными были сведения об объекте до получения сообщения, т.е. чем меньше была априорно известная получателю вероятность Pi. Естественно предположить, что количество информации Ii об объекте в данном сообщении должно быть функцией величины . Каков вид зависимости ?

Если есть некоторое сложное сообщение эквивалентно нескольким простым, взятым вместе, то количество информации, содержащееся в сложном сообщении, должно быть равно сумме количеств информации, содержащихся в каждом из простых сообщений.

Пусть одновременно рассматриваются два взаимно независимых объекта, каждая из которых может принимать n состояний с равной вероятностью . Число возможных комбинаций из состояний двух объектов n2, а вероятность любого из них . В сложном сообщении содержится столько же информации, сколько и в 2х простых: первый в i-ом, а второй в j–м состояниях, количество информации Iсл в сложном сообщении является функцией величины , и в простом Iпр- величины . Требование

соблюдается в том случае, если I в каждом сообщении пропорционально логарифму от 1/Р. При этом коэффициент пропорциональности и основание логарифма могут быть любыми. Удобно пользоваться двоичными логарифмами, а коэффициент пропорциональности положить равным единице.

Для рассматриваемого примера

Итак, количество информации в одиночном дискретном сообщении о событии, имеющем априорную вероятность Pi.

Указанная мера (3) предложена американским ученым Р.Хартли в 1928 г. Основание логарифма не имеет принципиального значения и определяет только масштаб и единицу неопределенности. Удобнее выбирать основание равное двум, что соответствует элементам с двумя устойчивыми состояниями. При этом единица неопределенности называется двоичной единицей или битом, и представляет неопределенность выбора из двух равновероятных событий (bit – сокращение от англ. Binary digit - двоичная единица).

Ранее вводилось предположение о равномерности состояний объекта, что слишком загрубляет модель.

Степень неопределенности реализаций состояний объектов (источников информации) зависит не только от числа состояний, но и от вероятностей этих состояний.

При неравновероятных состояниях свобода выбора источника ограничивается, что приводит к уменьшению неопределенности. Если источник имеет два возможных состояния с вероятностями 0,99 и 0,01, то неопределенность выбора у него значительно меньше, чем у источника, имеющего два равновероятных состояния. Действительно, в первом случае результат практически предрешен, а во втором случае – неопределенность максимальна (при равно вероятных состояниях).

С учетом сказанного мера неопределенности выбора дискретным источником i-го состояния, вероятность которого Pi, из ансамбля состояний U равна

(4)

Это неопределенность, приходящаяся на одно конкретное состояние источника.

Практически интересна не эта величина, а среднее количество неопределенности приходящееся на выбор одного состояния. Меру неопределенности выбора дискретным источником состояния из ансамбля U называют энтропией дискретного источника, энтропией конечного ансамбля или энтропией объекта:

(5)

Здесь усреднение выполнено с учетом вероятности выбора каждого из состояний: количество неопределенности выбора i-го состояния умножено на весовой коэффициент Pi. Это неопределенность, приходящаяся в среднем на одно состояние.

Свойство энтропии.

  1. Энтропия является вещественно и неотрицательной величиной (очевидно).

  2. Энтропия – величина ограниченная. Для слагаемых – Pi log Pi при 0<Pi1 ограниченность очевидна. Остается выяснить предел :

Обозначив и воспользовавшись правилом Лопиталя, получим

  1. Энтропия обращается в нуль лишь в том случае, если вероятность одного из состояний равна единице, а остальных - нулю, то есть состояние источника полностью определена.

  2. Энтропия максимальна, когда все состояния источника равновероятны (доказывается методом множителей Лагранжа):

(6)

  1. Энтропия источника «u» с двумя состояниями u1 и u2 изменяется от 0 до 1, достигая максимум при равенстве вероятностей:

График зависимости H(U) в функции P приведен на рис. 1.

(7)

Отметим, что H(U) непрерывно зависит от вероятностей состояний, что вытекает из непрерывности функций – P log P.

Рис. 1.

  1. Энтропия объединения нескольких статистически независимых источников информации равна сумме энтропий исходных источников.

Не теряя общности, ограничимся двумя источниками u и v.

Под объединением двух источников понимают обобщенный источник информации (u , v) характеризующийся вероятностями P(ui , vj) всех возможных комбинаций состояния ui , vj источников u и v. Аналогично трактуется объединение ансамблей.

В соответствии с определением энтропия объединения

(8)

Здесь P(ui,vj) вероятности совместной реализации состояния

В случае статистической независимости источников u и v

тогда

Учитывая, что и , получим

(9)

Соответственно энтропия объединения нескольких не зависимых источников U, V, . . ., Z

(10)

Свойства 7 и 8 для справки. 7. Энтропия характеризует среднюю неопределенность выбора одного состояния из ансамбля. При ее вероятности используют только вероятности состояний, полностью игнорируя содержательную сторону. Поэтому она не может служить средством решения любых задач, связанных с неопределенностью. Например, при использовании этой меры для оценки неопределенности действия лекарства приводящего к полному выздоровлению в 90% случаев и к частичному улучшению здоровья в 10%, оно получится такой же, как и у лекарства, вызывающего в 90% случаев смерть, а в 10% ухудшения здоровья.

8. Энтропия как мера неопределенности согласуется с экспериментальными данными, полученными при изучении психологических реакций человека.

Условная энтропии и ее свойства.

Определим энтропию двух статистически связанных ансамблей U и V. Объединение ансамблей характеризуется матрицей P(UV) вероятностей P(uivj) всех возможных комбинаций состояний ансамбля U и ансамбля V:

(11)

Суммируя столбцы и строки матрицы (11) получим информацию об ансамблях U и V исходных источников u и v:

Вероятности P(uivj) совместной реализации равны

(12)

где и - условные вероятности:

- вероятность реализации состояний ui ансамбля U при условии, что реализовалось состояние vj ансамбля V, - определяется аналогично. Тогда выражение (8) для энтропии объединения принимает вид

(13)

Обозначим и назовем сумму

(14)

частной условной энтропией ансамбля. Оно представляет собой случайную величину, характеризующую неопределенность, приходящуюся на одно состояние ансамбля V при условии, что реализовалось конкретное состояние ui ансамбля U.

При усреднении по всем состояниям ансамбля U получаем среднюю неопределенность, приходящуюся на одно состояние ансамбля V при известных состояниях ансамбля U:

(15)

или

(16)

Величину HU(V) называют полной условной или просто условной энтропией ансамбля V по отношению к ансамблю U.

Подставляя(16) в (13) получим

(17)

Выражая в (8) P(uivj) через другую условную вероятность в соответствии с (12), найдем

(18)

где

(19)

и

(20)

Т.о. энтропия объединения двух статистически связанных ансамблей U и V равна безусловной энтропии одного ансамбля плюс условная энтропия другого относительно первого.

Распространяя правило (17) на объединение любого числа зависимых ансамблей, получим

(21)

В объединении ансамблей условная энтропия любого ансамбля всегда меньше или равна безусловной энтропии этого же ансамбля.

(22)

(очевидно) (23)

Тогда

(24)

Для нескольких ансамблей

(25)

Наличие сведений о результатах реализации состояний одного ансамбля никак не может увеличить неопределенность выбора состояния из другого ансамбля. Эта неопределенность может только уменьшаться, если существует связь в реализациях состояний из обоих ансамблей.

В случае отсутствия статистической связи

(26)

Если связь однозначна, то

(27)

т.к. условные вероятности и в этом случае принимают значения равные нулю или единице.

Уяснению соотношений между рассмотренными энтропиями дискретных источников информации (ансамблей) способствует их графическое отображение (рис. 2).

Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]