2.1.2. Комбинаторная мера.

В рамках данного подхода количество информации измеряется как количество комбинаций элементов информационных систем

Здесь производится не подсчёт квантов, а определение возможных или действительных комбинаций, т.е. оценка структурного разнообразия.

2.1.3. Аддитивная мера Хартли.

Рассмотрим L - разрядное число в произвольной системе счисления с основанием h.

Глубина числа (h) - количество элементов (символов) алфавита (основание системы счисления). Длина числа (L) - количество позиций (разрядов). Следовательно, всего можно представить различных состояний: Q=h ^L

где Q - информационная ёмкость.

Величина Q носит экспоненциальный характер. Поэтому на практике была введена аддитивная логарифмическая двоичная мера , которая получила название – мера Хартли: I=log₂Q=log₂h^L=L*log₂h

Это выражение можно применять в случае, если каждому разряду L доступно каждое состояние из h.

При l =1,h=2: I=1* log ₂2 =1[бит] I=log₂ Q=log₁₀10=1[дum]

2.2. Статистическая мера информации.

Информация - сообщение об исходе случайных событий, и в рамках статистического подхода количество информации ставится в зависимость от априорных вероятностей этих событий.

Случайное событие - событие, которое может произойти или не произойти в результате данного опыта. Если при N-кратном повторении какого-либо опыта относительное число появления 1-го события по мере увеличения общего числа реализации опыта N стремится к некоторому пределу то говорят, что результат данного опыта статистически устойчив. Число Рi, позволяющее при этом количественно сравнить события по степени их возможности, называется вероятностью события.

Чем более определённым является событие, тем меньше информации оно несёт. Чем менее определённым является событие, тем больше информации оно несёт.

P=1- вероятность достоверного события;

P=0- вероятность невозможного события;

Понятие энтропии.

Количество информации рассматривается как функция от вероятности появления случайных событий:

I=F(Pi)=F(n_i /N)

Известно, что logQ=-log(1/Q), и следовательно с учётом (I=log₂Q=log₂h^L=L*log₂h)

I_i=-logP_i

Рассмотрим полную группу событий. Для неё имеет место:

Пусть N - всего возможных исходов, из них k -разных; i - исход (i =) повторяется n_i раз и вносит информацию I_i,. Тогда среднее количество информации, доставляемое одним опытом:

Тогда, с учётом предельного перехода, получим:

Эта величина называется энтропией и обозначается:

Энтропия это среднее значение неопределённости отдельных исходов. С точки зрения математики энтропия

H=M[-logPi]

где М - математическое ожидание.

№99. Свойства безусловной энтропии.

2.2.2. Свойства энтропии.

1. Энтропия всегда неотрицательна, H>=0. H=0, если события полностью определены, т.е. при P₁=1, P_2,3…=0.

2. При заданном к H_max=logk, только при P1=P2=...= Pk =1/k; (сумма Pi=1).

В этом случае энтропия Н совпадает с мерой Хартли I, что свидетельствует о полном использовании информационной емкости системы (при равновероятных событиях).

3. Значение функции энтропии H(P₁...P_k) не меняется при любой перестановке вероятностей Pi. Т.е. энтропия не учитывает смысл событий.

4. Функция энтропии H(P₁...P_k) непрерывна.

5. Функция энтропии удовлетворяет следующему равенству: H(P1…Pk)=H(P1+P2,P3..Pk)+(P1+P2)*H(P1/(P1+P2);P2/(P1+P2));

Свойство 5 во многом связано со свойством 2.

6. Функция энтропии возрастает с увеличением числа к.

7. Если две системы А и В независимы, тоН(АВ)=Н(А)+Н(В)

(Пример задача) Условие.

Рассматриваются два различных медицинских исследования для диагностики одного и того же заболевания. Первое исследование даёт правильное заключение о состоянии пациента с вероятностью 0,5;

второе - с вероятностью 0,8. Определить, какое медицинское исследование обладает большей неопределённостью.

Для исследования А:

Заключе­ние	Правиль­ное	Неправиль ное
Вероят­ность	0,5	0,5

Для исследования В:

Заключе­ние	Правиль­ное	Неправиль ное
Вероят­ность	0,8	0,2

Решение.

Ha=-PnlogPn-PmlogPm=-2*0,5*log0,5=1[бит]

Hb=-PnlogPn-PmlogPm=-0,8*log0,8-0,2log0,2=0,8[бит]

Выводы:

1. Чем ближе друг к другу значения вероятностей, тем больше величина энтропии, тем большей неопределённостью обладает данная система.

2. Величина энтропии никак не учитывает смысл событий.

№100. Условная энтропия. Свойства условной энтропии.