6.2 Информационный метод.

Американский ученый Хартли в 1928 году предложил характеризовать меру неопределенности с "к" различными исходами числом 1оg к. Шенон предложил принять в качестве меры неопределенности опыта с исходами А1,А2,....Ак величину k

H(a) = -P(Ai)logP(Ai)- P(А2)logP(А2) …- P(Ak)logP(Ak) = -ΣPi1оg P(Ai),

где P(Аi) -вероятность исхода Аi,

Н(а)- среднее значение 1оg р(Аi) или энтропия исходов опытов Аi.

Если измерения значений Н(а) осуществляется в битах, то в формуле для Н(а)

используется двоичный логарифм.

При числе исходов 2 , выпадения герба или решки при бросании монеты, энтропия равна бит.

При числе исходов 4 , выпадения грани четырехгранного стержня

бита.

С увеличением числа равновероятных исходов возрастает и неопределенность, энтропия.

Неопределенность выпадения одной из граней игральной кости равна

бита.

Если выполняются несколько последовательных опытов и при каждом из них меняется информация о появлении события, то рассчитывается условная средняя энтропия опыта.

Н(а) = P(A1)Ha1+ P(A2) Ha2+ P(Ak)Hak

где А1....Ак- несовместные опыты ;

-энтропия опыта «в» при условии выполнения опыта «а».

При каждом опыте происходит изменение энтропии на величину

I(a,б)= H(b)- Ha(b)

которая называется количеством информации относительно опыта бета, содержащимся в опыте а.

Пример из книги "Вероятность и информация" .

Пусть опыты а и b состоят в последовательном извлечений шаров урны, содержащей n черных и n-m белых шаров (а- извлечение первого шара, b- извлечение второго шара).

Чему равны энтропии Ha и Hb опытов а и b и условные энтропии На и Нb тех же опытов?

Пусть А1 и А2- события, состоящие в появлении черного и белого шаров при первом извлечении, а В1 и В2- события, состоящие в появлении черного и белого шара при втором извлечении.

Пока точно не известно о первом и втором опытах можно ожидать осуществление этих событий со следующими вероятностями.

Таблица 4.2

Вероятность исходов опыта

Опыт а	Исходы опыта	А1	А2
	Вероятности	P(A1) = m/ n	P(A1)=(n-m)/n
Опыт b	Исходы опыта	В1	В2
	Вероятности	P(B1)= m/ n	P(B1) )=(n-m)/n

H(a) = H(b)

Если известен исход опыта a, то условные вероятности отдельных исходов будут равны вероятностям событий В1 и В2 при условии выпадения А1:

, .

Вероятности событий В1 и В2 при условии выпадений А2 равны:

, .

Условные средние энтропии события В при условиях А1 и А2 равны:

HA1(b) = ;

HA2(b) = .

Средняя энтропия событий b при осуществлении опыта а равна

Ha(b) = P(A1) Ha1 (b) + P(A2)HA2(b) = .

Cредняя энтропия а при условии b равна

Hb(a) = Нa{b )+{ Н(а) - Н{b)} = Нa(b)

Если черных шаров 5, а белых 10, то

H(b) =

HA1(b) =

HA2(b) =

Ha (b) = P(A1)HA1(b) + P(A2)H(b)

Информация опыта В .содержащийся в опыте а равна

I(a,b) = Н(b)-На(b) =

Можно поставить и другие опыты. Например, в опыте а вынимаются два шара или более, тогда количественные величины информации тоже меняются. В опыте а два с двумя шарами I(a₂,b) = 0,008

В этом случае событие a2 внесло больше информации об исходе опыта b. С точки зрения вносимой информации извлечение двух шаров дает более ценную информацию.

Построение алгоритма поиска неисправности электрической сети по максимальному значению информации.

Информационный метод можно использовать, когда имеется полная группа событий, для которой сумма вероятностей событий равна единице.

Использование при поиске дефекта вероятностей отказа за какой-то интервал времени в этом методе не допустимо, так как сумма вероятностей отказов элементов системы электроснабжения за год почти всегда не равна единице .

Для определения энтропии и количества информации можно использовать относительные значения интенсивностей отказов равное

.

Это относительное значение, характеризующее частоту отказов, по отношению к суммарной частоте отказов всего устройства или сети можно использовать для расчета энтропии ( меры неопределенности ) и количества информации так как qi для к слагаемых равна единице.

Величина qi тем больше чем больше интенсивность отказов элемента. В таблице приведён расчёт информации для схемы

Расчёт относительных частот qi , значений энтропии Нi и величин информации Ii для участков электрической сети.

Таблица 4/3

Участки	λi	qi	q1i	q2i	q3i	q4i	Hi	Ii
1	0.1	0.217	0	0.22	0.38	0.32	0.336	0.154
2	0.01	0.022	0.027	0	0.038	0.032	0.456	0.034
3	0.2	0.43	0.55	0.44	0	0.64	0.3	0.14
4	0.15	0.326	0.416	0.33	0.576	0	0.329	0.161

Безусловная энтропия поиска отказа для четырёх участков электрической сети (см. таблицу)

Н(b) = -q1logq1 - q2logq2 – q3logq3 - q4log q4 =

• = -0.2171оg0.217 - 0.022 lоg0.022 - 0.43 1оg0.43 -

• 0.3261оё0.326 = 0.143+0.036+0.157+0.158 = 0.49.

После проверки участка 4 и отсутствия неисправности в нем остались элементы 1,2,3. Новые относительные условные вероятности появления дефектов равны:

Условная энтропия (мера неопределённости появления отказа на 1,2 и 3-ем участках) при исправном четвёртом участке равна:

Н4(b) = 0.32 1оg0.32- 0.032 1оg0.032 - 0.64 1оg0.64=0.158+0.047+0.124=0.329

В случае проверок участков 1,2и3 энтропии равны:

Н1(b)=0.336; Н2(b) = 0.456; Нз(b)=0.35

Наибольшая информация получается при проверке 4 -го элемента

I4(b)=Н(b)-Н4(b)=0.49-0.329 = 0.161

Алгоритм проверки следует строить таким образом , чтобы в каждом шаге содержалась наибольшая информация. В приведенном примере начинать поиск

короткого замыкания (повреждения) нужно с 4-го участка. Если повреждение не найдено, то следует проверить 1-й участок затем 3-й и, наконец, 2-й участок.

Лекция 7