Теория доказательства Демпстера-Шафера

Этот подход, решая проблемы достоверности, делал коренное различие между отсутствием уверенности в результате и незнанием.

Пусть выдвинута некоторая гипотеза h. В теории вероятности, которая оценивает как раз степень знания об этой гипотезе, эта степень оценивается единственным числом: вероятностью этого события P(h).

Но не всегда на практике такая вероятность известна точно, а если это так, то все последующие рассуждения с использованием этой вероятности тоже будут неоднозначными.

Альтернативный подход предложен в теории доказательства (теории обоснования) Демпстера-Шафера.

Эта теория рассматривает множество предположений и ставит в соответствии каждому из них определенный вероятностный интервал доверия (правдоподобия), которому и должна принадлежать степень уверенности в данном предположении.

Для определения границ этого интервала используются задаваемая или вычисляемая вероятность гипотезы и введенная Демпстером мера правдоподобия. Им было введено две меры: мера доверия и мера правдоподобия. Мера доверия к гипотезе (bel) изменяется в пределах от 0 (когда вообще отсутствуют свидетельства в пользу некоторой гипотезы) и до 1 (когда эти свидетельства полностью подтверждают гипотезу).

Мера правдоподобия некоторой гипотезы h рассчитывается по формуле:

pl(h)=1-bel(not(h)) и тоже меняется от 0 до 1.

Если предположение о том, что гипотеза неверна not(h) полностью обосновано, то bel(not(h))=1, мера правдоподобия pl(h)=0 и единственно возможное значение для меры доверия в этом случае тоже bel(h)=0.

Предположим, что существует две конкурирующие гипотезы h1 и h2, и пусть нет никаких свидетельств ни в пользу одной, ни в пользу другой.

В теории вероятностей эти гипотезы считаются равновероятными и им приписывают вероятность равную 0.5.

В рассматриваемой теории при отсутствии информации, поддерживающей гипотезы, считается, что как мера доверия bel(h) так и мера правдоподобия pl(h) для обеих гипотез лежат в интервале [0,1].

По мере накопления свидетельств в пользу гипотезы интервал доверия сужается, а уровень границ говорит о степени доверия к гипотезе. В конкретной ситуации эта степень может увеличиваться и уменьшаться.

Из сказанного можно сделать вывод, что подход полезен в том случае, когда при принятии решения идет процесс накопления данных. В ходе этого процесса задаются или рассчитываются вероятности соответствующих событий и меры доверия к гипотезам. На их базе рассчитываются меры правдоподобия. Именно они и определяют новые границы интервала доверия.

Аксиомы, которые включены в эту теорию слабее, чем аксиомы, заложенные в теорию вероятности, но в случае, когда вероятности известны точно, результаты по обеим теориям совпадают.

Теория Демпстера-Шафера основана на двух идеях:

• степень доверия может быть получена из субъективных свидетельств о связанных с решением задачей проблемах;

• правила объединения этих свидетельств могут использоваться только в случае, если эти свидетельства основаны на независимых исходных суждениях.

Рассмотрим применение теории на примере.

Вначале проведем рассуждения по Демпстеру-Шаферу. Затем объединим полученные свидетельства. И, наконец, рассмотрим более близкий к практике и более сложный пример.

Пусть работа некоторого прибора оценивается с помощью системы контроля и субъективные свидетельства говорят о том, что этой системе контроля можно верить с вероятностью 0,9 и нельзя доверять с вероятностью 0,1.

И пусть в некоторый момент времени система выдала сообщение об отказе: «Прибор сломался».

Тогда, как и в теории вероятности, этому сообщению можно доверять с мерой доверия 0.9, но согласно рассмотренной теории утверждение истинно, если системе можно верить, но оно необязательно ложно, если ей верить нельзя. А именно, второе утверждение, что «прибор исправен» будет здесь иметь меру доверия, равную 0. Это не означает, как в теории вероятностей, что прибор исправен, а говорит о том, что нет причин утверждать, что прибор не сломался.

Таким образом, гипотеза состоит в том, что прибор сломан. Свидетельствует об этом система контроля. И мера правдоподобия к гипотезе вычисляется по формуле:

pl(прибор-неисправен)=1-bel(not(прибор-неисправен))

или

pl(прибор-неисправен)=1,0-0,0=1

Мера доверия к этой гипотезе в данном случае принадлежит интервалу [0,9; 1,0].

Рассмотрим теперь правило Демпстера для объединения свидетельств.

Пусть теперь кроме системы контроля задействовали для сигнализации отказа еще систему тестирования, для которой известно, что ее показаниям можно доверять с вероятностью 0,8 и нельзя верить с вероятностью 0,2.

Существенным для применения теории является независимость показаний обеих систем.

Для анализа ситуации здесь существует два принципиально разных случая:

• когда показания совпадают;

• когда показания систем разные.

Рассмотрим первый случай (показания систем совпадают).

Здесь возможны следующие исходы независимых событий:

• правдивы показания обеих систем;

• обе системы врут;

• хотя бы одно из показаний независимых систем верное.

Вероятности этих событий, т.к. исходы опытов независимы, вычисляются по следующим формулам.

Вероятность того, что обе системы правы: 0,9*0,8=0,72 (прибор исправен);

Вероятность того, что обе системы врут: 0,1*0,2=0,02 (прибор исправен).

0,02 – это мера доверия bel (not (оба_свидетельства_ о_неисправности)).

Итак, событие состоит в том, что два независимых свидетельства (контроль и тестирование) дали один и тот же результат (прибор неисправен).

Вероятность определяющего границу интервала доверия события, что верны показания хотя бы одной из систем: 1-0.02=0.98

Вторую границу, как и в рассмотренном для одной системы контроля примере, определяет мера правдоподобия pl(h) и здесь она также равна 1. Т.е. достоверность отказа прибора теперь принадлежит интервалу [0,98; 1], по сравнению с первым примером длина интервала сократилась, что говорит о получении дополнительной информации, а значение нижней границы, возросшее с 0,9 до 0,98, говорит о том, что рассмотренной гипотезе можно больше доверять.

Таким образом, для применения рассматриваемого подхода необходимо выполнить следующие шаги:

Шаг 1. На базе вероятностей независимых свидетельств в пользу некоторой гипотезы (которым, возможно, и нельзя доверять) составляется описание результата, в пользу которого эти свидетельства говорят, как вероятного события с определенными исходами. Выбирается исход, определяющий границу интервала (в рассмотренном примере: верен хотя бы один из результатов контроля). Подсчитываются меры доверия к результату.

Для единственного свидетельства это мера, что прибор исправен, равная 0, используемая для расчета меры правдоподобия, и мера доверия, что прибор неисправен, используемая как граница и равная 0,9.

Для совпадающих свидетельств: bel(прибор_исправен)=0 для подсчета меры правдоподобия и мера доверия, что прибор отказал, базирующаяся на том, что показания хотя бы одной системы верны bel(h)=0,98.

Шаг 2. Вычисляется мера правдоподобия по приведенной формуле и с использованием меры шага 1:

pl(прибор_неисправен)=1-bel(прибор_исправен)=1-0,0=1.

Справедливо как для одной системы контроля, так и для совпадающих свидетельств.

Шаг 3. Задается интервал доверия с нижней границей равной мере доверия к гипотезе, и верхней границей, равной мере правдоподобия гипотезы:

[0,9; 1,0] – для системы контроля;

[0,98; 1,0] – для совпадающих свидетельств.

Контроль правильности применения теорем: если получили информацию, то интервал должен сужаться; если свидетельства совпадают, абсолютное значение границы должно расти.

Предположим теперь, что система тестирования дала противоположный результат, то есть показала, что прибор исправен.

И в этом случае надо выполнить 3 шага, которые выполнялись для совпадающих результатов.

Пусть система контроля по-прежнему выдает информацию о том, что прибор отказал, а система тестирования выдала противоположный результат, что прибор работоспособен. Оба такие утверждения вызывать доверие не могут. Либо нельзя верить обоим, либо одному из них.

Априорно эту ситуацию характеризуют 3 вероятности.

Первая – это вероятность того, что системе контроля можно верить, а системе тестирования – нельзя.

Так как системы независимы, эта вероятность вычисляется по формуле:

0,9*(1-0,8)=0,18.

Вторая – это вероятность того, что можно верить системе тестирования и нельзя верить системе контроля:

0,8*(1-0,9)=0,08.

Третья – это вероятность того, что нельзя верить ни одной из систем:

0,1*0,2=0,02.

Таким образом, в этом случае, как и в первом случае, было выделено четыре независимых события:

1. Можно верить обеим системам.

2. Можно верить первой системе.

3. Можно верить второй системе.

4. Нельзя верить ни одной системе.

Но работоспособными для вычисления вероятностей из этих четырех событий в каждом случае являются только три.

Когда показания совпадают, можно верить либо обеим системам либо одной из них. Четвертый случай, естественно, отбросить.

Во втором случае наоборот. Естественно, отбросить вариант, когда можно верить обеим системам. Нельзя верить обеим системам, когда их показания не совпадают.

Вероятность того, что нельзя верить по крайней мере одному свидетельству, является мерой доверия во втором случае и становится нижней границей интервала доверия. Демпстер определил эту вероятность как сумму вероятностей возможных априорных исходов для данной ситуации, то есть, в рассматриваемом примере это будет:

0.18+0.08+0.02=0.28

Эта же вероятность используется для расчета апостериорной вероятности то, что можно верить лишь одной из систем.

Эта вероятность считается как отношение априорной вероятности события к полученной границе, т.е. апостериорная вероятность того, что верить можно системе контроля:

0.18/0.28=0.643

а апостериорная вероятность того, что можно верить системе тестирования :

0.08/0.28=0.286

На базе полученной апостериорной вероятности рассчитывается мера правдоподобия по формуле:

1-bel(not(поломка))=1-0.286=0.714.

Т.о. получен новый интервал доверия с показаниями системы контроля о том, что прибор отказал: [0.28; 0.714]

По сравнению с интервалом [0.9; 1], который характеризовал одну систему контроля, интервал доверия расширился, что говорит о том, что хотя и информация прошла, но она противоречива, т.е. подтверждающая информация не поступила, а уменьшение абсолютных значений границы говорит о том, что доверие к результату упало.

Таким образом, чтобы воспользоваться подходом Демпстера-Шафера, необходимо выполнить два шага.

Шаг 1. Описать неопределенность ситуации , разделив ее на априорно-независимые части и выбрать те части, которые работоспособны в данной ситуации (в примере это 4 ситуации: верить обеим системам, не верить ни одной, верить одной из систем, и три работоспособные ситуации в каждом случае)

Шаг 2. Применить правило Демпстера для расчета мер доверия к отдельным гипотезам и соответствующего интервала правдоподобия с границами: нижняя граница – мера доверия к основной ситуации; верхняя граница – мера правдоподобия, соответствующая основному событию.

В общем случае, когда действует n гипотез, правило Демпстера имеет вид:

.

Здесь x и y – гипотезы, поддерживающие гипотезу z; , , - меры доверия к соответствующим гипотезам при n источниках свидетельств;  - пустое множество.

Пусть n=3. В случае, если гипотезы x и y перекрывают друг друга, т.е. их пересечение () это непустое множество, знаменатель в формуле будет равен 1, а меры доверия m в числителе будут просто перемножаться.

Рассмотрим пример.

Для определенности положим, что имеет место медицинская диагностика.

Множество Q включает 4 гипотезы: C, F, H, M о состоянии больного. В ходе диагностики определяются симптомы, которые могут говорить в пользу той или иной гипотезы из Q. Пусть все четыре гипотезы взаимоисключают друг друга. Тогда повышение меры доверия к одной из гипотез меняет меры доверия к другим гипотезам. Меры доверия m вначале задаются гипотезам по полученным свидетельствам (симптомам), а затем пересчитываются по правилу Демпстера при появлении новых симптомов.

Меры правдоподобия pl(Q)=1-∑m(q), где q – подмножество гипотез, имеющих некоторую вероятность поддержки (отличную от нуля) при выявленных симптомах.

Пусть поступило первое свидетельство.

Например, у больного измерили температуру и определили лихорадку. По некоторым данным это  симптом говорит в пользу гипотез {C, F, M} с вероятностью 0.6.

Тогда первую меру доверия от этих трех гипотез задаем m1{C, F, M}=0.6.

Для оставшихся всех гипотез m1{Q}=0.4.

Отметим, что это не означает, что вероятность дополнения к множеству {C, F, M}=0.4, а означает, что на все меры доверия для всех прочих гипотез из Q осталось 0.4.

Пусть теперь появился следующий симптом (например, провели анализ), и он говорит в пользу других трех гипотез {C, F, H}=0.7.

По аналогии с первым симптомом мера доверия к этому свидетельству m2{C, F, H}=0.7, а на все, другие оставшиеся варианты по этому свидетельству m2{Q}=0.3

Используем правило Демпстера для объединения двух этих свидетельств, используя меры m1 и m2.

Пусть гипотеза x – это набор подмножеств в множестве, Q на котором мера m1 принимает не нулевые значения, а у – такой же набор по отношению к мере m2. Пересечения таких x и y пустым множеством не является, тогда знаменатель в формуле будет равен единице.

Сведем результаты расчетов в таблицу:

m1	m2	m3
m1{C, F, M}=0.6	m2{C, F, H}=0.7	m3{C, F}=0.42
m1{Q}=0.4	m2{C, F, H}=0.7	m3{C, F, H}=0.28
m1{C, F, M}=0.6	m2{Q}=0.3	m3{C, F, M}=0.18
m1{Q}=0.4	m2{Q}=0.3	m3{Q}=0.12

Рассматриваются все возможные сочетания гипотез по двум симптомам.

Для первого симптома фигурируют гипотезы {C, F, M}, которые он поддерживает, и все множество Q с вероятностью 0,4.

Для второго симптома аналогично фигурируют гипотезы {C, F, H}, которые он поддерживает, и все множество Q с вероятностью 0,3.

В третьей колонке в качестве аргумента меры доверия m3 фигурирует Z, являющееся пересечением аргументов мер m1 и m2.

Мера доверия m3 в каждой строчке согласно формуле Демпстера рассчитывается как произведение мер m1 и m2.

Все Z в третьем столбце уникальны. Ни один аргумент не повторяет себя в разных строчках. Это неслучайно и является признаком проверки при применении подхода к разным данным.

При выявлении следующего симптома мера m3 объединяется аналогично с новой мерой m4, базирующейся на этих новых измерениях и т.д.

Такое вычисление мер, когда гипотез много, может оказаться достаточно громоздким и неудобным. Традиционно считается, что подход безусловно полезен, когда строгие байесовские оценки неприменимы. Кроме того, эксперты считают, что такой подход наиболее близок к схеме рассуждения самих экспертов.