Добавил:
ivanov666
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз:
Предмет:
Файл:Рекуррентное построение распределений вероятностей конечных случайных множеств. Монография.pdf
3.4. Построение распределений вероятностей V рода 101
Для независимо точечного случайного множества распределение вероятностей V рода для всех X ⊆ X имеет вид
uX= P
[
x!=
x∈X
0, X = ∅,
1 −
Y
P(xc) = 1 −
x∈X
Y
(1 − px) , иначе.
x∈X
(3.39)
Однако, применение рекуррентного метода (3.36)–(3.37) на основе
ассоциативной функцией (3.7) дает следующее:
f(∅) = 0;
f(x) = P(x) = px= 1 − (1 − px), для x ∈ X;
S
f(X) = AU px, P
y∈X\{x}
!!
y
= 1 −
Q
(1 − px), |X| > 1.
x∈X
Из совпадения (3.39) и (3.4.3.) следует, что ассоциативная функция
(3.38) определяет независимо точечное случайное множество событий.
Таким образом, теорема 3.1 утверждает, что рекуррентный метод
на основе ассоциативной функции (3.38) всегда позволяет построить
распределение вероятностей V рода, которое определяет независимо
точечное случайное множество. На основе ассоциативных функций
(3.7) и (3.38) построены функции множества, задающие распределения
вероятностей II и V рода конечного случайного множества KXсоответственно (теоремы 3.7, 3.7). Данные распределения связаны взаимно
обратными формулами обращения М¨ебиуса (1.25) и (1.26). Следовательно, по определению 3.3 ассоциативная функция по объединению
(3.38) является «двойственной» к ассоциативной функции (3.7).
Рассмотрим ассоциативную функцию AU(a, b) = max{a, b} в построении распределения вероятностей V рода конечного случайного множества KX. При доказательстве теоремы 3.8 используется следующие
очевидные соотношения для вложенных событий:
если x ⊆ y, то P(x ∪ y) = P(y);
если x ⊆ y и y ⊆ z, то x ⊆ y ⊆ z и P(x ∪ y ∪ z) = P(z),
далее аналогичным образом.
102 Глава 3. Метод рекуррентного построения распределений
Tеорема 3.8. Если значения функции множества {f (X), X ⊆ X}
вычисляются рекуррентным методом (3.36)–(3.37) на основе ассо-
циативного объединения
AU(a, b) = max{a, b}, (3.40)
то {f(X), X ⊆ X} является распределением вероятностей V ро-
да конечного случайного множества KXи определяет случайное
множество вложенных событий.
Доказательство. Упорядочим события в X = {x1, x2, . . . , xN} в порядке возрастания их вероятностей p
≤ p
x
1
≤ · · · ≤ p
x
2
. Обозначим
x
N
I ⊆ {1, 2, . . . , N } — упорядоченный набор индексов, соответствую-
щий подмножеству X ⊆ X. Элементы этого подмножества также упорядочены в порядке возрастания вероятностей событий. Применение
рекуррентного метода (3.36)–(3.37) с ассоциативной функцией (3.9)
дает следующее:
f(∅) = 1;
f(xi) = p
f({xi, xj}) = P (xi∪ xj) = maxp
= P(xi), ∀i = 1, N;
x
i
, p
x
i
= p
x
j
, ∀ i < j;
x
j
(3.41)
S
f(X) = P
i∈I
x
i
= max
i∈I
{p
} = p
x
i
, где m = max
x
m
i.
i∈I
Соотношения (3.41) определяют функцию множества на базовом множестве X из N вложенных друг в друга событий x1⊆ x2⊆ . . . ⊆ xN.
Проверим для найденной функции множества {f(X), X ⊆ X} достаточные условия, определенные теоремой 2.2. Чтобы проверить выполнение условия (iv) теоремы 2.2, перейдем по формуле обращения
М¨ебиуса в виде (2.18) от функции множества (3.41) к новой функции
множества {p(X), X ⊆ X} и покажем, что последняя является распределением вероятностей I рода. Применение формулы (2.18) приводит
к следующим соотношениям:
[
p(∅) = 1 − P
i=1,N
x
i
= 1 − p
;
x
N
3.4. Построение распределений вероятностей V рода 103
p({xN}) = P
p({xN, x
N−1
}) = P
p({xN, . . . , xk}) = P
p(X \ {x1}) = P (x2∪ x1) − P (x1) = p
i=1,N
[
x
i
− P
[
x
− P
i
i=1,N−1
. . .
[
i=1,k
x
− P
i
. . .
p(X) = P (x1) = p
[
i=1,N−1
[
i=1,N−2
i=1,k−1
x
x
[
.
1
i
x
x
= p
i
i
x
2
x
N
= p
= p
− p
− p
x
N−1
x
k
;
x
1
x
N−1
− p
− p
x
;
x
k−1
N−2
;
;
Очевидно, что функция множества {p(X), X ⊆ X} удовлетворяет условиям неотрицательности, поскольку принимает только N +1 ненулевых
значений, а остальные 2N− N − 1 значения равны нулю. Следовательно, по лемме 2.1 о достаточных условиях существования распределения I рода функция множества {p(X), X ⊆ X} является распределением I рода некоторого конечного случайного множества KX. Значит,
функция множества f (X), X ⊆ X согласно теореме 2.2 удовлетворяет достаточным условиям существования и является распределением
вероятностей V рода конечного случайного множества KX.
Таким образом, метод рекуррентного построения (3.36)–(3.37) с ассоциативной функцией (3.40) всегда позволяет построить распределение вероятностей V рода, которое определяет случайное множество
вложенных событий.
На основе ассоциативных функций (3.9) и (3.40) построены функции множества, задающие распределения вероятностей II и V рода конечного случайного множества KXсоответственно (теоремы 3.2, 3.8).
Данные распределения связаны взаимно обратными формулами обращения М¨ебиуса (1.25) и (1.26). Следовательно, по определению 3.3
ассоциативная функция по объединению (3.40) является «двойственной» к ассоциативной функции (3.9).
104 Глава 3. Метод рекуррентного построения распределений
Рекуррентный метод (3.36)–(3.37) на основе ассоциативной функцией AU(a, b) = min{a + b, 1} не всегда позволяет построить распределение конечного случайного множества. Сформулируем условия, при
которых это возможно.
Tеорема 3.9. Если значения функции множества {f (X), X ⊆ X}
вычисляются рекуррентным методом (3.36)–(3.37) на основе ассо-
циативного объединения
AU(a, b) = min{a + b, 1}, (3.42)
то {f(X), X ⊆ X} является распределением вероятностей V ро-
да конечного случайного множества KXпри выполнении одного из
следующих условий:
X
(i)
px≤ 1;
x∈X
X
(ii) |X| − 1 ≤
px≤ |X|.
x∈X
Доказательство. При доказательстве теоремы воспользуемся формулой для n-местного представления (3.42), полученной в [110, 112]:
(
n
X
G(a1, . . . , an) = min
ai, 1). (3.43)
i=1
Применение рекуррентного метода (3.36)–(3.37) на основе ассоциативного объединения (3.43) дает следующее:
f(∅) = 0;
f(x) = px= P(x), для x ∈ X;
!!
S
f(X) = AU px, P
y∈X\{x}
y
= min
P
px, 1, |X| > 1.
x∈X
(3.44)
Найдем условия, при которых функция множества (3.44) будет распределением вероятностей V рода конечного случайного множества
KX. Для этого будем проверять положение (iv) теоремы 2.2. Рассмот-
рим следующие ситуации.
3.4. Построение распределений вероятностей V рода 105
СЛУЧАЙ 1. Рассмотрим условие (i).
Пусть в (3.44) для всех X ⊆ X таких, что |X| > 1 выполняется
f(X) = P
[
x!= min
x∈X
(
X
x∈X
px, 1)=
X
px.
x∈X
С учетом этого предположения, воспользовавшись формулами (3.44) и
(1.24), получим новую функцию множества, определенную на системе
событий (1.13):
X
p(∅) = 1 −
px;
x∈X
p(x) = px, для всех x ∈ X;
p(X) =
X
Y ∈2X: Y ⊆X
(−1)
|X|−|Y |
X
x∈Y
!!
p
x
c
= 0, X ⊆ X, |X| > 1.
(3.45)
Очевидно, что найденная функция множества (3.14) будет удовлетворять лемме 2.1 о достаточных условиях существования распределения I рода, если только p(∅) ≥ 0. Следовательно, функция множества
(3.45) является распределением вероятностей I рода конечного случайного множества тогда и только тогда, когда
X
px≤ 1. В этом случае
x∈X
(3.45) определяет конечное случайное множество, заданное на базовом
множестве непересекающихся событий [18].
СЛУЧАЙ 2. Рассмотрим условие (ii).
X
Пусть в (3.44) все f(X) = 1, X ⊆ X, |X| > 1, тогда
px> 1 и
x∈X
функция множества имеет вид
f(∅) = 0;
f(x) = px= P(x), для x ∈ X;
S
f(X) = P
x= 1, |X| > 1.
x∈X
Учитывая это предположение и применяя формулу (1.24) к функции
106 Глава 3. Метод рекуррентного построения распределений
множества (3.44), имеем для всех X ⊆ X:
p(X) = 0, для всех X ∈ X мощности |X| < |X| − 1,
p(X \ {x}) = 1 − px, для всех x ∈ X,
X
p(X) = 1 −
(1 − px) =
x∈X
По лемме 2.1 функция множества (3.46) будет распределением ве-
роятностей I рода, если 0 ≤ p(X) ≤ 1 и
Пусть p(X) > 0, тогда из
X
px− |X| + 1.
x∈X
X
p(X) = 1.
X
X⊆X
px− |X| + 1 > 0 следует
x∈X
X
px> |X| − 1.
x∈X
Учитывая этот факт, получим условие нормировки
X
p(X) =
X⊆X
X
p(X \ {x}) + p(X) =
x∈X
X
(1 − px) + 1 −
x∈X
X
(1 − px) = 1.
x∈X
Пусть p(X) = 0, тогда из условия нормировки
X
p(X) =
X
(1 − px) = |X| −
X
px= 1
(3.46)
X⊆X
x∈X
x∈X
X
следует равенство
Оценка сверху
px= |X| − 1.
x∈X
X
px≤ |X| для всех X ⊆ X следует из свойства
x∈X
вероятности px≤ 1.
Таким образом, по теореме 2.2 рекуррентные соотношения
(3.36)–(3.37) с ассоциативной функцией (3.42) позволяет построить
распределение вероятностей V рода при выполнении ограничений на
вероятности самих событий |X| − 1 ≤
X
px≤ |X|.
x∈X
На основе ассоциативных функций (3.11) и (3.42) построены функции множества, задающие распределения вероятностей II и V рода конечного случайного множества KXсоответственно (теоремы 3.3, 3.9).
Данные распределения связаны взаимно обратными формулами обращения М¨ебиуса (1.25) и (1.26). Следовательно, по определению 3.3
ассоциативная функция по объединению (3.42) является «двойственной» к ассоциативной функции (3.11).
3.5. Анализ и демонстрация применения метода 107
3.5. Анализ и демонстрация применения метода
В предыдущих параграфах мы изложили метод рекуррентного построения распределений вероятностей конечного случайного множества на основе ассоциативных функций. Для каждой из рассмотренных ассоциативных функций (3.7), (3.9), (3.11), (3.17), (3.26), (3.38),
(3.40), (3.42) доказаны теоремы 3.1–3.9, устанавливающие аналитический вид и условия существования результирующих распределений
вероятностей конечных случайных множеств. Количество параметров
для задания этих распределений снижено с 2Nдо N + 1. Законы распределения вероятностей конечных случайных множеств, полученные
в теоремах 3.1–3.3, 3.7–3.9 совпадают с ранее известными распределениями вероятностей конечных случайных множеств с независимо
точечной, вложенной и непересекающейся структурой зависимостей.
Это подтверждает корректность предлагаемого метода.
Теоремы 3.5, 3.6 устанавливают аналитический вид и условия существования ранее неисследованного класса распределений вероятностей конечных случайных множеств. Использование в этих теоремах
однопараметрического семейства ассоциативных функций Франка дает набор распределений вероятностей конечных случайных множеств,
структура зависимостей событий которых описывается параметром ассоциативной функции Франка.
Важно, что рекуррентный метод построения распределений вероятностей конечного случайного множества конструктивен и допускает
алгоритмизацию и программную реализацию [42, 43].
Суть общего алгоритма реализации метода рекуррентного построения распределений вероятностей случайных множеств KXна основе
произвольно заданной ассоциативной функции заключается в следующем. На вход алгоритма подаются N вероятностей событий px, x ∈ X
и ассоциативная функция AF(a, b). Считается, что имеется процедура
вычисления этой ассоциативной функции при заданных a и b. Алгоритм включает в себя два этапа: прямой и обратный ход. Каждый из
этих этапов предполагает перебор всех подмножеств множества X. Во
время прямого хода алгоритма осуществляется вычисление значений
108 Глава 3. Метод рекуррентного построения распределений
функции множества f (X), X ⊆ X согласно формулам (3.1)–(3.2), представленных в параграфе 3.2. Для каждого значения f (X) при прямом
ходе проверяются уточненные границы Фреше (2.17). Если эти границы нарушены, то алгоритм выдает информацию о невозможности
построения распределения при заданных исходных данных. Обратный
ход алгоритма предполагает вычисление значений функции множества
p(X), X ⊆ X по формуле обращения Мёбиуса (1.21). Для каждого зна-
чения p(X) при обратном ходе проверяются достаточные условия теоремы 2.1. Если условия нарушены, то алгоритм выдает информацию
о невозможности построения распределения при заданных исходных
данных. Этот алгоритм имеет очень высокую вычислительную сложность, поскольку носит универсальный характер и работает с произвольно заданной ассоциативной функцией. Трудоёмкость процесса построения распределений конечных случайных множеств для конкретных ассоциативных функций может быть снижена за счет полученных
и доказанных в этой главе теоретических положений об аналитическом виде распределений (далее, теоретические распределения).
Рекуррентный метод может быть использован при решении прикладных задач, в которых необходимо получать реализации конечных
случайных множеств с заданным распределением. В качестве примера
рассмотрим задачу численной аппроксимации эмпирических распределений конечных случайных множеств теоретическими распределениями, построенными с помощью ассоциативных функций [43, 74].
3.5.1. Подгонка распределений конечных случайных множеств
Подгонкой (fitting) называют аналитические процедуры, позволяющие подобрать распределение, которое с достаточной степенью точности описывает наблюдаемые данные. Рассмотрим численную аппроксимацию эмпирических распределений конечных случайных множеств
известными теоретическими распределениями на основе метода минимального расстояния [31]. Процесс аппроксимации выполняется поэтапно:
1. Выбор теоретического распределения конечного случайного множества.
3.5. Анализ и демонстрация применения метода 109
2. Оценка параметра теоретического распределения.
На первом этапе выбор осуществляется среди теоретических распределений, полученных методом рекуррентного построения распределения вероятностей конечных случайных множеств однопараметрическими ассоциативными функциями (табл. 3.4). Тем самым параметр
теоретического распределения определяется единственным параметром
соответствующей ассоциативной функции. Предполагается, что вероятности событий px, x ∈ X для теоретического и эмпирического распределений совпадают.
Таблица 3.4
Однопараметрические семейства ассоциативных функций [82]
Семейство Формула Диапазон α
Франка F rank(a, b; α) = −
Али-МихаэляХака
Гумбеля Gumbel(a, b; α) = exp− [(− ln(a))α+ (−ln(b)α)]
Клейтона Clayton(a, b; α) =max{a−α+ b−α− 1; 0}
Джо Joe(a, b; α) = 1 − [(1 − a)α+ (1 − b)α− (1 − a)α(1 − b)α]
AMH(a, b; α) =
1
ln1 +
α
ab
1 − α(1 − a)(1 − b)
(e
−α·a
(e−α− 1)
− 1)(e
−α·b
−1/α
− 1)
α 6= 0
[−1, 1]
1
α
[1, +∞)
[−1, +∞),
α 6= 0
1/α
[1, +∞)
На втором этапе для оценки параметра теоретического распределения используются традиционные для математической статистики меры
близости распределений [6, 31, 64, 65]. Оценка параметра теоретического распределения осуществляется путем минимизации расстояния
между теоретическим (p) и эмпирическим (q) распределениями.
Пусть p(α) = {p (X; α) , X ⊆ X, α ∈ DomAF} — теоретическое распределение I рода, полученное методом рекуррентного построения с
использованием одной из ассоциативных функций (табл. 3.4); Dom
AF
— область определения параметра α для используемой ассоциативной
функции; q = {q (X) , X ⊆ X} — эмпирическое распределение I рода.
110 Глава 3. Метод рекуррентного построения распределений
Обозначим через D (p(α), q) расстояние между распределениями.
В качестве оценки параметра α распределения p(α) выбирается значение α∗, определяемое из соотношения
α∗= arg min
α∈Dom
D (p(α), q) . (3.47)
AF
Можно использовать одно из следующих типов расстояний [31,152]:
расстояние Кульбака—Лейблера
DKL(p(α), q) =
X
q (X) ln
X⊆X
q (X)
; (3.48)
p (X; α)
χ2-расстояние Пирсона
2
; (3.49)
DN(p(α), q) =
X
(p (X; α) − q (X))
X⊆X
p (X; α)
вероятностная симметрическая χ2-мера
2
; (3.50)
2
D
(p(α), q) =
χ
X
(p (X; α) − q (X))
X⊆X
|p (X; α) − q (X) |
расстояние Евклида между двумя точками в 2N-мерном пространстве:
DE(p(α), q) =
s
X
(p (X; α) − q (X))2. (3.51)
X⊆X
Выбор того или иного типа расстояния в каждом конкретном случае осуществляется в зависимости от особенностей решаемой задачи
случайно-множественно моделирования статистических систем.
Применим изложенные выше результаты для исследования лекарственной устойчивости у больных туберкулёзом.
Для исследования использовалась база данных, полученная в процессе обработки историй болезни пациентов Красноярских краевых
противотуберкулёзных диспансеров № 1 и № 2 за 2007—2011 гг. (4126
чел.). База данных сформирована экспертами и включает в себя результаты ретроспективного анализа первичной медицинской документации выявленные у больных туберкулезом с лекарственной устойчивостью. По запросам экспертов были отобраны пациенты без гендерного различия, возраст старше 18 лет, статус «болен», работающие,