Добавил:
ivanov666
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз:
Предмет:
Файл:Системный анализ и моделирование при разработке экспертных систем. Учебное пособие
.pdf
5.4.2. КРИТЕРИИ СРАВНЕНИЯ АЛЬТЕРНАТИВ ПРИ
−
=
()(
≤α≤α−+α
=
НЕОПРЕДЕЛЕННОСТИ ИСХОДОВ
Об основных идеях и подходах к решению задач теории игр желательно иметь представление всем, кому придется проводить исследования систем.
Центральным моментом является введение критерия для оценки
выбираемого варианта. В силу неопределенности исхода нужно дать
оценку сразу целой строке платежной матрицы; имея такие оценки для
всех строк и сравнивая их
, мы и можем делать выбор.
Самым распространенным является критерий выбора «наименьшего из зол», называемый
строк матрицы платежей находится наименьший выигрыш
максиминным критерием. В каждой из
qmin , ко-
ij
j
торый характеризует гарантированный выигрыш в самом худшем случае и считается оценкой альтернативы x
. Теперь остается найти аль-
i
тернативу х*, обеспечивающую наибольшее значение этой оценки:
*
= . Эта альтернатива и называется оптимальной по
qx minmaxarg
ij
j
i
максиминному критерию. Поскольку часто платежную матрицу определяют не через выигрыш, а через проигрыш, тот же принцип приво-
минимаксному критерию.
дит к
Минимаксный критерий является крайне осторожным, очень пессимистическим, поэтому были предложены другие критерии. Таков,
например,
критерий минимаксного сожаления, предложенный
Сэвиджем. При этом по платежной матрице Q вычисляется «матрица
сожалений» S, элементы которой определяются как
минимаксный критерий применяется к матрице
ijij
*
i
и
qqs min
ij
i
.maxminarg:
sxS =
ij
j
Дальнейшее ослабление пессимистичности оценки альтернатив
критерий пессимизма–оптимизма (критерий Гурвица), кото-
дает
рый сводится к взвешенной комбинации наилучшего и наихудшего
исходов. А именно: за оценку альтернативы x
принимается величина
i
j
ij
)
j
в критерии Гурвица
i
qqxg .
ij
10,max1min
Показатель а называется показателем пессимизма–оптимизма
(при а = 1 имеем снова максиминный критерий); оптимальная альтернатива есть
*
= .
i
()
xgx maxarg
i
101
5.4.3. ОБЩЕЕ ПРЕДСТАВЛЕНИЕ О ТЕОРИИ ИГР
(
=
(
)
Некоторые особенности игровых ситуаций хорошо видны на простейшем примере. Пусть имеется игра с континуальными множествами X и Y, строгим соперничеством сторон и нулевой суммой. Это делает достаточным рассмотрение лишь одной функции платежей q(x, у),
которую один игрок старается максимизировать по х, а другой – минимизировать по
В тех случаях, когда
**
, yx , в которой достигается это равенство, одновременно удовле-
у.
Xx
∈
()
∈∈
YyYy
Xx
∈
)
yxqyxq
,maxmin,minmax
, точка
творяет амбиции обоих игроков. Эта точка равновесия интересов сторон называется седловой. Отход от этой точки невыгоден обеим сторонам, так что ее выбор решает игру.
Однако существуют игры без седловой точки. В такой ситуации
становится выгодным скрывать от противника свой выбор и
даже свой
способ выбора. Это достигается введением смешанной стратегии.
В отличие от чистой стратегии, при которой альтернатива выбирается
однозначно по детерминированному правилу, смешанная стратегия
состоит в том, что задаются лишь вероятности выбора альтернатив, а
сам выбор осуществляется случайным механизмом, подчиняющимся
заданному распределению. В результате получаемый выигрыш становится случайной величиной и
сравнение стратегий можно вести через
средние значения выигрыша. Оказывается (теорема фон Неймана), что
любые матричные игры со строгим соперничеством имеют решение в
смешанных стратегиях. Кроме того, матричную игру можно свести к
задаче линейного программирования, что дает не только практические
методы численного решения игр, но и позволяет перенести ряд теоретических
результатов из теории программирования в теорию игр.
5.5. О ВЫБОРЕ В УСЛОВИЯХ
СТАТИСТИЧЕСКОЙ НЕОПРЕДЕЛЕННОСТИ
Существует класс задач выбора, особенностью которых является
наличие неопределенности даже после того, как проведена серия наблюдений, измерений. Дело в том, что данные, полученные в результате эксперимента, связаны с интересующим нас аспектом явления не
непосредственно, не однозначно, а в совокупности с другими, неконтролируемыми факторами.
5.5.1. СТАТИСТИЧЕСКИЕ РЕШЕНИЯ КАК ВЫБОР
Пусть, например, требуется знать высокоточное значение веса некоторого предмета. Неоднократное его взвешивание на аналитических
102
весах даст хотя и близкие, но разные значения, так как на показания
(
)
(
)
весов оказывают влияние не только вес самого взвешиваемого предмета, но и трение, неидеальность геометрической формы опорной призмы, течение струй воздуха, тепловой режим и т.д. Аналогично, при радиолокационном зондировании Луны в результате каждого измерения
получают отличающиеся
чему имеется множество причин. В таких задачах возникает нетривиальная проблема выбора, какое именно из значений интересующей нас
величины принять за истинное – с учетом имеющихся данных.
Аналогичная ситуация – выбор в условиях статистической неопределенности – имеет место не только при оценке некоторой величины, но
стояние характеризуется такими-то данными анализов? На какой глубине находится нефть или вода, если в результате геофизической разведки получена некоторая совокупность чисел?), а также при необходимости подобрать математическую модель явления (на какую кривую
лучше всего ложатся эти экспериментальные
димости обнаружить какую бы то ни было закономерность (влияет ли
солнечная активность на здоровье людей? С какими наблюдаемыми
характеристиками жизни человека связана возможность заболевания
шизофренией? Есть ли закономерность в том, как в течение 30 лет поражала молния опоры данной линии электропередачи?).
новании косвенных или прямых, но обязательно «зашумленных» данных. Основным, центральным, самым важным предположением для
формализации решения таких задач является предположение о статистичности экспериментальных данных. Оно состоит в том, что связь
между истинной, но неизвестной искомой альтернативой θ (будем обозначать этой буквой любую закономерность
коле наблюдений, считая, что она принадлежит множеству Θ возможных закономерностей, на котором и надо сделать выбор) и наблюдаемыми данными
вероятностей (например, функцией распределения
если
плотностью вероятностей
что, во-первых, выборка наблюдений принадлежит статистическому
ансамблю всевозможных выборок, на котором задано распределение
вероятностей, и, во-вторых, это распределение различно для разных θ,
что и обеспечивает наличие информации о θ в выборке
[43, гл. 3]. Вопрос состоит в том, как извлечь эту информацию, т.е. как
сделать выбор на множестве Θ или как принять статистическое решение.
и при классификации объектов (чем болен пациент, если его со-
Во всех таких задачах есть
x – непрерывные величины, а функция F дифференцируема, –
i
цифры для расстояния до нашего спутника,
данные?) и при необхо-
общее – необходимость выбора на ос-
, отыскиваемую в прото-
xxx ...,,,
адекватно описывается распределением
N
21
1
θNxxf ...,,
1
. Другими словами, считается,
1
θNxxF ...,,
или,
xx ...,,
N
103
Естественно, напрашивается идея – свести задачу к уже решенной
(
)
Θ∈θ
∈
(
−
=
μ=μ
δ
ранее. Такую возможность предоставляет теория «игр против природы» (см. 1.4): выбор
можно в совокупности охарактеризовать функцией потерь
торую и рассматривать как платежную функцию игры. Использование
такого представления в самом деле позволяет перенести ряд результатов теории игр в теорию статистических решений. Однако одни статистические задачи не принадлежат к числу решенных задач теории игр,
для других задач существуют более прямые и короткие способы решения, третьи
ки экспериментальных данных, что игровая терминология лишь «затемняет» суть дела; наконец, теория синтеза и анализа процедур для
решения статистических задач – математическая статистика – начала
развиваться задолго до возникновения теории игр, достигла значительных результатов и продолжает успешно развиваться самостоятельно. По этим причинам теоретико-игровой
храняя свое методологическое, междисциплинарное значение, не оказал существенного влияния на прикладную статистику.
5.5.2. ОБЩАЯ СХЕМА ПРИНЯТИЯ СТАТИСТИЧЕСКИХ РЕШЕНИЙ
Вернемся к рассмотрению черт, общих для задач выбора в условиях статистической неопределенности. Обстоятельства принятия статистических решений иллюстрирует схема, приведенная на рис. 5.4.
На этой схеме точкой
необходимо определить; Θ – множество всех предполагаемых возможностей относительно θ. Точкой
наблюдений)
Тот факт, что на реализовавшееся значение выборки оказывает влия-
ние не только искомая закономерность θ, но и совокупность случайных факторов, изображен на схеме как результат совместного отображения θ и некоторого случайного воздействия
помощью некоторого оператора
лать выбор относительно θ, принять решение, какую из множества
альтернатив Θ мы примем за истинную. Чтобы не путать принимаемое
решение и «истинное» состояние θ, обозначим пространство, на котором производится выбор, через Г. Очевидно, что в Г входят все элементы множества Θ, но могут войти и
отказа от выбора, требования увеличить число наблюдений или провести рандомизацию и т.п.). Процедура выбора изображена как действие некоторого оператора
оператор, называемый
104
имеют настолько сильно выраженную специфику обработ-
θˆ на Θ и действительное состояние θ природы
подход к статистике, со-
изображено то, что нам неизвестно, но
Xx
изображена выборка (протокол
)
Xxxx
;...,,
N
1
решающей функцией, ставит в соответствие ре-
множество всех возможных выборок.
n в пространство X с
()
nx ,: θ
. Зная х, мы должны сде-
дополнительные решения (типа
над выборкой х: каждой выборке х этот
θθ,ˆl , ко-
шение
γ
γ
δ
μ
μ(θ
,
x
,
()
ix,δ=
. Здесь аргумент i введен, во-первых, для того чтобы
подчеркнуть, что одну и ту же выборку можно обрабатывать поразному, получая решения различного качества, и, во-вторых, чтобы
сделать акцент на том, что качество решения зависит не только от того, какой протокол обрабатывается, но и от того, какие априорные
предположения вошли в
структуру алгоритма.
Итак, и проблема синтеза статистических процедур (построения
решающих функций), и проблема анализа их качества (оценивания
степени близости между
и θ) тесно связаны с ролью априорной
информации.
Определим конкретнее, что именно в статистике понимается под
априорной информацией. В нее включают любые сведения, имеющиеся до того, как мы приступили к синтезу новой процедуры
, в том
числе и любую информацию о природе наблюдений (но не саму выборку
х, считающуюся информацией апостериорной). Конкретнее ап-
риорные сведения характеризуют:
пространство ситуаций Θ;
1)
природу случайных факторов n;
2)
3)
оператор
4)
пространство наблюдений X;
требования потребителя к качеству решений (нумерация та же,
5)
, определяющий характер взаимодействия θ и n;
что и на рис. 5.4).
θ
Пространство
ситуаций
Θ
n) δ(
⊗
ni
Источник
стохастичности
х
Пространство
наблюдений
Χ
1
2
3
4
i)
Априорная
информация
γ
Пространство
решений
Г
5
П
О
Т
Р
Е
Б
И
Т
Е
Л
Ь
Рис. 5.4. Общая схема принятия статистических решений
5.5.3. ПОНЯТИЕ ОБ ОСНОВНЫХ НАПРАВЛЕНИЯХ
Априорная информация может быть более или менее полной и
точной; в зависимости от этого по-разному ставятся и решаются стати-
МАТЕМАТИЧЕСКОЙ СТАТИСТИКИ
105
стические задачи выбора. Можно даже утверждать, что разным уров-
(
)
(
γ
γ
()(
()(
(
)
(
)
ням априорной информации соответствуют различные специфические
ветви математической статистики.
Самое полное описание случайного объекта состоит в задании
распределения вероятностей на множестве возможных состояний этого объекта, поэтому наиболее подробное и полное задание априорной
информации состоит в том, что считаются известными: распределение
()
потребителя решений к расхождению между
использовать вместо истинного θ, и действительным состоянием θ.
Такой уровень априорной информации соответствует байесову направлению статистики (Т. Байес – известный английский статистик).
Среднее значение потерь
работки наблюдений
за меру качества этого алгоритма. Оптимальная в этом смысле проце-
дура
нием задачи:
вызывала необходимость задавать априорное распределение
стулат Лапласа–Байеса, предлагающий при неизвестности
его равномерным в Θ, приводит к противоречиям в случае деформаций
пространства Θ. Не помогает и предположение о том, что неизвестное
Р(θ) принадлежит некоторому классу распределений, – с тем чтобы
взять в этом классе «наихудшее» распределение и для него найти байесову процедуру. Такая минимаксная процедура гарантирует, что «хуже
не будет», если только
можно считать историческим недоразумением. В конце концов было
признано, что могут существовать и другие уровни априорной информации, для которых требуется создание своих методов синтеза процедур. Следующим уровнем стал отказ от необходимости знать
на этом уровне в синтезе алгоритмов участвует только информация о
семействе функций
Θ∈θθ ,P ; условное распределение выборочных значений
Θ∈θ∈θ ,, XxxF ; функция потерь
l, связанное с конкретным алгоритмом
х, называемое байесовым риском R, принимается
*
γ (также называемая байесовой) и считается наилучшим реше-
*
()
Наибольшее количество споров относительно байесовых задач
Спор между сторонниками байесова подхода и его противниками
()
γ
x
()
Р(θ) действительно входит в заданный класс.
θxF . Оказалось, что если подставить в функцию
)
()()
∫∫
Θ
X
)
θγ,l , выражающая отношение
, т.е. тем, что он должен
,minargminarg
=θγ=γ=γ
xlMxRx
Θ
X
()
γγ
xx
()
()
dPxdFxl
θθθγ=
)
.,minarg
Р(θ). По-
Р(θ) считать
об-
Р(θ);
плотности
106
θxf выборочные значения
xx ...,,
, и рассматривать ее
N
1
зависимость от θ, то такая зависимость
()(
)
(
(
)
(
)
()(
)
обладает замечательными свойствами, из-за которых ее и назвали
функцией правдоподобия. Например, если θ – неизвестный числовой
параметр распределения, то
очень хорошей оценкой рассматриваемого параметра (этот метод оценивания называется
случае, когда по выборке
одной из конкурирующих гипотез
из распределения с плотностью
процедурой является вычисление
шение превышает заданный порог, и гипотезы
В рамках этого уровня возможны и другие методы принятия статистических решений; обычно их использование вызвано соображениями
простоты реализации, но по качеству получаемых с их помощью решений они не превосходят процедур, основанных на функции правдоподобия.
Априорное знание функции
кает вопрос, как осуществить выбор, если
таваться в рамках параметрических моделей, то можно снова рассмотреть класс распределений и воспользоваться минимаксной методикой.
Подобные алгоритмы также используются в статистике и дают хорошие результаты в рамках принятых предположений. Как и в аналогичном расширении класса байесовых задач, о свойствах процедур минимаксного правдоподобия можно
ренность, что реальные распределения действительно находятся в заданном классе.
Можно сразу и полностью отказаться от необходимости знать
распределение
му-то, пусть неизвестному, но существующему распределению: предположение о статистичности наблюдений остается в стиле. Такая позиция соответствует новому уровню априорной информации и новому
направлению в статистической теории и практике –
ской статистике
Имеется несколько подходов к синтезу непараметрических процедур. Кроме эвристического, изобретательского подхода (часто достаточно удачного, но всегда оставляющего место для сомнений) развиваются и теоретически обоснованные подходы. Например, теория
инвариантности [9, 16] предлагает методы, использующие свойства
симметрии некоторых задач. Большой универсальностью обладает ме-
методом максимального правдоподобия). В том
...,,/...,, HxxfHxxf
F(x), конечно, не от того, что выборка подчинена како-
.
ˆ
xx ...,,
следует принять решение в пользу
N
1
H
и H1, т.е. решить – это выборка
0
Hxf или
отношения правдоподобия
и выбор гипотезы H1, если это отно-
0111
NN
F( θx ) не всегда достижимо, и возни-
говорить только, если имеется уве-
θ=θ
θ
0
F(
1мп
H
, если ниже его.
0
) неизвестно. Если ос-
θx
11
)
является
xxL ...,,maxarg
N
Hxf , лучшей
1
непараметриче-
θ=θ
xxfxxL ...,,...,,
NN
107
тод интерпретации статистик как функционалов от оценок распределений. Этот метод основан на двух следующих идеях. Во-первых, всякая (или почти всякая) статистическая задача может быть сведена к
выбору значения некоторого функционала
пределения
F(x) (главной трудностью этого метода является построе-
J(F) от неизвестного рас-
ние функционала, содержащего всю априорную информацию, имеющуюся в постановке задачи [10]. Например, в задачах сравнения двух
распределений необходимо построить удачную меру их различия
J(F, G)). Во-вторых, оценку интересующего нас функционала (т.е. вы-
бор альтернативы) предполагается получать, подставляя в него вместо
неизвестных распределений их непараметрические (т.е. не использующие знание их функционального вида) оценки этих распределений.
Хотя при этом можно использовать разные оценки одного и того же
распределения, что позволяет иметь несколько процедур
решения одной задачи, сами процедуры часто возможно сравнивать теоретически
и решать, в каких условиях одна лучше другой.
Все же полный отказ от знания распределений выглядит как чересчур сильная реакция на слишком жесткие требования параметрической статистики. Существует множество практических ситуаций, в которых мы не знаем распределения точно, но
знаем его приблизительно.
В таких случаях применение непараметрических процедур равносильно отказу от этой хотя и неточной, но правильной и поэтому полезной
информации. В последние годы развивается новая ветвь математической статистики, соответствующая такому уровню априорной информации, –
робастная статистика [42]. Ее основная идея состоит в том,
чтобы несколько поступиться оптимальностью на точно задаваемом
опорном распределении, но зато обеспечить некоторый гарантированный уровень качества решения на всех других распределениях, лежащих в окрестности опорного решения. Математическая сторона этого
вопроса связана с теорией непрерывности и дифференцируемости
функционалов от распределений и требует соответствующих
знаний,
но в ряде случаев получаемые алгоритмы легко воспринимаются и на
уровне здравого смысла. Например, для получения робастных оценок
среднего рекомендуется вычислять среднее арифметическое, отбросив
из выборки самое большое и самое малое наблюдения. Именно так и
поступают при определении средней урожайности за несколько лет;
аналогично начисляют баллы в фигурном катании. Конечно
, это простейший случай, когда требуется обеспечить устойчивость к случайным и не относящимся к делу отклонениям, таким как субъективное
оценивание или нетипичные погодные условия. Теория робастных
процедур дает рекомендации и в более сложных условиях [42]. Еще
один вариант, при котором распределения изначально считаются задаваемыми интервалами, а не точными значениями,
только начал разви-
ваться.
108
5.5.4. ПРАВИЛА «СТАТИСТИЧЕСКОЙ БЕЗОПАСНОСТИ»
В предыдущих параграфах установлено, что любой вариант задачи выбора сопряжен со сложностями, парадоксами, «ловушками» и
опасностями, когда теоретические методы применяются на практике.
Не является исключением и выбор в условиях статистической неопределенности. Неудачное или неправильное применение статистических
методов к решению реальных проблем дало повод к появлению довольно зловещей шутки
ложь и статистика».
Причины неправильного применения статистических методов
немногочисленны, и их знание совершенно необходимо. Перечень условий, связанных с отрицательными последствиями использования
статистических решений, можно рассматривать как своего рода «инструкцию по технике статистической безопасности».
Статистический вывод по своей природе случаен, он может
1.
иметь высокую надежность и точность, но почти никогда не может
быть абсолютно достоверным
ся, каждая процедура сопровождается характеристикой ее качества:
оценка параметра имеет фиксированную точность (задаваемую, например, дисперсией); принятие одной из гипотез связано с вероятностями ошибок, сообщаемыми пользователю заранее. Когда необходимо ужесточить требования к качеству, это обычно можно сделать увеличивая объем выборки.
ошибочным, но мы можем варьировать характеристики этих ошибок
(в пределах наличных ресурсов).
Качество решения на выходе статистической процедуры за-
2.
висит от того, что подается на ее вход
Известны случаи, когда проспавший лаборант утром сам сочинял
«протокол» ночных наблюдений и измерений; когда в таблицы и про-
токолы вносились «поправки», угодные лицу, не заинтересованному в
истине, и т.д. Ясно, что статистическая обработка таких «данных» выдаст некий результат, но стоит ли обвинять статистику в его качестве?
Следующий, более сложный случай – добросовестное заблуж-
3.
дение относительно статистичности серии наблюдений, когда этого
на самом деле нет
статистической обработке подвергались данные, вообще не имеющие
статистической природы. Иногда этот факт трудно проверить, особенно при небольших объемах выборки. Этому моменту следует уделять
специальное внимание при организации экспериментов, а при малейшем сомнении не полагаться на «паспортные» характеристики качества процедуры, относиться к результатам
вочным данным, как к поводу для дальнейших исследований.
: «Есть три вида лжи – просто ложь, наглая
. В статистике этот факт и не скрывает-
Итак, статистический вывод может быть
.
. Тутубалин [39] приводит много примеров, когда
обработки как к ориентиро-
109
4. Утрата ожидаемого качества статистических решений может
следствием использования процедуры, не соответствующей дей-
быть
ствительному уровню априорной информации
(например, применение
дисперсионного анализа к негауссовым данным). Если «действительный» уровень априорной информации не очень ясен, то полезно обработать данные несколькими способами. Расхождение выводов должно
стать сигналом к поиску причин расхождения. Следует остерегаться
принимать решение «голосованием процедур», так как опасность
нетранзитивности (см. 5.3) – свойство голосования вообще, а не только
голосования
людей.
Нарушение априорных предположений может происходить довольно неожиданным образом. Поучителен пример из реальной жизни:
непараметрическая процедура классификации была «обучена» эффективно распознавать нефтяные слои от водяных по геофизическим данным одного месторождения. Внедренная на другом, соседнем месторождении нефти программа стала давать слишком большие вероятности ошибок распознавания: непараметричность процедуры
не означает, что на выборках из другого распределения она сохранит те же
свойства.
5. Причиной необоснованных претензий к статистике может
служить
тистического вывода
неверная содержательная интерпретация правильного ста-
. Например, одно из английских статистических
исследований прошлого века установило, что здоровье людей, носящих котелки, значимо лучше здоровья мужчин в кепках; в другом случае оказалось, что главным фактором, влияющим на различие в урожайности клевера в соседних деревнях, было... число старых дев. Таким (и подобным) правильным выводам можно
придать совершенно
разный смысл. (Кстати, оказалось, что английские старые девы держат
по нескольку кошек, а мыши любят разорять гнезда шмелей – основных опылителей клевера.) Действительные причины обнаруженной
статистической связи могут оставаться неясными. Например, новосибирские статистики установили очень сильную статистическую связь
между урожайностью зерна в данном году и яйценоскостью кур. Ин
-
терпретация зависимостей лежит вне статистики, и за неправильную
интерпретацию нельзя осуждать саму статистику.
Несмотря на все предосторожности, как и в любой практической
деятельности, в статистической практике возможны нарушения правил
безопасности и неизбежны связанные с этим потери. Видимо, именно
поэтому юристы одной крупной фирмы, поставляющей очень развитую программную систему для
статистического анализа на ЭВМ,
включили в договор о поставке этой системы пункт о том, что «фирма
не несет ответственности за возможный ущерб от использования данной системы».
110
Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]