7. Экспертная и нечеткая квалиметрии. Теория экспертных методов квалиметрии.

Экспертная квалиметрия, в основе которой лежат методы теории экспертных оценок, в настоящее время получила наибольшее распространение при оценке качества сложных объектов. Для ситуации, для которой применяется методы экспертной квалиметрии и теории экспертных оценок, характерно наличие субъективных показателей, по которым объект оценивается специалистом-экспертом. В экспертной квалиметрии используются методы развиваемые теорией экспертных оценок. Применение экспертной квалиметрии, при оценке качества объекта характеризуется ситуацией, описание которой требует привлечение плохоформализуемого опыта или на измерениях на основе органов чувств специалистов-экспертов. Характеристики, по которым оценивается качество объекта, носят субъективный характер, т.е.субъективность восприятия их интенсивности содержит неопределенность, ибо применение методов экспертной квалиметрия в процессе оценки объектов различной природы, часто характеризуются ситуацией, при которой сам алгоритм оценки относится к методам другого типа специальной квалиметрии, а методы экспертной квалиметрии применяются при формировании оценочной системы.

Нечеткая квалиметрия, в основе которой лежат методы, которые включают в себя методы теории экспертных оценок и так же ориентированы на описание состояний объектов сложной природы по ряду причин не получили широкого применения в области оценки качества. В ситуации, когда объект оценки слабо характеризуем, его характеристики носят описательный характер, измерение интенсивности свойств объекта оценки сопровождающее факторами нечеткости и неопределенности целесообразно использовать методы нечеткой квалиметрии.

Методы экспертных оценок - это методы организации работы со специалистами-экспертами и обработки мнений экспертов. Эти мнения обычно выражены частично в количественной, частично в качественной форме. Экспертные исследования проводят с целью подготовки информации для принятия решений ЛПР (напомним, ЛПР – лицо принимающее решение). Для проведения работы по методу экспертных оценок создают Рабочую группу (сокращенно РГ), которая и организует по поручению ЛПР деятельность экспертов, объединенных (формально или по существу) в экспертную комиссию (ЭК).

Экспертные оценки бывают индивидуальные и коллективные. Индивидуальные оценки - это оценки одного специалиста. Например, преподаватель единолично ставит отметку студенту, а врач - диагноз больному. Но в сложных случаях заболевания или угрозе отчисления студента за плохую учебу обращаются к коллективному мнению - симпозиуму врачей или комиссии преподавателей. Аналогичная ситуация - в армии. Обычно командующий принимает решение единолично. Но в сложных и ответственных ситуациях проводят военный совет. Один из наиболее известных примеров такого рода - военный совет 1812 г. в Филях, на котором под председательством М.И. Кутузова решался вопрос: "Давать или не давать французам сражение под Москвой?" Другой простейший пример экспертных оценок - оценка номеров в КВН. Каждый из членов жюри поднимают фанерку со своей оценкой, а технический работник вычисляет среднюю арифметическую оценку, которая и объявляется как коллективное мнение жюри (ниже увидим, что такой подход некорректен с точки зрения теории измерений).В фигурном катании процедура усложняется - перед усреднением отбрасываются самая большая и самая маленькая оценки. Это делается для того, чтобы не было соблазна завысить оценку одной спортсменке (например, соотечественнице) или занизить другой. Такие резко выделяющиеся из общего ряда оценки будут сразу отброшены.

11. Методы эвристического моделирования

Эвристический подход к моделированию используется в современном системном анализе плохо структурированных проблем, основанном на экспертных оценках.

Эвристические модели стали основой ряда методов решения проблем, воплотивших в себя опыт системного анализа сложных задач стратегического планирования и прогнозирования. Большинство из этих методов рождались в связи с решением какой-либо конкретной проблемы, чаще всего на правительственном уровне.

Центральной идеей всех методов является декомпозиция сложных высокоабстрактных вопросов на ряд простых последовательных задач, доступных для понимания и адекватного восприятия экспертом.

Эвристические методы решения проблем можно условно разделить на две категории: матричные и графовые.

Метод прогнозного графа. Разработан в 70-х годах ХХ века авторским коллективом во главе с В.М. Глушковым и предназначен для прогнозирования и планирования научных и технических работ на основе так называемого государственного графа прогнозирования решения научно-технических проблем.

Конечная цель

Процедура построения графа представляет собой «развертку» некоторой проблемы (рис.8) из будущего в настоящее с определением ожидаемых и необходимых для ее решения промежуточных событий и причинно-следственных связей между ними.

Рис.8. Фрагмент прогнозного графа

В экспертизе могут участвовать сотни экспертов, выдвигающих последовательно научно-технические условия достижения определенного уровня целей.

Фиксация каждого из событий графа сопровождается системой количественных оценок:

- ожидаемое время свершения j-того события;

- относительная вероятность перехода за время t от i-того события к j – тому событию;

- стоимость реализации указанного шага;

- относительная значимость i – того события для свершения j-того события;

На основании полученной информации рассчитываются абсолютные вероятности Р и сроки t свершения целевых событий.

В общем случае для достижения конечной цели может существовать несколько альтернативных планов. Планом является подграф прогнозного графа. Чтобы сократить число альтернативных вариантов, на множестве планов вводится расстояния. Близость планов и может определяться по формуле:

Где - число общих целей и число различных целей в планах и .

Если варианты планов близки, то можно попытаться прийти к единому варианту.

Построение прогнозного графа завершается, когда эксперты доходят до уровня событий, для реализации которых нет необходимости проводить дополнительные исследования. Такие события - существующие или находящиеся в стадии завершения научные проектные разработки, патенты, лицензии и др. – составляют нижний уровень графа.

Прогнозные графы использовались при создании средств обработки информации и для оценки перспектив развития вычислительной техники.

Метод решающих матриц. Предложен в 1966 году Г.С.Поспеловым и использовался при планировании средств на фундаментальные исследования.

Для решения проблемы предлагалось выделить основные цели исследований, указать их относительные веса α₁,…, α_n, (веса должны быть пронормированы α₁,+…,+ α_n,=100) и перечислить опытно конструкторские работы (β₁,…, β _m,), прикладные (γ₁,…, γ _k) и фундаментальные исследования (δ₁,…, δ _l), необходимые для достижения этих целей (рис.5).

Рис.5. Иерархия исследований, работ и целей

Следует учесть, что опытно – конструкторские разработки могут служить нескольким целям. В методе решающих матриц эксперт должен указать относительную значимость каждой опытно – конструкторской работы для достижения различных целей, т.е. построить решающую матрицу 1;

где - значимость опытно-конструкторской работы β_i для достижения цели α_j, (относительные значимости работы β_i должны быть пронормированы):

Используя решающую матрицу , можно для заданных α₁,…, α_n, получить относительные веса опытно-конструкторских работ:

Аналогично составляется вторая решающая матрица , характеризующая значимость различных направлений прикладных исследований для обеспечения опытно-конструкторских работ.

На основании известных весов β_i и решающей матрицы вычисляются относительные веса прикладных исследований γ_i.

Затем составляется третья решающая матрица , характеризующая относительную важность фундаментальных исследований, необходимых для завершения соответствующих прикладных разработок и вычисляются относительные веса фундаментальных исследований δ_i.

12. Существует масса методов получения экспертных оценок. В одних с каждым экспертом работают отдельно, он даже не знает, кто еще является экспертом, а потому высказывает свое мнение независимо от авторитетов, "кланов" и отдельных коллег. В других экспертов собирают вместе для подготовки материалов для ЛПР, при этом эксперты обсуждают проблему друг с другом, принимают или отвергают аргументы друг друга, учатся друг у друга, и неверные или недостаточно обоснованные мнения отбрасываются. В одних методах число экспертов фиксировано и таково, чтобы статистические методы проверки согласованности мнений и затем (в случае достаточно хорошей согласованности мнений) их усреднения позволяли принимать обоснованные решения с точки зрения эконометрики. В других - число экспертов растет в процессе проведения экспертизы, например, при использовании метода "снежного кома" для формирования команды экспертов. 

 В настоящее время не существует общепринятой научно обоснованной классификации методов экспертных оценок и тем более - однозначных рекомендаций по их применению. Попытка силой утвердить одну из возможных точек зрения на классификацию методов экспертных оценок может принести лишь вред.

Несколько в стороне от основного русла экспертных оценок лежит метод сценариев, применяемый прежде всего для экспертного прогнозирования. Рассмотрим основные идеи технологии сценарных экспертных прогнозов. Экологическое или социально-экономическое прогнозирование, как и любое прогнозирование вообще, может быть успешным лишь при некоторой стабильности условий. Однако решения органов власти, отдельных лиц, иные события меняют условия, и события развиваются по-иному, чем ранее предполагалось. Вполне очевидно, что после первого тура президентских выборов 1996 г. о дальнейшем развитии событий можно было говорить лишь в терминах сценариев: если во втором туре победит Б.Н. Ельцин, то будет то-то и то-то, если же победит Г.А. Зюганов, то события пойдут так-то и так-то.

  Метод сценариев необходим не только в социально-экономической или экологической области. Например, при разработке методологического, программного и информационного обеспечения анализа риска химико-технологических проектов необходимо составить детальный каталог сценариев аварий, связанных с утечками токсических химических веществ. Каждый из таких сценариев описывает аварию своего типа, со своим индивидуальным происхождением, развитием, последствиями, возможностями предупреждения.

 Таким образом, метод сценариев - это метод декомпозиции задачи прогнозирования, предусматривающий выделение набора отдельных вариантов развития событий (сценариев), в совокупности охватывающих все возможные варианты развития. При этом каждый отдельный сценарий должен допускать возможность достаточно точного прогнозирования, а общее число сценариев должно быть обозримо.

 Возможность подобной декомпозиции не очевидна. При применении метода сценариев необходимо осуществить два этапа исследования:

 - построение исчерпывающего, но обозримого набора сценариев;

 - прогнозирование в рамках каждого конкретного сценария с целью получения ответов на интересующие исследователя вопросы.

 Каждый из этих этапов лишь частично формализуем. Существенная часть рассуждений проводится на качественном уровне, как это принято в общественно-экономических и гуманитарных науках. Одна из причин заключается в том, что стремление к излишней формализации и математизации приводит кискусственному внесению определенности там, где ее нет по существу, либо к использованию громоздкого математического аппарата. Так, рассуждения на словесном уровне считаются доказательными в большинстве ситуаций, в то время как попытка уточнить смысл используемых слов с помощью, например, теории нечетких множеств приводит к весьма громоздким математическим моделям.

  Набор сценариев должен быть обозрим. Приходится исключать различные маловероятные события - прилет инопланетян, падение астероида, массовые эпидемии ранее неизвестных болезней, и т.д. Само по себе создание набора сценариев - предмет экспертного исследования. Кроме того, эксперты могут оценить вероятности реализации того или иного сценария. 

 Прогнозирование в рамках каждого конкретного сценария с целью получения ответов на интересующие исследователя вопросы также осуществляется в соответствии с описанной выше методологией прогнозирования. При стабильных условиях могут быть применены статистические методы прогнозирования временных рядов. Однако этому предшествует анализ с помощью экспертов, причем зачастую прогнозирование на словесном уровне является достаточным (для получения интересующих исследователя и ЛПР выводов) и не требующим количественного уточнения. 

Как известно, при принятии решений на основе анализа ситуации (как говорят, при ситуационном анализе), в том числе анализе результатов прогнозных исследований, можно исходить из различных критериев. Так, можно ориентироваться на то, что ситуация сложится наихудшим, или наилучшим, или средним (в каком-либо смысле) образом. Можно попытаться наметить мероприятия, обеспечивающие минимально допустимые полезные результаты при любом варианте развития ситуации, и т.д.