8. Экспертные методы в системном анализе.

8.1. Место и роль экспертных методов в системных иссследованиях.

Группа методов экспертных оценок наиболее часто используется в практике оценивания сложных систем на качественном уровне. Термин "эксперт" происходит от латинского слова expert - "опытный".

При использовании экспертных оценок обычно предполагается, что мнение группы экспертов надежнее, чем мнение отдельного эксперта. В некоторых теоретических исследованиях отмечается, что это предположение не является очевидным, но одновременно утверждается, что при соблюдении определенных требований в большинстве случаев групповые оценки надежнее индивидуальных. К числу таких требований относятся: распределение оценок, полученных от экспертов, должно быть "гладким"; две групповые оценки, данные двумя одинаковыми подгруппами, выбранными случайным образом, должны быть близки.

Все множество проблем, решаемых методами экспертных оценок, делится на два класса. К первому классу относятся такие, в отношении которых имеется достаточное обеспечение информацией. При этом методы опроса и обработки основываются на использовании принципа "хорошего измерителя", т.е. эксперт источник достоверной информации; групповое мнение экспертов близко к истинному решению. Ко второму классу относятся проблемы, в отношении которых знаний для уверенности и справедливости указанных гипотез недостаточно. В этом случае экспертов нельзя рассматривать как "хороших измерителей" и необходимо осторожно подходить к обработке результатов экспертизы.

Экспертные оценки несут в себе как узкосубъективные черты, присущие каждому эксперту, так и коллективно-субъективые, присущие коллегии экспертов. И если первые устраняются в процессе обработки индивидуальных экспертных оценок, то вторые не исчезают, какие бы способы обработки не применялись.

Этапы экспертизы формирование цели, разработка процедуры экспертизы, формирование группы экспертов, опрос, анализ и обработка информации.

При формулировке цели экспертизы разработчик должен выработать четкое представление о том, кем и для каких целей будут использованы результаты.

При обработке материалов коллективной экспертной оценки используются методы теории ранговой корреляции. Для количественной оценки степени согласованности мнений экспертов применяется коэффициент конкордации W, который позволяет оценить, насколько согласованы между собой ряды предпочтительности, построенные каждым экспертом. Его значение находится в пределах 0 ≤ W ≤ 1, где W = 0означает полную противоположность, a W = 1 - полное совпадение ранжировок. Практически достоверность считается хорошей, если W - 0,7-0,8.

Небольшое значение коэффициента конкордации, свидетельствующее о слабой согласованности мнений экспертов, является следствием того, что в рассматриваемой совокупности экспертов действительно отсутствует общность мнений или внутри рассматриваемой совокупности экспертов существуют группы с высокой согласованностью мнений, однако обобщенные мнения таких групп противоположны.

Для наглядности представления о степени согласованности мнений двух любых экспертов А и В служит коэффициент парной ранговой корреляции ρ, он принимает значения -1 ≤ ρ ≤ +1. Значение ρ = +1 соответствует полному совпадению оценок в рангах двух экспертов (полная согласованность мнений двух экспертов), а значение ρ = -1 -двум взаимно противоположным ранжировкам важности свойств (мнение одного эксперта противоположно мнению другого).

Сущность метода экспертных оценок заключается в проведении экспериментами интуитивно - логического анализа проблемы, с количественной оценкой суждений и формальной обработкой результатов. Полученное в результате обработки обобщенное мнение экспертов принимается как решение проблемы. Комплексное использование интуиции (неосознанного мышления), логического мышления и количественных оценок с их формальной обработкой позволяет получить эффективное решение проблемы.

Метод экспертных оценок используется для решения различных сложных неформализуемых проблем. Все множество плохо формализуемых проблем можно условно разделить на два класса.

К первому классу относятся проблемы, в отношении которых имеется достаточный информационный потенциал, позволяющий успешно решать эти проблемы. Основные трудности в решении проблем первого класса при экспертной оценки заключаются в реализации существующего информационного потенциала путем подбора экспертов, построения рациональных процедур опроса и применения оптимальных методов обработки его результатов. При этом метод опроса и обработки основывается на использовании "хорошего измерителя". Это означает, что выполняются следующие условия:

эксперт располагает большим объемом рационально обработанной информации, и поэтому он может рассматриваться как качественный источник информации (своего рода "информационный измеритель с небольшими погрешностями");

групповое мнение экспертов близко к истинному решению проблемы.

Если эти условия выполнятся, то для построения процедур опроса и алгоритмов обработки можно использовать теорию измерений и математическую статистику.

Ко второму классу относятся проблемы, в отношении которых информационный потенциал знаний недостаточен для выполнения указанных условий. При рении проблем этого класса экспертов уже нельзя рассматривать как "хороших измерителей". Поэтому необходимо очень осторожно проводить обработку результатов экспертизы. Применение методов осреднения, справедливых для "хороших измерителей", в данном случае может привести к большим ошибкам. Например, мнение одного эксперта, сильно отличающееся от мнения остальных экспертов, может оказаться правильным. В связи с этим для проблем второго класса в основном должна применяться качественная обработка.

Область применения метода экспертных оценок обширна и охватывает неформализуемые проблемы первого и второго классов. Перечислим типовые задачи, решаемые методом экспертных оценок:

- составление перечня возможных событий в различных областях за определенный промежуток времени;

- определение наиболее вероятных интервалов времени наступления совокупности событий;

- определение целей и задач управления, с упорядочением их по степени важности;

- определение альтернативных вариантов решения задачи, с оценкой их предпочтения;

- альтернативное распределение ресурсов для решения задач, с оценкой их предпочтительности;

- альтернативные варианты принятия решений в определенной ситуации, с оценкой их предпочтительности.

Можно ориентировочно наметить следующие основные этапы проведения экспертизы, последовательность и содержание которых будут изменяться в зависимости от реальных условий и ограничений:

- формулирование цели экспертизы;

- формирование группы специалистов-аналитиков;

- отбор и формирование группы экспертов;

- проведение опроса;

- анализ и обработка информации экспертов;

- синтез объективной информации и информации, полученной в результате экспертизы, с целью приведения их в форму, удобную для принятия решения.

Объединим некоторые этапы и более подробно остановимся на подготовке, подборе и опросе экспертов,.

Подготовка экспертизы

К подготовке экспертизы относится первые три этапа проведения экспертизы. Большое значение имеет четкое определение цели (целей) экспертизы.

Основой для выбора целей экспертизы является описании предыстории и текущего состояния проблемы. Выбор целей и характер экспертизы в значительной степени определяются существом проблемы, предполагаемыми конечными результатами и возможными способами их представления.

После определения цели (целей) экспертизы формируется группа специалистов-аналитиков, важнейшими задачами которой являются разработка методов опроса, отбор экспертов, проведение опроса, анализ и обобщение информации.

Большой объем, сложность и разнообразие задач, возлагаемых на группу аналитиков, требует включения в ее состав высококвалифицированных специалистов, как в области анализируемой проблемы, так и в смежных областях деятельности, а также специалистов по экспертным методам - математиков, психологов и социологов.

Группа аналитиков, разрабатывая метод опроса, подготавливает перечень (множество) оцениваемых событий и устанавливает совокупность устойчивых факторов, характеризующих эти события.

Задание совокупности факторов зависит от специфики и целей экспертизы и может быть выполнено на разном уровне детализации. Можно наметить следующие уровни:

- качественное описание всего множества оцениваемых событий;

- перечень событий;

- описание устойчивых факторов для каждого из событий;

- выделение числа различимых уровней для каждого события;

- выделение числа различимых уровней для каждого фактора;

- описание набора устойчивых знаний факторов для каждого уровня событий и т.д.

От уровня детализации в существенной степени зависит достоверность результатов экспертизы, причем с увеличением степени детализации согласованность экспертных оценок, как правило, увеличивается.

Сложной проблемой процедуры отбора является формирование системы характеристик эксперта, существенно влияющих на ход и результаты экспертизы. Эти характеристики должны описывать специфические свойства специалиста и возможные отношения межу людьми, влияющие на экспертизу. Для описания экспертов с точки зрения оценки качества решения проблемы вводятся следующие характеристики: компетентность, креативность, конформизм, аналитичность широта мышления, самокритичность др. Перечисленные характеристики в основном оцениваются качественно.

Компетентность - это степень квалификации эксперта в определенной области знаний. Достаточно простой и полной является Методика ГКН, в которой компетентность экспертов оценивается коэффициентом компетенции k. Он вычисляется на основе суждения эксперта о степени своей информативности по решаемой проблеме и указания типовых источников аргументации своих мнений.

Коэффициент компетенции вычисляется по формуле

k = 1/2 (kа + kи),

kа - коэффициент аргументации, получаемый в результате суммирования баллов по эталонной таблице (табл.1);

kи - коэффициент информативности по проблеме, получаемой на основе самооценки эксперта по десятибалльной шкале и умножения этой оценки на 0,1.

Табл.1. Эталонная таблица коэффициентов аргументации

Источники аргументации Степень влияния источника на мнение эксперта

В (высокая) С (средняя) Н (низкая)

Проведенный теоретический анализ 0,3 0,2 0,1

Производственный опыт 0,5 0,4 0,2

Обобщение работ отечественных авторов 0,05 0,05 0,05

Обобщение работ зарубежных авторов 0,05 0,05 0,05

Личное знакомство с состоянием дел

за рубежом 0,05 0,05 0,05

Интуиция эксперта 0,05 0,05 0,05

Эксперту дается таблица без цифр. Он отмечает, какой источник он оценивает по градациям В, С, Н. После наложения таблицы эксперта на эталонную таблицу подсчитывается количество баллов по всем источникам аргументации. При этом, если kа = 1,0, то степень влияния всех источников высокая; если kа = 0,8, то - средняя и, если kа = 0,5, то учитывается низкая степень источников аргументации. Коэффициент компетентности 0 k 1.

Существуют подходы к оценке компетентности, основанные на учете апостериорных данных, т.е. на учете результатов экспертного оценивания.

Креативность - это способность решать творческие задачи. Оценивается на основе суждений, основанных на изучении деятельности эксперта. Конформизм - это подверженность влиянию авторитетов, которая проявляется в неустойчивости собственного мнения. Аналитичность и широта мышления - это способность выходить за рамки сложившихся представлений.

Самокритичность эксперта проявляется при самооценке уровня своей компетенции, а также при принятии решения по рассматриваемой проблеме.

К характеристикам группы экспертов можно отнести: достоверность экспертизы и затраты на нее.

Достоверность экспертизы зависит от количества экспертов в группе и количества экспертов. Экспериментальные данные устанавливают монотонное возрастание достоверности с увеличением количества экспертов в группе.

Достоверность экспертизы существенно зависит от качества экспертов, особенно от их компетентности. Можно утверждать, что достоверность групповой экспертизы есть монотонно возрастающая функция средней групповой самооценки компетентности, которая определяется как среднее арифметическое значение самооценок группы экспертов.

Проведение опроса экспертов

Проведение опроса экспертов (анкетирование) является наиболее эффективным и самым распространенным видом опроса. Анкетирование заключается в заполнении экспертами опросных листов - анкет.

Серьезного внимания требует подбор вопросов (признаков), которые желательно включить в анкету.

Различают три вида вопросов, по которым дается экспертная оценка:

- вопросы, ответы на которые содержат количественную оценку;

- вопросы, требующие содержательного ответа в сжатой форме;

- вопросы, требующие содержательного ответа в развернутой форме.

Пример такой группировки вопросов приведен в табл.2.

Чтобы уточнить содержание анкеты, формулировки вопросов, их последовательность, выяснить, не утомляет ли анкета опрашиваемых, не нужно ли включить дополнительные и исключить "неработающие" вопросы, заменить вопросы, допускающие двойное толкование, проводится ее проверка. Для этого подбираются "разноплановые" эксперты (по стажу работы). Проверка осуществляется в форме личного интервью.

Анкетирование может быть очным и заочным. Недостаток очного анкетирования - возможность влияния анкетирующего руководителя на ответы эксперта. Недостаток заочного анкетирования - в возможности неправильного истолкования вопросов экспертом, затяжки в ответах и т.п. Достоинство заочного анкетирования - простота его организации, возможность привлекать без больших затрат экспертов, живущих в разных городах, и т.п.

Кроме анкет - вопросников, экспертам должна быть дана пояснительная записка, имеющая целью предопросную ориентировку экспертов и содержащая информацию о целях экспертизы, задачах опроса, объектах экспертизы, необходимые организационные сведения и инструкцию по заполнению анкет, в которой проводятся примеры порядка и способа заполнения.

Табл.2. Виды и типы вопросов

Вид вопроса	Тип вопроса	Пример
Вопрос, ответ на который содержит количественную оценку	Оценивающий: время наступления некоторого события вероятность осуществления события количественное  значение прогнозируемой характеристики объекта влияние факторов друг на друга по некоторой шкале	Когда будет создан первый образец объекта? Какова  вероятность того, что к 2002г. будет  создан объект с заданными характеристиками? Каково  будет максимальное значение прогнозируемой характеристики объекта к 2002г.? Оцените по десятибалльной шкале вклад каждой из рассматриваемых теорий в решении проблемы
Вопрос, требующий содержательного ответа в сжатой форме	Вариантный (выбирается альтернатива)	Какой принцип использования объекта является наиболее эффективным для решения поставленной задачи в период с 2002 по 201г.: А, или В, или С, или …? Какие из перечисленных ниже изменений в структуре объекта произойдут, если будет осуществлен принцип А, или В, или С, или …?
Вопрос, требующий содержательного ответа в развернутой форме	Требующий ответа в виде: перечня сведений об объекте перечня аргументов, которые подтверждают тезис, содержащийся в вопросе	Каковы  характерные особенности объекта? Каковы  ваши доводы в пользу целесообразности развития объекта?

Тип используемых процедур экспертизы зависит от задачи оценивания.

К наиболее употребительным процедурам экспертных измерений относятся:

- простое ранжирование;

- парное сравнивание;

- множественные сравнения;

- непосредственная оценка;

- Черчмена-Акоффа;

- метод Терстоуна;

- метод фон Неймана-Моргенштерна.

Целесообразность применения того или иного метода во многом определяется характером анализируемой информации. Если оправданы лишь качественные оценки объектов по некоторым качественным признакам, то используются методы ранжирования, парного и множественного сравнения.