44. Какие методы относятся к методам экспертных оценок?

Эти методы наиболее часто используются в практике оценивания сложных систем на качественном уровне. Предполагается, что мнение группы экспертов более точно, чем мнение одного эксперта.

Все множество проблем, решаемых методами экспертных оценок, делится на два класса. К первому относятся такие, в отношении которых имеется достаточное обеспечение информацией. Здесь получается, что групповое мнение экспертов близко к истинному решению. Ко второму классу относятся проблемы, в отношении которых знаний для уверенности и справедливости указанных гипотез недостаточно. В этом случае необходимо осторожно подходить к обработке результатов экспертизы.

Тип используемых процедур экспертизы зависит от задачи оценивания. Наиболее употребительные процедуры:

• ранжирование

• парное сравнение

• множественные сравнения

• непосредственная оценка

• метод фон Неймана-Моргенштерна

• метод Черчмена-Акоффа

Целесообразность применения того или иного метода определяется во многом характером анализируемой информации. Например, если оправданы лишь качественные оценки объектов по некоторым качественным признакам, то используются методы ранжирования, парного множественного сравнения.

Ранжирование. Это процедура упорядочения объектов, выполняемая экспертом. На основе знаний и опыта он располагает объекты в порядке предпочтения по одному или нескольким выбранным показателям сравнения. Ранги объектов определяют только порядок расположения объектов по показателям сравнения. Как числа они не дают сделать вывод о том, на сколько и во сколько раз предпочтительнее один объект перед другим.

Достоинство: простота осуществления процедур, не требующая трудоемкого обучения экспертов.

Недостаток: практическая невозможность упорядочения большого количества объектов.

Парное сравнение. Это процедура установления предпочтения объектов при сравнении всех возможных пар. Происходит измерение по порядковой шкале.

Множественные сравнения. Они отличаются от парных тем, что экспертам последовательно предъявляются не пары, а тройки, четверки и т. д. объектов. Эксперт их упорядочивает по важности или разбивает на классы в зависимости от целей экспертизы.

Непосредственная оценка. Объектам присваиваются числовые значения в шкале интервалов. Эксперту необходимо поставить в соответствие каждому объекту точку на определенном отрезке числовой оси. При этом необходимо, чтобы эквивалентным объектам приписывались одинаковые числа.

При проведении экспертных оценок надо учитывать:

• проблемы формирования экспертных групп, включая требования к экспертам, размеры группы, вопросы тренировки экспертов, оценки их компетентности;

• формы экспертного опроса (разного рода анкетирования, интервью, смешанные формы опроса);

• методики организации опроса (методики анкетирования, мозговая атака, деловые игры и т.п.);

• подходы к оцениванию (ранжирование, нормирование, различные виды упорядочения, в т. ч. методы предпочтений, попарных сравнений и др.);

• методы обработки экспертных оценок;

• способы определения согласованности мнений экспертов, достоверности экспертных оценок (статистические методы оценки дисперсии, оценки вероятности для заданного диапазона изменений оценок, оценки ранговой корреляции Кендалла, Спирмена, коэффициента конкордации и т.п.);

• методы повышения согласованности оценок путем соответствующих способов обработки результатов экспертного опроса.

При обработке экспертных оценок применяется обычно метод согласования оценок, который имеет много вариантов, различающихся способами, при помощи которых из индивидуальных оценок получается обобщенная. При этом используются также различные методы согласования оценок: от простейших, путем получения средней вероятности или средневзвешенного значения вероятности, до специальных методов оценки измерения и повышения коэффициентов согласованной.