3.1. Задачи обработки.
В зависимости от целей экспертного оценивания и метода учета экспертных оценок возникают следующие основные задачи:
построение обобщенной оценки понятий и объектов на основе индивидуальных оценок экспертов;
построение обобщенной оценки на основе парного сравнения объектов каждым из экспертов;
определение относительных весов взаимосвязи объектов;
определение зависимостей между ранжировками;
определение согласованности мнений экспертов;
оценка надежности обработки результатов.
При решении многих задач недостаточно упорядочения объектов по одному или группе показателей. Необходимо иметь числовые значения для каждого объекта, определяющие его предпочтение перед другими объектами. Наличие таких оценок позволит определить обобщенную оценку для всей группы экспертов.
Определение согласованности мнений экспертов производится путем вычисления числовой меры, характеризующей степень близости индивидуальных мнений. Анализ значения меры согласования способствует выработке правильного суждения об общем уровне знаний по решаемой проблеме и выявлению группировок мнений экспертов.
Обработка экспертных оценок позволяет вскрыть связанные показатели сравнения и осуществить группировку по степени связи. Так, например, если показатели сравнения - различные цели, а объекты сравнения - средства достижения этих целей, то установление взаимосвязи между ранжировками, упорядочивающими средства с точки зрения достижения целей, позволяет обоснованно ответить на вопрос: "в какой степени достижение одной цели при данных средствах способствует достижению других целей" (то есть установить причинно-следственную связь).
Методы проведения сложных экспертиз.
Методы типа «Дельфи»
Методы типа «Дельфи» – итеративная процедура при проведении мозговой атаки с использованием обратной связи посредством ознакомления экспертов с результатами предшествующего тура.
Сущность этого метода заключается в проведении экспертного опроса в несколько туров (обычно 3-4 тура) с использованием обратной связи - ознакомление экспертов с результатами предшествующего тура опроса и учет этих результатов при оценке значимости мнений экспертов. Метод предполагает предварительное ознакомление привлекаемых экспертов с ситуацией.
Так, в упрощенном виде организуется последовательность циклов мозговой атаки. В более сложном варианте разрабатывается программа последовательных индивидуальных опросов с использованием методов анкетирования, исключающих контакты между экспертами, но предусматривающих ознакомление их с мнениями друг друга между турами
Метод Дельфи характеризуется:
анонимностью мнений экспертов,
регулируемой обработкой информации организационной (аналитической) группой, получаемой в несколько туров,
групповым прогнозом, отражающим обобщенное мнение группы экспертов.
В результате использования метода Дельфи должен появиться список идей с их оценками и характеристиками.
Достоинства метода: -позволяет вырабатывать независимого мнения группы; -обеспечивает объективное изучение проблем, требующих оценку.
Недостатки метода: - чрезмерная объективность метода; - необходимость достаточно длительного времени и организационных сил.