3. Характеристика и режимы работы группы экспертов.

Основными характеристиками группы экспертов является достоверность экспертизы и затраты на нее. Обе эти характеристики определяют количество экспертов в группе и их качество.

Наряду с компетентностью, каждый из экспертов может характеризоваться достоверностью его суждений. Эта характеристика определяется на основе информации о прошлом опыте его участия в решении проблем. Количественно достоверность эксперта оценивают по формуле:

где – число опросов, когда эксперт дал приемлемое практикой решение, – общее число случаев участияi-ого эксперта в экспертизе.

Можно также учесть вклад каждого эксперта в достоверность всей группы. Относительная достоверность выражается в виде:

,

где m– число экспертов в группе, а в знаменателе – средняя достоверность группы экспертов.

Для решения проблем с высоким уровнем информационного потенциала знаний, увеличение количества экспертов в группе приводит, как это следует из теории обработки наблюдений, к монотонному возрастанию достоверности экспертизы. Экспериментальные исследования подтверждают эту зависимость (рис.6).

Рис.6. Достоверность экспертизы от количества экспертов

Опрос – основной этап совместной работы группы экспертов. При коллективной экспертизе используются следующие виды опроса:

• дискуссия;

• анкетирование и интервьюирование;

• метод коллективной генерации идей;

• мозговой штурм.

Результатом опроса является информация, выражающая предпочтение экспертов и содержательное обоснование этих предпочтений. Наличие как числовых данных, так и содержательных высказываний экспертов, приводит к необходимости применения качественных и количественных методов обработки результатов группового экспертного оценивания.

Лекция 3

2.3 Обработка экспертных оценок.

2.3.1 Задачи обработки.

В зависимости от целей экспертного оценивания и метода учета экспертных оценок возникают следующие основные задачи:

1. построение обобщенной оценки понятий и объектов на основе индивидуальных оценок экспертов;

2. построение обобщенной оценки на основе парного сравнения объектов каждым из экспертов;

3. определение относительных весов взаимосвязи объектов;

4. определение зависимостей между ранжировками;

5. определение согласованности мнений экспертов;

6. оценка надежности обработки результатов.

При решении многих задач недостаточно упорядочения объектов по одному или группе показателей. Необходимо иметь числовые значения для каждого объекта, определяющие его предпочтение перед другими объектами. Наличие таких оценок позволит определить обобщенную оценку для всей группы экспертов.

Определение согласованности мнений экспертов производится путем вычисления числовой меры, характеризующей степень близости индивидуальных мнений. Анализ значениямеры согласованияспособствует выработке правильного суждения об общем уровне знаний по решаемой проблеме и выявлению группировок мнений экспертов.

Обработка экспертных оценок позволяет вскрыть связанные показатели сравнения и осуществить группировку по степени связи. Так, например, если показатели сравнения – различные цели, а объекты сравнения – средства достижения этих целей, то установление взаимосвязи между ранжировками, упорядочивающими средства с точки зрения достижения целей, позволяет обоснованно ответить на вопрос: "в какой степени достижение одной цели при данных средствах способствует достижению других целей" (то есть установить причинно-следственную связь).

Оценки, получаемые на основе обработки, представляют собой случайные объекты, поэтому одной из важнейших задач процедуры обработки является определение их надежности.