26. Основные понятия об экспертных оценках (метод комиссий, метод суда, метод сценария, метод «Дельфи»)

Эксперт – высококвалифицированный специалист, носитель специальных знаний и/или практического опыта. Подбор экспертов – это отдельная самостоятельная задача.

Группы методов оценки качества экспертов:

1. Априорные. Не используется информация о результатах его участия в предыдущих экспертизах. Методы: самооценка, взаимные оценки, анкетирование.

2. Апостериальные оценки. Используется информация о результатах работы предыдущих опросов. оценивается критерий достоверности (относительная частота случаев, когда прогнозы экспертов сбылись). Коэффициент отклонения от результирующей групповой оценки.

3. Тестовый метод оценки. Эксперты выполняют тесты, которые позволяют оценить: уровень профессиональной подготовки, навыки, опыт.

4. Воспроизводимость экспертных оценок. Эксперт выполняет один и тот же тест как минимум дважды. При этом, время между тестами должно быть таково, что результаты первого теста должны быть наилучшими.

Задачи экспертных оценок:

1. Определение цели.

2. Генерирование альтернативных вариантов достижения цели. Цель одна, вариантов её достижения может быть несколько.

3. Сценарий ожидаемого развития событий.

4. Экспертный прогноз. Количественные и качественные показатели состояния объекта через некоторый промежуток времени.

5. Рейтинговые оценки банков, компаний и тд.

6. Принятие коллективных решений.

Экспертизы классифицируют:

1. Однотуровые и многотуровые.

2. Анонимные и с обменом мнений.

3. С обменом информацией и без обмена.

4. Групповые и индивидуальные.

Методы экспертных оценок:

I. Метод комиссии (круглого стола). Решение принимается при свободном обмене мнениями. Решение может быть принято в открытую или тайным голосованием.

Преимущества: возможен рост информированности экспертов при обсуждении экспертных оценок; обратная связь, то есть эксперт может менять свою первоначальную точку зрения вследствие получения новой информации.

Недостатки: нет анонимности; конформизм; дискуссия может превратиться в обмен мнениями наиболее авторитетных экспертов; активность экспертов может не соответствовать их квалификации; несоответствие должности и квалификации, то есть должность доминирует над проблемой; трудность публичного отказа от ранее принятого решения.

II. Метод суда. Эксперты делятся на две группы. Одна является сторонником альтернативного решения, а другая – противником. В процессе обсуждения находятся сильные и слабые стороны решения.

III. Метод сценария. Сценарий – модель будущего, которая описывает возможный ход событий с указанием вероятностей их реализации. Сценарий указывает основные факторы, которые должны быть приняты во внимание, и как они могут повлиять на предполагаемое событие.

Особенности: составляют как правило несколько альтернативных сценариев; наиболее вероятный применяется в качестве базового; другие варианты рассматриваются как альтернативные и принимаются во внимание в том случае, если они начинают реализовываться, а не базовый сценарий; разработка сценариев позволяет выявить потенциальные опасности или угрозы и неблагоприятные варианты развития событий; позволяет выявить благоприятные ситуации и соответствующие направления деятельности; повышается адаптация к изменяющейся среде.

IV. Метод Дельфи. Название метода происходит от названия горы «Дельфы», на которой делались предсказания. Метод разработан в 60-х годах в США при прогнозировании развития аэрокосмической техники.

Характеристики метода:

1. Многотуровый, как правило 4 тура.

2. Метод групповой экспертизы.

3. Применяется при отсутствии конкретных количественных данных, их метод сбора затруднителен и дорог.

4. Мнение эксперта анонимно.

5. Есть обратная связь. Эксперт может поменять первоначальное мнение.

6. Возможен учет «особого» мнения.

Экспертам выдается анкета, содержащая цель экспертизы, имеющиеся сведения, возможна аналитическая записка. Эксперты дают ответы. Аналитическая группа обрабатывает результаты экспертов, до экспертов доводятся особые мнения.

1. Ответы экспертов ранжируются (сортируются);

2. Определяется коэффициент вариации.

3. Определяется медиана ответов. Средний ответ в ранжированном ряде ответов. Если количество ответов четно, берется средняя двух ответов в середине ранжируемого ряда.

4. Определяются «квинтели». Четвертая часть ответов, имеющих наименьшее значение (0,25). Четверть ответов, имеющих наибольшее значение (0,75).

Недостатки метода: оценка, сильно отличающаяся от других оценок, практически не учитывается, она может быть не верной, так как большинство экспертов могут ошибаться; ситуация может быть улучшена, если эксперт даст хорошее обоснование; противоречие между сложной формулировкой задачи и необходимостью её лаконичного представления; оценка высококвалифицированных экспертов нивелируется (усредняется) оценками менее квалифицированных экспертов.