4.3.5. Экспертные опросы

Метод экспертных оценок является опросом.

Область применения:

• для прогнозирования событий будущего, когда отсутствуют статистические данные или их не достаточно

• для количественного измерения таких событий, для которых не существует других способов измерений.

Например:

1. количественная оценка качественных признаков, имеющих различную природу измерения, чтобы привести их к единому измерителю

2. количественная оценка качественных признаков, не имеющих шкалы измерения (уровень дизайна)

3. ранжирование признаков и определение степени важности

4. определение степени вероятности развития ситуации по тому или другому сценарию наступления события

ГОСТ 23554.079 «Экспертные методы оценки качества промышленной продукции. Основные положения ГОСТ 23554.1-79 «II-II-II. Организация проведение экспертной оценки» ГОСТ 23554.2-79 «II-II-II. Обработка значений экспертных оценок».

Госты ликвидированы.

Недостатки экспертных методов:

1. нет гарантии в достоверности оценок

2. имеются большие трудности в обработке

Все существующие способы определения достоверности экспертных оценок основаны на предположении, что в случае согласности действий экспертов достоверность оценок гарантируется.

Классификация методов экспертных оценок.

1. Очные и заочные.

индивидуальные:

• аналитич. докладных записок

• анкетирование

• интервью

групповые:

• выявление коллективного мнения

• могут быть: очными, заочными, методами с прямой оценкой, оценкой с обратной связью

Очные с прямой оценкой – экспертные комиссии, круглый стол, когда вырабатывается единое общее мнение экспертов присутствующих за общим столом, открытое обсуждение вопросов с последующим открытым или закрытым голосованием.

Плюсы:

• возможность обмена мнениями

• мало времени проведения

• не сложное

Минусы:

• возможное влияние авторитетов и подавление ими других мнений

2. метод отнесенной оценки – свободное высказывание экспертов, как можно большего числа оценок, недопущение ни какой критики.

Цель генерация идей.

3. метод деструктивной отнесенной оценки. Суть - интеграция 2х процессов: генерация идеи и их разрушение

   • генерация идеи (см. метод 2)

   • деструкция идеи – идея оценивается и на практике реализуется, подвергается всесторонней критике.

1 метод - запрещается критика

2 метод – запрещены доводы

«+» исключаются компромиссы

4. многоуровневые коллективные оценки в основе метода процедура выборки коллективного метода по количественным вопросам на базе обработки результатов последующего многоуровнего анкетирования мнения экспертов.

«Метод дэльфийского оракула»

Прямое обсуждение заменяется обменом информации с помощью разработанных опросников. Каждый участник должен не только высказать мнение в этом опроснике, но и привести обоснование. По результатам 1го тура сводные таблицы с обоснованиями, уточненная информация с результатами опроса и с дополнительной информацией ознакомляются все эксперты, после чего проводиться 2й тур. Вновь свободная + дополнительная информация. 3й тур - процесс проводиться до тех пор, пока не прекратится изменение мнения экспертами. После этого фиксируются все точки зрения. В этих методах высказанные идеи не персонифицируются, а считается плодом коллективного труда, поэтому на такие обсуждения нельзя выдвигать идеи или проблемы затрагивающие, чей то авторитет, в какой либо области.

Организация экспертных опросов.

Основные этапы:

Подготовительный этап

• формирование цели экспертизы

• подбор экспертов и формирование экспертных групп

• формирование вопросов и составление опросников

• формирование правил, определение оценок экспертами

• подбор дополнительной информации

При подборе экспертов должно быть учтено следующее:

Составлен список возможных экспертов и их характеристики, он должен быть в 2-3 раза больше, чем возможное планированное количество экспертов. Количество экспертов зависит от целей оценки, рекомендуется от 10 до 200, круглый стол 10-15, при заочном может быть больше. Состав групп может быть однородным, неоднородным.

2,3 методы требуют, чтобы в группе присутствовали:

1. генераторы идеи

2. регуляторы (следят за процессом беседы)

3. селекторы (могут оценивать и отбирать идеи)

4. стимуляторы (могут стимулировать генераторов, выдвигая новые предположения)

5. президент (должен удерживать внимание экспертов в рамках темы)

После составления списка оценивается компетентность экспертов. Оценка компетентности может быть сделана следующими методами:

1. самооценка

2. метод коллективной оценки авторитетности

Разработка анкет

До разработки анкет для экспертных опросов необходимо учесть следующие моменты, при экспертных опросах могут возникнуть погрешности связанные с самой процедурой сбора и анализа процедуры. Такие погрешности называются погрешностями модели и необходимо свести их к минимуму.

Цели экспертного исследования.

Особенностью экспертного исследования является то, что еще до постановки цели необходимо:

1. описать предисторию и текущее состояние вопроса

2. выдвинуть специфические особенности и интересы отдельных групп экспертов.

Для того чтобы решить вопросы, связанные с подготовкой экспертного опроса формируется подготовительная группа, состоит из специалистов аналитиков.

В анкете самым первым разделом должны быть цели, задачи, + к опросному листу формируется папка дополнительной информации. Существует паспортичка, имеются открытые и закрытые вопросы, прямые и косвенные. Основные вопросы – открытые!!!

Эксперт рассматривается как прибор, имеющий свою погрешность. В качестве погрешности принимается уровень компетентности экспертов. Экспертный опрос. Как и массовый должен быть репрезентативным, здесь достигается другими способами, это подбор экспертов и оценка их компетентности. Здесь рассчитывается коэффициент конкордации, который показывает степень согласованности мнений экспертов.