3.4.2. Математическая обработка в экспертном методе

Большое значение придается математической обработке результатов мнений экспертов. Каждый эксперт должен дать одно значение оцениваемого параметра, которое является случайным числом. Отчеты, полученные группой экспертов, представляются множеством их отдельных показателей или законом распределения вероятностей.

Практикой установлено, что при объеме выборки распределение вероятностей оценок подчиняется закону распределения вероятностей Стьюдента; при - нормальному закону. При экспертиза переходит в социологический опрос. Так как реальное число экспертов редко превышает 10, то на практике наиболее часто используют распределение Стьюдента.

Согласованность мнений экспертов характеризуется специальной или несмещенной оценкой дисперсии отсчета (среднего квадратического).

Такая оценка производится на этапе формирования группы экспертов методом контрольных измерений и математической обработкой результатов измерений. Обычно используют несколько объектов измерений.

За меру согласованности экспертов при этом принимается коэффициент конкордации W_k

, (3.14)

где S – сумма квадратов отклонений рангов каждого объекта от среднего арифметического:

, (3.15)

где - усредненная оценка j – го объекта:

, (3.16)

n – число экспертов,

m – число объектов.

При W_k = 0 согласованности нет, а при W_k = 1 – полное единодушие. Если согласованность , то проводят тренировки, разбор ошибок и повторяют оценку согласованности.

Для особо ответственных оценок могут учитываться весовые коэффициенты квалификации экспертов.

Количество экспертов n играет большое значение для точности оценок (измерений). С ростом числа экспертов точность оценок повышается. Это отражается в самом определении дисперсии как характеристики разброса значений случайной величины p

. (3.17)

Из формулы следует, что при увеличении количества экспертов разброс в определении среднего значения будет уменьшаться, а точность - расти.

Еще одной характеристикой случайной величины является среднее квадратическое отклонение

. (3.18)

3.4.3. Метод Дельфи

Когда предварительная подготовка экспертов невозможна, что наиболее типично, то измерение экспертным методом проводят по методу Дельфы. Этот метод предложен в 1950 г. американскими учеными Т.Д. Гордоном и О. Хельмером для анализа планов атомной войны. Название метода происходит от древнегреческого города Дельфы, где при храме Апполона с IX в. до н.э. по IV в. н.э. существовал совет мудрецов (дельфийский оракул), славившийся своими предсказаниями.

Особенности метода:

1) анонимность экспертов;

2) многоэтапность согласования мнений;

3) контроль несогласованности мнений до тех пор, пока разброс отдельных мнений не сведется до заданного значения;

4) заочность.

Суть этого метода в том, чтобы с помощью серии последовательных действий – опросов, интервью, мозговых штурмов – добиться максимального консенсуса при определении правильного решения. Анализ с помощью дельфийского метода проводится в несколько этапов, результаты обрабатываются статистическими методами.

Базовым принципом метода является то, что некоторое количество независимых экспертов (часто несвязанных и не знающих друг о друге) лучше оценивает и предсказывает результат, чем структурированная группа (коллектив) личностей. Позволяет избежать открытых столкновений между носителями противоположенных позиций т.к. исключает непосредственный контакт экспертов между собой и, следовательно, групповое влияние, возникающее при совместной работе и состоящее в приспособлении к мнению большинства. Даёт возможность проводить опрос экстерриториально, не собирая экспертов в одном месте (например, посредством электронной почты). Субъектами являются группы исследователей, каждый из которых отвечает индивидуально в письменной форме. При этом организационная группа сводит мнения экспертов воедино.

На предварительном этапе проводится подбор группы экспертов, причем чем больше их число (до 20), тем дольше проводится отбор.

Основной этап включает в себя несколько подэтапов:

• постановка проблемы — экспертам рассылается вопрос и предлагается его разбить на подвопросы. Организационная группа отбирает наиболее часто встречающиеся. Появляется общий список вопросов.

• этот общий список вопросов рассылается экспертам. Их спрашивают: можно ли добавить ещё что-то, достаточно ли информации, есть ли дополнительная информация по вопросу. В итоге составляется следующий вариант списка вопросов.

• улучшенный список вопросов вновь рассылается экспертам, которым теперь надо дать свой вариант решения, а также рассмотреть наиболее крайние точки зрения, высказанные другими экспертами. Эксперты должны оценить проблему по аспектам: эффективность, обеспеченность ресурсами, в какой степени соответствует изначальной постановке задачи. Таким образом выявляются преобладающие суждения экспертов, сближаются их точки зрения. Всех экспертов знакомят с доводами тех, чьи суждения сильно выбиваются из общего русла. После этого все эксперты могут менять мнение, а процедура повторяется.

• итерации повторяются, пока не будет достигнута согласованность между экспертами, или не будет установлено отсутствие единого мнения по проблеме. Изучение причин расхождений в оценках экспертов позволяет выявить незамеченные ранее аспекты проблемы и зафиксировать внимание на вероятных последствиях развития анализируемой проблемы или ситуации. В соответствии с этим и вырабатывается окончательная оценка и практические рекомендации. Обычно проводится три этапа, но если мнения сильно разнятся - то больше.

На аналитическом этапе проводят проверку согласованности мнений экспертов, анализ полученных выводов и разработку конечных рекомендаций.