Обработка результатов опроса, их анализ

Обработка результатов опроса может быть количественной и каче­ственной. После проведения опроса необходимо произвести их статисти­ческую обработку, которая включает несколько этапов, рассмот­ренных ниже.

Результаты статистической обработки анализируются. Если групповые оценки объектов оказались недостоверны с точки зрения вычис­ленных статистик, то необходимо выяснить причины неудачной экспертизы. Наиболее типичными причинами неудачной экспертизы являются:

1) недостатки в подборе экспертов: эксперты недобросовестно от­неслись к экспертизе; их цели не совпадают с целями экспертизы;

2) существует несколько несовпадающих точек зрения на изучае­мую проблему. Для выявления различных точек зрения необходимо попытаться сгруппировать экспертов по близости их оценок. Если такие группы получаются, то следует производить статистическую обработку в каждой группе отдельно;

3) неточная формулировка измеряемого свойства (вопроса) в анкете, которая допускает различную его интерпретацию. Например, во­прос в анкете сформулирован следующим образом: "Оцените по методу ранжирования влияние на качество изделия следующих его параметров". Из этой формулировки не ясно: оценивать ли влияние с точки зрения повы­шения качества изделия или уменьшения качества. Поэтому одни эксперты могут поставить на первое место наиболее важный параметр, другие – наименее важный. Из-за этого не получится согласованной групповой оценки объектов;

4) среди оцениваемых объектов есть малоизвестные экспертам объекты. Малая согласованность оценок экспертов по этим объектам не позволяет считать достоверными групповые оценки всех объектов. В этом случае необходимо исключить оценки этих объектов и произвести статистическую обработку вновь.

Помимо статистической обработки необходимо осуществлять качественный анализ как исходных экспертных оценок, так и результатов обработки. Наиболее типичными типами качественного анализа являются: классификация полученной от экспертов информации, группирование мнений экспертов. К анализу необходимо привлекать заказчика на проведение экспертизы.

2. Этапы статистической обработки экспертных оценок

Безотносительно к использованному при опросе методу оценки объектов процедура статистической обработки экспертных данных вклю­чает три этапа: 1) анализ оценок каждого эксперта; 2) определение груп­повых оценок объектов; 3) оценка достоверности групповых оценок.

Анализ оценок каждого эксперта

Целью проведения этого этапа является формальная проверка оценок каждого эксперта.

В некоторых методах на основе анализа оценок эксперта можно их откорректировать без его участия. В других методах произвести такое исправление без эксперта не представляется возможным. Тогда ошибоч­ные оценки исключаются из рассмотрения или вводятся коэффициенты, учитывающие количество обнаруженных ошибок в оценках эксперта, которые служат характеристикой компетентности этого эксперта.

Определение групповых оценок

Этот этап является основным во всей процедуре обработки эксперт­ных оценок. В результате его проведения на основе личных оценок всей совокупности экспертов вычисляются групповые оценки.

Если имеются оценки компетентности экспертов, их необходимо использовать при определении групповых оценок. Процедура их использо­вания зависит от конкретного экспертного метода.

При определении групповых оценок необходимо использовать адекватные статистики.