3. Обработка результатов и оценка согласованности мнений экспертов

После проведения опроса группы экспертов осуществляется об­работка результатов. Целью обработки является получение обоб­щенных данных и новой информации, содержащейся в скрытой форме в экспертных оценках. На основе результатов обработки формируется решение проблемы.

В связи с тем, что мнения экспертов при ранжировании объек­тов по решаемой проблеме обычно расходятся и, бывает, довольно значительно, возникает необходимость количе­ственной оценки степени их согласия. Получение количественной оценки согласованности мнений экспертов позволяет более обо­снованно интерпретировать причины в расхождении мнений.

В настоящее время известны две меры согласованности мне­ний экспертов: дисперсионный и энтропийный коэффициенты конкордации.

Дисперсия – это характеристика случайной величины, обозначаемая через D[x]. Она определяется по формуле:

M – математическое ожидание

– квадрат отклонения случайной величины от своего среднего значения

a – среднее значение случайной величины, точнее её математического ожидания

p – вероятность значения

Это формула для определения дисперсии для дискретной случайной величины. Для непрерывной случайной величины используется следующая формула:

f (x) – плотность вероятности случайной величины

Рис. 8 - Закон распределения Гаусса

Дисперсия показывает, насколько отклоняется («рассеивается») случайная величина от своего среднего значения.

Дисперсионный коэффициент конкордации (Wд) определяется как отношение оценки дисперсии (D) к максимальному значе­нию этой оценки (D_max): Wд = D/Dmax

Энтропия – это характеристика степени неопределенности случайной величины. Она определяется по формуле:

p – вероятность случайной величины

ln – знак натурального логарифма

если p=1, то – это 100% результат, никаких неопределенностей нет.

Если p=1,

p=1,

p=1,

Отсюда следует, что если выше вероятность состояния, тем меньше энтропия и, наоборот, чем меньше вероятное состояние, тем больше энтропия.

Энтропийный коэффициент конкордации или коэффициент со­гласия(Wэ) определяется по формуле:

Wэ = 1 – S/Smax

где S_max - максимальное значение энтропии; S – энтропия.

Для вычисления энтропии одномерной случайной величины Х используется формула:

закон распределения задан следующей таблицей:

X				…
P				…

В случае двумерной случайной величины энтропия вычисляется по формуле:

n=1

n=2 n =3

Таблица 4 - Пример ранжирования объектов экспертами

Объекты – m Эксперты – n	О 1	О 2	О 3	О 4

где – сумма сумм; вероятность 0<p<1.

где p_ij - оценка вероятности j-го ранга, присвоенного i-му объек­ту; n - число объектов; m - число экспертов. Коэффициент согла­сия изменяется от нуля до единицы. При Wэ = 0 расположение объектов по рангам равновероятно, поскольку в этом случае S = S Данный случай может быть обусловлен либо невозможнос­тью ранжировки объектов по сформулированной совокупности по­казателей, либо полной несогласованностью мнений экспертов.

Сравнительные оценки величин дисперсионного и энтро­пийного коэффициентов, изменяющихся от 0 до 1, дают при­мерно одинаковую степень согласованности мнений экспертов при близких ранжировках. Однако если, например, вся группа экспертов разделилась в мнениях на две подгруппы, причем ранжировки в этих подгруппах противоположные, то диспер­сионный коэффициент конкордации будет равен нулю, а энт­ропийный коэффициент конкордации будет равен 0,7. Таким образом, энтропийный коэффициент конкордации позволяет зафиксировать факт разделения мнений на две противополож­ные группы.

Основными причинами, снижающими точность экспертных оценок, являются:

Использование некомпетентных экспертов из-за недостаточ­но серьезного отношения к проведению экспертизы; нечеткого понимания целей, характера объекта экспертиз и неполной инфор­мации о нем; наличия ограниченной информации об экспертах и областях их профессиональных знаний и опыта; отсутствия орга­низованных механизмов, обеспечивающих возможность привлечения высококвалифицированных специалистов.

Недостаточная подготовленность экспертизы. Имеют место некачественная формулировка целей экспертизы, низкий органи­зационный уровень ее подготовки и проведения, отсутствие необ­ходимой квалификации рабочей группы, проводящей экспертизу.

Несовершенство используемых технологий.

Недостатки используемых методов обработки экспертной информации. При анализе результатов экспертизы следует обращать внимание на степень согласованность экспертных оценок, получаемых при ее проведении. Согласованность мнений комиссии может отражать тот факт, что либо к проведению экспертизы относились формально, не при­давая особого внимания ее результатам, либо эксперты при выне­сении заключений и оценок проявили высокую степень конфор­мизма. С другой стороны, несогласованность экспертных сужде­ний может означать разное понимание экспертами цели эксперти­зы, а также участие в работе комиссии экспертов с противополож­ными интересами. Анализ согласованности экспертных суждений необходим, так как выявление по результатам оценок коалиций экспертов- «единомышленников» позволяет иногда сделать важные выводы, вскрыть причины несогласованности, повысить надежность оце­нок. К типичным ошибкам экспертных оценок относятся также: преувеличение возможностей экспертных оценок; излишнее увле­чение количественными оценками; конформизм экспертов; некор­ректная интерпретация результатов.

Контрольные вопросы и задания

1. В каких случаях используются экспертные технологии в процессе принятия управленческих решений?

2. С помощью, каких методов группового опроса осуществляется процедура организации и проведение экспертизы?

3. Охарактеризуйте группы (способы) оценки качеств эксперта.

4. Каким образом происходит оценка согласованности мнений экспертов?

5. Какие существуют причины, снижающие точность экспертных оценок?