Анализ оценок каждого эксперта

В методе ранжирования проверка экспертных оценок производится на выполнение следующих условий:

а) все ранги должны быть либо целыми числами, либо кратными 1/2;

б) , для рассматриваемого примера.

В случае если для оценок какого-либо эксперта эти условия не вы­полняются, производится коррекция рангов аналитиком или программой обработки данных.

Определение групповых оценок объектов

Групповой ранг () объектаj определяется как медиана распределения рангов , присвоенных этому объекту всеми экспертами. Для этого ранги упорядочиваются по воз­растанию и групповой оценкой является среднее по порядку полученного ряда. Например, оценками объекта j являются следующие ранги:

Э¹ Э² Э³ Э⁴ Э⁵

O_j 1 3 2 3 3

После упорядочения получим ряд: 1; 2; 3; 3; 3. Медианой этого ряда будет 3_.

Вычисленные медианы еще не будут групповыми ран­гами, так как не всегда выполняется условие, определяющее правиль­ность вычисления связанных рангов. Поэтому по ряду медиан необ­ходимо определить групповые ранги объектов . Если, например, медианы равны, то групповые ранги.

Анализ достоверности групповых оценок

В методе ранжирования оценку достоверности можно проводить, используя коэффициент согласия (Е).

.

Для случая отсутствия связанных рангов в оценках экспертов выражение для E имеет вид:

,

где ,,m – число экспертов, n - количество объектов, .

Если в оценках всех экспертов присутствуют связанные ранги, то выражение для E принимает вид_:

,

где - поправка на связанные рангиi эксперта.

Для рассматриваемого примера , а

Коэффициент согласия равен

Проверка значимости коэффициента согласия. Если число экспертов m > 7 , то используется статистика

распределенная по закону 2 (Пирсона) с числом степеней свободы _.

При небольшом числе экспертов и объектов, когда т(п-1)  20 используется статистика S

В соответствии с заданным уровнем значимости гипотезы о неза­висимости оценок экспертов α находятся или S_табл, или _2табл.

Решающими правилами для того, чтобы считать коэффициент согла­сия значимым, т.е. чтобы считать групповые оценки достоверными, являют­ся:

S_расч >S_табл;_2расч >_2табл.

3.4. Метод нормирования

Оценка объектов по методу ранжирования. Эксперту предлагается оценить объекты по заданной шкале, например, но шкале от нуля до единицы или от нуля до десяти (рекомендуется шкалу делить на 20 градаций). Нижняя граница шкалы обязательно должна быть равна нулю. Для облегчения работы эксперта по оценке объектов процедуру присвое­ния оценок следует проводить в несколько этапов. Сначала эксперту предлагается упорядочить объекты, т.е. проставить ранги, например, ~. Затем эксперт должен проставить оценки объектов по заданной непрерывной шкале: объекту с рангом 1 поставить максимальное значение шкалы, следующему объекту с рангом 2 значение меньше, чем первому объекту и т.д.

Следует подчеркнуть, что каждый эксперт i будет давать оценки объектов в личной шкале измерения. Переход от личных шкал к единой осуществляется нормированием оце­нок каждого эксперта (отсюда и название метода) по формуле:

.

В этом случае при использовании метода нормирования эксперт должен оценить все объекты.