Оценка достоверности групповых оценок
Чтобы использовать на практике, вычисленные на втором этапе групповые оценки, необходимо оценить их достоверность (надежность). Понятие достоверность групповых оценок определяется согласованностью экспертных оценок. Считается, что групповые оценки объектов достоверны, если между оценками экспертов наблюдается большая согласованность. Количественно степень согласованности экспертов определяется коэффициентом согласия (Е), являющимся коэффициентом множественной корреляции. Коэффициент согласия вычисляется по формуле:
,
где т
– число экспертов;
– коэффициент корреляции оценокi
и l
экспертов.
Верхний предел
коэффициента E
равен 1 и соответствует случаю, когда у
всех экспертов оценки объектов совпадают:
(полная согласованность экспертов).
Нижний предел равен нулю.
По величине Е судят о степени согласованности экспертов в проведенной экспертизе.
После вычисления коэффициента согласия он проверяется на значимость, т.е. проверяется гипотеза о случайности получения вычисленного значения E. Эту гипотезу можно интерпретировать также как независимость оценок экспертов или случайность проставления экспертами своих оценок. Проверка этой гипотезы осуществляется по процедуре статистической проверки гипотез.
3.3. Метод ранжирования.
Оценка объектов
по методу ранжирования. Эксперту
предлагается упорядочить объекты
по предпочтению. При этом, кроме отношения
порядка между объектами, могут
устанавливаться и отношения эквивалентности.
Например, семь объектов упорядочены
следующим образом:
~ O4 ~
~
В качестве рангов используются числа натурального ряда, причем наиболее предпочтительному объекту присваивается ранг, равный единице. Таким образом, ранг объекта обозначает его порядковый номер в упорядоченном ряду. Так, в приведенном выше примере объекту O3 соответствует ранг 1, а объекту О6 – ранг 7.
Если между
несколькими объектами при их оценке
установлено отношение эквивалентности
(в приведенном примере это подмножества
и
),
то имеют место связанные ранги для
объектов, входящих в классы
эквивалентности. Значения связанных
рангов определяются как среднее из
чисел, характеризующих места эквивалентных
объектов в упорядоченном ряду. Так,
связанный ранг объектовO1,
O4
и O5
будет равен (2+3+4)/3 = 3,
а связанные ранги O2
и O7
равны (5+6)/2 = 5,5.
Ранг, присвоенный
экспертом i
объекту j,
будем обозначать
.
Отметим также, что при использовании
метода ранжирования эксперты должны
обязательно оценивать все объекты.
Таким образом,
оценками объектов
эксперта i
являются
ранги
объектов
.
Рассмотрим этапы обработки на примере приведенном ниже.
Табл. Обработка экспертных данных по методу ранжирования.
|
|
Э1 |
Э2 |
Э3 |
Э4 |
Э5 |
медиана |
|
|
|
|
О1 |
4 |
2 |
3 |
3 |
4 |
3 |
3 |
16 |
1 |
|
О2 |
1 |
2 |
1,5 |
2 |
1 |
1,5 |
1 |
7,5 |
56,25 |
|
О3 |
2 |
2 |
1,5 |
1 |
2 |
2 |
2 |
8,5 |
42,25 |
|
О4 |
5 |
4 |
4 |
4 |
3 |
4 |
4 |
20 |
25 |
|
О5 |
3 |
5 |
5 |
5 |
5 |
5 |
5 |
23 |
64 |
|
|
15 |
15 |
15 |
15 |
15 |
15,5 |
15 |
75 |
S=188,5 |
