Лекция 4. Оценка степени согласованности экспертов по коэффициенту конкордации. Оценка коэффициентов важности.

5) проверка значимости коэффициента конкордации, т.е. гипотезы о том, что эксперты проставляют свои ранги случайным образом и, следовательно, нет никакой согласованности в их мнениях. Идея проверки состоит в том, что при случайном присвоении рангов коэффициент конкордации будет принимать случайные значения, причем закон распределения может быть найден путем перебора всех возможных и равновероятных результатов ранжирования.

Рассмотрим статистику . При больших и ( и ) статистика имеет распределение, близкое к - распределению с числом степеней свободы - 1.

Для проверки значимости коэффициента конкордации необходимо:

- рассчитать значение статистики ;

- задаться уровнем значимости ;

- в таблице - распределения найти критическое значение при - 1 степени свободы;

- сопоставить полученное значение статистики и : если > , то гипотеза о случайной простановке рангов отклоняется и коэффициент конкордации считается значимым;

- если < , то гипотеза о случайной простановке рангов считается не противоречащей опытным данным и коэффициент конкордации считается незначимым; В этом случае следует вернуться к организации опроса экспертов: изменить их состав, использовать процедуру с заочным обменом мнениями и т.д.

6) вычисление коэффициентов важности свойств можно осуществить различными способами. Наиболее простые из них основаны на том, что о важности свойств содержится информация в суммарных рангах . Действительно, чем выше роль того или иного свойства, тем большее число экспертов будут ставить его на первые места в ранжировках, влияя тем самым на суммарный ранг.

Расчет коэффициентов важности при этом осуществляется по формуле:

= ,

где - суммарный ранг - ой характеристики. В знаменателе стоит сумма всез суммарных рангов ( сумма всех элементов таблицы ранжировок).

Метод парных сравнений

Помимо рассмотренной здесь процедуры, основанной на ранжировании экспертами исходной совокупности характеристик ваиантов выбора, при большом числе характеристик можно использовать процедуру, основанную на парных сравнениях характеристик. Каждый эксперт при этом заполняет таблицу (матрицу), каждая строка и каждый столбец которой соответствует одной из характеристик. На пересечении - ой строки и - го столбца эксперт ставит 1, если - ая характеристика представляется ему важнее, чем - ая. В противном случае ставится 0. На диагонали матрицы – прочерки. Размер матрицы ( ), где - число характеристик.

Таблица 4.1

Таблица парных сравнений

Характеристики	1	2	…
1	-	1		1
2	0	-		1
3	1	0
…	…	…	…	…
	0	0		-

Обработка мнений экспертов осуществляется суммированием матриц экспертов. При этом суммарная матрица Г имеет размерность ( ), а на пересечении - ой строки и - го столбца оказывается величина, равная числу экспертов, считающих - ую характеристику важнее - ой. Матрица Г имеет следующий вид

Г = .

Коэффициенты важности характеристик находят суммированием элементов строк матрицы Г (с последующим нормированием):

= .

При этом мерой важности выступает суммарное число предпочтений - ой характеристики, имеющее место во мнениях всех экспертов.

Для определения обобщенной оценки каждого объекта необходимо применить какое-либо среднее. Оценка отдельным экспертом относительной важности каждого из некоторой совокупности качеств осуществляется путем назначения экспертами либо рангов этим качествам, либо некоторой количественной оценки, например, по 10-бальной системе. В последнем случае количественные оценки можно при обработке проранжировать по убыванию и получить оценки в рангах. Применение в данном случае методов ранговой корреляции целесообразно в связи с тем, что они представляют собой весьма удобный и эффективный аппарат определения показателя обобщенного мнения и вместе с тем степени согласованности мнений экспертов.

Согласованное мнение группы экспертов о распределении качеств с точки зрения их значимости может быть определено путем суммирования оценок в рангах, полученных каждым качеством в отдельности. Распределение сумм рангов, полученное каждым качеством, и представляет собой согласованное мнение экспертов о распределении значимых качеств по их относительной важности.

Показатель обобщенного мнения экспертов по каждому качеству может быть определен в виде частоты максимально возможных оценок, полученных некоторым качеством.

Основными характеристиками при групповом экспертном оценивании являются следующие:

- обобщенное мнение группы экспертов,

- степень согласованности мнений экспертов,

- компетентность экспертов.

Показатели обобщенного мнения экспертов

В качестве показателя обобщенного мнения экспертов в случае, если каждое из свойств (качеств) оценивается отдельно, чаще всего используют либо среднеарифметическое, либо моду, либо медиану. Каждая из них обладает характеристиками, которые делают ее ценной в определенных условиях.

Мода наиболее просто вычисляется – ее можно определить на глаз. Кроме того для очень больших групп данных это достаточно стабильная мера центра распределения. Во многих распределениях значительного числа измерений мода близка к двум другим мерам – медиане и среднему.

Медиана занимает промежуточное положение между модой и средним. Эта мера получается почти прямым счетом и особенно легко в случае ранжированных данных В больших массивах данные можно сначала сгруппировать, а затем можно найти медиану.

Среднее множества данных предполагает, в основном арифметические операции. На величину среднего влияют значения всех результатов. На величину среднего особенно влияют результаты, которые можно назвать «выбросами», т.е. данные, находящиеся далеко от центра группы оценок. В случае, если экспертные оценки представлены в номинальной шкале, то в качестве меры центральной тенденции может быть использована только мода.

Оценки важности выражены в баллах и могут принимать значения от 0 до 10. Введем следующие обозначения исходных данных:

- количество экспертов,

- количество качеств, предложенных для оценки,

- количество экспертов, оценивших - ое качество,

- количество максимально возможных оценок, полученных - ым качеством,

- оценка относительной важности (в баллах) - ым экспертом - ого качества.

Показатель важности - среднее арифметическое значение величины оценки определенного направления исследований (в баллах), определяется по формуле

= .

Среднее арифметическое значение определяется для каждого из качеств и может принимать значения в пределах от 0 до 10 баллов. Нижний предел соответствует случаю, когда все эксперты дали минимально возможную оценку важности, а верхний предел – случаю, когда все эксперты дали максимально возможную оценку важности данному качеству.

Одним из показателей обобщенного мнения экспертов является частота максимально возможных оценок (10 баллов), полученных - ым качеством, определяется по формуле

= .

Частота максимально возможных оценок определяется для каждого из качеств и может принимать значения в пределах от 0 до 1. Нижний предел соответствует случаю, когда среди оценок, полученных - ым качеством, отсутствуют максимально возможные оценки, а верхний - случаю, когда все оценки, полученные - ым качеством являются максимально возможными. Важность развития -го качества возрастает при изменении от 0 до 1. Показатель следует рассматривать как дополнительный к показателю важности . характеризует важность -го качества с точки зрения количества присужденных ему «первых» мест.

Лекция 5. Определение коэффициента компетенции экспертов.