§4. МЕТОДЫ ЭКСПЕРТНЫХ ОЦЕНОК

4.1. Организация экспертизы. Метод прямого ранжирования

4.2. Метод парных сравнений

4.3. Ранговая корреляция

4.4. Метод весовых коэффициентов важности

4.5. Проверка правильности ранжирования

4.1. Организация экспертизы. Метод прямого ранжирования

Экспертные оценки могут явиться важным источником информации при решении задач управления, формирования целевой функции управляемых объектов, выборе влияющих переменных, определяющих характер протекающих в них процессов, и т. п.

Экспертные оценки отражают опыт, интуицию и знания специалистов относительно исследуемого объекта и, несмотря на их субъективность, содержат полезную объективную информацию. Под экспертным оцениванием мы будем понимать методы выявления, формализации и обработки неявной, качественной, субъективной информации, которая может содержаться в мнениях, поведении и высказываниях людей. Задачей экспертного оценивания является получение количественного описания объекта управления путем обработки данных, полученных в результате направленного опроса специалистов.

Исследование, проводимое группой специалистов, состоит из нескольких этапов:

1. Формулирование конкретной цели исследования.

2. Выбор экспертов, которые должны быть опрошены.

3. Выбор метода опроса.

4. Разработка опросного листа (анкеты). Анкета состоит из вопросов, на которые эксперты должны дать ответ в определенной форме. Ответ j-го эксперта на i-ый вопрос анкеты будем обозначать через x_ij.

5. Обработка результатов опроса.

При составлении экспертной группы необходимо предусмотреть возможность взвешивания ответов экспертов согласно их компетентности. Учет компетентности экспертов может существенно изменить результаты обработки данных опроса.

Метод опроса в значительной степени определяется особенностями исследуемого процесса, числом экспертов, располагающих необходимой информацией, а также временем и средствами, имеющимися в распоряжении исследовательской группы. Под методом опроса мы будем подразумевать метод составления анкеты, число вопросов в анкете и число повторных опросов, позволяющих скорректировать анкету на основе предыдущих опросов. Опрос может быть очным и заочным.

Таким образом, организацию экспертизы можно представить в виде следующей блок-схемы (рис. 4.1).

Рис. 4.1.

Рис. 4.1 Блок-схема организации экспертизы

Один из способов измерения качественной информации связан с использованием порядковых шкал, позволяющие установить между объектами отношения “равно”, “больше” или “меньше”. Одним из методов измерения данных в порядковой шкале является метод ранжирования (упорядочения). Суть метода состоит в расположении объектов в порядке убывания или возрастания какого-либо свойства, присущего этим объектам. Обычно степень, с которой то или иное свойство присуще объектам, не поддается количественному измерению и оценивается только качественно.

Пусть n объектов, обладающих свойством Х, расположены экспертами в порядке возрастания или убывания степени обладания этим свойством. Обозначим через x_i место (ранг) i-го объекта среди остальных (n-1) объектов в этой последовательности. Сумма рангов в таком ряду составляет

, (4.1)

где n – число ранжируемых объектов. Этот метод формализации априорной информации обычно применяется, когда число ранжируемых объектов невелико (n<16). Общее название такого метода – метод прямого ранжирования.

Если эксперты затрудняются присвоить всем объектам различные ранги, они могут приписать двум или нескольким объектам одинаковые ранги, так что общее число различных рангов N будет меньше исследуемых объектов n. В этом случае полученную ранжировку необходимо привести к нормальному виду, то есть, к такому виду, при котором условие (4.1) выполняется. Для этого объектам имеющим одинаковые ранги, приписывается ранг, равный среднему значению мест, которые объекты поделили между собой в ранжировке с совпавшими рангами. Пусть например, имеется ранжировка шести объектов с тремя различными рангами, то есть, N=3, n=6:

Объект	i	1	2	3	4	5	6
Ранги	xi	1	2	3	3	2	3

Объекты 2-й и 5-й поделили между собой места 2 и 3. Поэтому в новой ранжировке приписываем этим объектам одинаковый ранг, равный (2+3)/2=2,5. Объекты, 3-й, 4-й и 6-й поделили между собой места 4, 5, 6, так что мы приписываем им ранг, равный (4+5+6)/3=5.

Тогда нормальная ранжировка ( x_i^*) имеет вид:

Объект	i	1	2	3	4	5	6
Ранги	xi	1	2,5	5	5	2,5	5

Степень связи между несколькими ранжировками оценивается коэффициентом конкордации (коэффициентом согласия). Коэффициент конкордации определяет согласованность экспертов при ранжировании n объектов по степени обладания некоторым свойством Х.

Пусть имеется n объектов 1,2, …,i, …,n, в разной степени обладающих свойством Х, и пусть m экспертов ранжируют эти объекты по свойству Х. В табл. 4.1. приведены сводные данные по ранжировке каждым экспертом и суммарная ранжировка, выполняется всеми экспертами.

Таблица 4.1.

Матрица рангов

Эксперты, j	Объекты,i
	1	2	…	i	…	n
1	x11	x12	…	x1i	…	x1n
2	x21	x22	…	x2i	…	X2n
…	…	…	…	…	…	…
j	Xj1	xj2	…	xji	…	xjn
…	…	…	…	…	…	…
m	xm1	xm2	…	xmi	…	xmn
			…		…

Средний ранг в суммарной ранжировке составляет

. (4.2)

Сумма квадратов разностей между членами суммарной ранжировки и членами ряда, составленного из средних значений а, равна

(4.3)

Величина S достигает максимума, когда все эксперты дают одинаковые ранжировки. Если определить согласованность экспертов как отношение реальной суммы квадратов разностей S к максимально возможной сумме S_max, получается выражение для коэффициента конкордации, предложенного Кендаллом

(4.4)

Величина W изменяется от 0 до 1. W=1 означает, что все эксперты дали одинаковые ранжировки; W=0 означает, что связь между ранжировками, данными m экспертами, отсутствует. Если в ранжировках присутствуют совпадающие ранги, то формула для W имеет вид

, (4.5)

где ; t_ji – число повторений i-го ранга в j-ом ряду.

Для оценки значимости коэффициента конкордации используется ² распределение с числом степеней свободы =n-1, которому подчинена величина m(n-l) . Проверка значимости сводится к проверке статистической гипотезы о равенстве коэффициента конкордации нулю. При заданном уровне значимости q эта гипотеза отвергается, когда

, (4.6)

где ²_табл- критическое (табличное) значение ² - распределения при числе степеней свободы =n-1. В этом случае конкордация считается значимой. При n<10 распределение величины W_m(n-l) отличается от ²-распределения, поэтому для оценки значимости приходится пользоваться специальными таблицами. При n>30 для проверки значимости используют нормальное распределение.