2.6.3. Взаимооценка экспертов (коллективная взаимная оценка)

Взаимная оценка представляет собой среднее значение оценки эксперта из оценок, назначенных всеми другими экспертами.

Первый путь таков, когда каждый эксперт назначает количественную оценку своему коллеге. Затем определяется средняя оценка по каждому эксперту.

Такой подход основан на обстоятельстве того, что существует непосредственная связь между компетенцией специалиста и усредненной оценкой, которую он получает от своих коллег по работе. Метод оправдан при не большом количестве экспертов (N15 человек) или, если в рассматриваемом коллективе не существует групп, которые специально предусматривают искусственное формирование завышенных приоритетов одних- и занижение других членов этого коллектива.

Второй путь, при большом количестве экспертов (N15), предусматривает следующие процедуры:

1. Каждый эксперт формирует всех экспертов допустим в 3 группы и назначает им уровни квалификации: выше средней, средней и ниже средней.

2. Затем эксперт ранжирует экспертов каждой подгруппы (от 1 до m), где m - число экспертов в подгруппе, значение которого должно быть не более 50% от общего состава группы.

3. Каждому эксперту присваивается оценка с учетом назначенного диапазона изменения оценок в рассматриваемой подгруппе (в рамках 1...10, с точностью до 1,0 ил 0,5 балла).

4. На основе полученных оценок формируется матрица и определяется средняя оценка по каждому эксперту.

/2.2/

где средняя взаимная оценка i-го эксперта;

- оценка, представленная i-му эксперту j-вым;

n₁ - число экспертов, оценивающих i-го эксперта. Если какой-то эксперт плохо знает кого-то из своих коллег, то он может сделать прочерк, поэтому считают, что в любом случае при экспертизе должно быть n₁  0,5n.

Расчеты выполняют в табличной и матричной форме. Ниже приведен пример заполнения анкеты и определения взаимной оценки одним из экспертов

Пример заполнения анкеты и определения взаимной оценки экспертов

		Квалификация				Ранги по группам			Оценки экспертов
№	Ф.И.О. экспер-тов	 ср. 8-10	ср. 4-7	 ср. 1-3	 ср. 8-10		ср. 4-7	 ср. 1-3	 ср. 8-10	ср. 4-7	 ср. 1-3
1.		+			3				9
2.			+				5			5,5
3.		+			1				10
4.			+				4			5,5
5.			+				1			7
6.			+				3			6
7.				+				2			2
8.		+			2				9,5
9.				+				1			3
10.			+				2			6,5

Затем составляют матрицу оценок и среднюю оценку по каждому эксперту.

Считают, что для экспертизы можно допускать экспертов, средний уровень которых не ниже 6 по шкале 0...10.

Кроме того, необходимо проверить экспертную группу на согласованность.

Этот метод заключается в следующем.

1. Каждый эксперт дает оценку другим своим коллегам .

2. Определяют сумму баллов для каждого объекта

, /3/

где a_ij - ранг i-го эксперта .......у j-го объекта.

3. Подсчитывают среднюю сумму баллов по выражению:

/4/

4. Вычисляют математическое ожидание оценок по всей матрице данных

/5/

5. Определяют среднее квадратическое отклонение (стандарт) по зависимости:

/6/

6. Вычисляют коэффициент вариации по зависимости:

. /7/

По существующему опыту считают, что если:

V = менее 0,10 - согласованность высокая;

V = 0,11 ... 0,15 согласованность выше средней;

V = 0,16 ... 0,25 - согласованность средняя;

V = 0,26 ... 0,35 - согласованность экспертов ниже средней;

V = более 0,36- согласованности нет.