8.3. Способы оценки компетентности экспертов

Оценка компетентности экспертов может быть осуществлена различными методами, например:

а) по частоте цитирования или количеству публикаций эксперта;

б) по результатам оценки ранее выполненных прогнозов;

в) по результатам самооценки;

г) по результатам взаимооценки.

Оценка компетентности экспертов по частоте цитирования достаточно часто применяется за рубежом и значительно реже в отечественной практике. Предпосылкой применения этого метода является доступность научных публикаций широкому кругу специалистов и соблюдение норм авторского права. Сравнивая количество ссылок на работы того или иного специалиста, можно сделать вывод о его популярности в среде коллег.

Рассмотрим последовательность работ по формированию экспертной группы и оценке компетентности экспертов методом взаимооценки.

В качестве первого этапа выступает формирование генеральной совокупности экспертов  банка данных обо всех признанных специалистах в данной области. С этой целью 10 экспертам рассылаются анкеты с просьбой назвать 10 наиболее компетентных специалистов в прогнозируемой области. Затем всем вновь названным рассылаются аналогичные анкеты. Процедура продолжается до тех пор, пока в анкетах будут появляться новые имена.

Следующий этап  оценка компетентности экспертов. Составляется рабочая таблица  "Матрица оценки компетентности экспертов первого порядка" (Табл. 23), по результатам которой рассчитываются коэффициенты компетентности экспертов первого порядка (46).

K¹_j = (46)

По результатам этих расчетов строится матрица оценки коэффициентов компетентности экспертов второго порядка (Табл. 24), оценки в которой взвешиваются с учетом компетентности эксперта, давшего оценку и рассчитывается коэффициент компетентности экспертов второго порядка (47).

К²_{j =} (47)

Таблица 23

Матрица оценки компетентности экспертов первого порядка

Номер оценивающего эксперта (i)	Номер оцениваемого эксперта (j)
	1	2	...	N
1	X11	X12		X1n
2	X21	X22		X2n
3	X31	X32		X3n
.
.
.
.
n	Xn1	Xn2		Xnn
		2	…
Kj1	K11	K21		Kn1

где Х_ij  результат анкетирования, заключение данное i-тым экспертом по поводу компетентности j-того эксперта;

i  номер оценивающего эксперта;

j  номер оцениваемого эксперта;

Х_ij = 1, если i-тый эксперт назвал j-того эксперта;

Х_ij = 0, если i-тый эксперт не назвал j-того эксперта;

K¹_j  коэффициент компетентности первого порядка j-того эксперта, показывает долю голосов, полученных j-тым экспертом, в общей сумме голосов.

Таблица 24

Матрица оценки компетентности экспертов второго порядка

Номер оценивающего эксперта (i)	Номер оцениваемого эксперта (j)
	1	2	...		N
1	K11 X11	K11X12			K11X1n
2	K12X21	K12X22			K12X2n
3	K13X31	K13X32			K13X3n
.
.
.
.
N	K1nXn1	K1nXn2			K1nXnn
				…
Kj2	K12	K22			Kn2

Оценка профессиональных качеств эксперта способом самооценки предполагает наличие тестов, анкет, на вопросы которых эксперту предстоит дать самостоятельный ответ. Содержание вопросов в подобных анкетах определяется характером предстоящей прогнозной работы. Вопросы в анкетах должны быть сформулированы таким образом, чтобы по результатам ответов на них можно было определить степень компетентности экспертов. Каждый ответ на вопрос получает определенное количество баллов, соответствующее с одной стороны значимости оцениваемого показателя, а с другой, варианту ответа эксперта на данный вопрос. Конкретные численные значения весовых коэффициентов определяются рабочей группой и не сообщаются потенциальным экспертам. Коэффициент компетентности конкретного эксперта может быть получен как частное от деления количества баллов данного эксперта на количество баллов, которое может получить «эталонный» эксперт.

(48),

где ν_ij  количество баллов, полученное j-тым экспертом при ответе на i-тый вопрос анкеты,

ν_imax  количество баллов, которое может получить «эталонный» эксперт при ответе на i-тый вопрос анкеты.

Пример анкеты приведен в таблице 25.

Таблица 25