Экспертные оценки

Метод экспертных оценок заключается в выявлении суждений экспертов и формировании на их основе обобщающих выводов. Как самостоятельный инструмент исследования метод экспертных оценок применяется с 40 – х годов ХХ века. При этом этот метод применим к проблемам, в отношении которых имеется достаточный объем информации.

Основными этапами осуществления экспертной оценки являются следующие:

1. Формирование экспертной группы

2. Определение вида экспертной оценки

3. Подготовка и проведение экспертизы

4. Статистическая обработка полученных результатов

Остановимся на каждом из этапов более подробно.

1. Формирование экспертной группы

Эксперты – это специалисты по рассматриваемой проблеме. С одной стороны, чем больше экспертов будет участвовать в экспертной оценке, тем большая будет достоверность оценки. (На рис. 10 приведена эмпирически полученная зависимость достоверности экспертизы от количества экспертов). Но с другой стороны, найти большое количество специалистов по конкретной проблеме не так-то просто. Кроме того, чем больше экспертов, тем дороже обойдется экспертиза. На практике минимальным количеством экспертов считается 7.

Важным при формировании экспертной группы является обеспечение ее качественного состава. Для подбора наиболее квалифицированных экспертов используются два метода:

• самооценки

• групповой оценки

Метод самооценки качеств экспертов одним из первых в России был применен известным советским экономистом С. Г. Струмилиным. Опыт многочисленных экспертиз и в России и за рубежом показал, что группы экспертов с высокой самооценкой, как правило, ошибаются в своих суждениях меньше, чем группы с низкой самооценкой. Одна из применяемых методик самооценки заключается в следующем.

Рассчитывается коэффициент компетенции эксперта по формуле:

Кк = (Кз + Ка) / 2

где: Кк – коэффициент компетенции эксперта

Кз - коэффициент степени знакомства эксперта с проблемой. Он определяется самим экспертом по шкале от 0,1 до 1,0.

Ка – коэффициент аргументации рассчитывается путем оценки экспертом источником его компетентности. (см. таблицу 15).

Таблица 15

Таблица определения коэффициента аргументации

Источник аргумента	Степень влияния источника на компетентность
	Высокая	Средняя	Низкая
Проведенное исследование
Производственный опыт
Обобщение работ отечественных авторов
Обобщение работ зарубежных авторов
Личное знакомство с состоянием дел за рубежом
Интуиция

Предположим, что эксперт оценил степень своего знакомства с проблемой в 0,7. А источники своей компетенции он определил следующим образом (см. табл. 16).

Таблица 16

Оценка экспертом источников своей компетенции

Источник аргумента	Степень влияния источника на компетентность
	Высокая	Средняя	Низкая
Проведенное исследование	+
Производственный опыт		+
Обобщение работ отечественных авторов			+
Обобщение работ зарубежных авторов			+
Личное знакомство с состоянием дел за рубежом		+
Интуиция	+

Чтобы перевести приведенные в таблице оценки в количественные, используется следующий шаблон (см. табл. 17).

Таблица 17

Таблица определения коэффициента аргументации

Источник аргумента	Степень влияния источника на компетентность
	Высокая	Средняя	Низкая
Проведенное исследование	0,3	0,2	0,1
Производственный опыт	0,5	0,4	0,3
Обобщение работ отечественных авторов	0,05	0,04	0,03
Обобщение работ зарубежных авторов	0,05	0,04	0,03
Личное знакомство с состоянием дел за рубежом	0,05	0,04	0,03
Интуиция	0,05	0,04	0,03

Таким образом коэффициент аргументации эксперта будет равен:

Ка = 0,3 + 0,4 + 0,03 + 0,03 + 0,04 + 0,05 = 0,85

Теперь можно определить коэффициент компетенции эксперта: Кк = (Кз + Ка) / 2 = (0,7 + 0,85) / 2 = 0,75

Групповая оценка предполагает формирование экспертной группы из числа экспертов, знающих друг друга по публикациям и может быть лично.

Предположим, что группа экспертов состоит из 10 человек. Они должны выбрать 5 самых компетентных, по их мнению. В таблице 18 представлена матрица взаимных оценок экспертов. Эксперты отмечают самых квалифицированных экспертов, проставляя, как в данном случае, число 1.

Таблица 18

Первая матрица взаимных оценок экспертов

Эксперт, которого назвали другие эксперты	Эксперт, который назвал других экспертов										Первая оценка: сколько раз назван	Какое место занимает эксперт
	1	2	3	4	5	6	7	8	9	10
1	Х			1	1	1		1		1	5	4, 5, 6, 7
2	1	Х	1	1		1	1	1	1	1	8	1, 2
3		1	Х		1						2	9, 10
4	1	1		Х			1	1		1	5	4, 5, 6, 7
5	1	1	1	1	Х	1	1		1		7	3
6			1		1	Х	1	1	1		5	4, 5, 6, 7
7	1	1	1	1	1	1	Х		1	1	8	1, 2
8				1				Х		1	2	9, 10
9		1	1		1	1	1		Х		5	4, 5, 6, 7
10	1							1	1	Х	3	8
Итого	5	5	5	5	5	5	5	5	5	5	50

Затем строится вторая матрица, в которой выбор соответствующих экспертов заменяется количеством его выборов другими экспертами. То есть оценки каждого эксперта заменяются его условной квалификацией, весомостью его выбора (см. табл. 19).

Таблица 19

Вторая матрица взаимных оценок экспертов

Эксперт, которого назвали другие эксперты	Эксперт, который назвал других экспертов										Вторая оценка	Какое место занимает эксперт
	1	2	3	4	5	6	7	8	9	10
1				5	7	5		2		3	22	7
2	5		2	5		5	8	2	5	3	35	3
3		8			7						15	8
4	5	8					8	2		3	26	5
5	5	8	2	5		5	8		5		38	2
6			2		7		8	2	5		24	6
7	5	8	2	5	7	5			5	3	40	1
8				5						3	8	10
9		8	2		7	5	8				30	4
10	5							2	5		12	9

Теперь становится понятно, каков уровень квалификации экспертов, определенной вполне объективным образом. Далее можно исключить из числа экспертов тех, кто оказался менее квалифицированными, или учесть весомость их суждений.

2. Определение вида экспертной оценки.

К основным видам экспертной оценки чаще всего относят следующие:

1. Метод «круглого стола» (дискуссия)

2. Метод «мозгового штурма»

3. Метод интервью (беседы)

4. Метод независимых суждений (анкетирование без обратной связи)

5. Метод «Дельфи» (анкетирование с обратной связью)

Рассмотрим их более подробно.