Формирование экспертной группы

Самостоятельным этапом прогнозных исследований методом коллективной экспертной оценки является формирование коллектива экспертов - экспертной группы.

При формировании экспертной группы решается вопрос о ее численности и составе. Основные требования к экспертной группе сводятся к обеспечению ее репрезентативности, т.е. представительности по компетентности экспертов и их численности.

Оценка компетентности экспертов

Качество экспертного прогноза в значительной степени определяется уровнем компетентности привлекаемых к опросу экспертов. Поэтому высокая компетентность эксперта является основным условием привлечения его к участию в разработке прогноза.

Все многообразие качественных характеристик компетентности чаще всего сводят к трем основным:

• эрудиция в смежных отраслях, определяемая научно-практическим кругозором эксперта;

• способность к научному предвидению;

• осведомленность эксперта в исследуемой области знаний.

В настоящее время наиболее распространенными являются следующие способы оценки компетентности экспертов:

• самооценка (субъективная оценка);

• оценка группой экспертов каждого специалиста;

• оценка на основе опыта и результатов прошлой деятельности экспертов.

В различных случаях используют либо один из этих трех способов, либо некоторую их совокупность.

Способом объективной оценки, как правило, оценивают эрудицию и способность к предвидению. В ряде случаев для объективной оценки компетентности используют коэффициент аргументированности суждений эксперта. Этот коэффициент учитывает структуру аргументов, послуживших эксперту основанием для того или иного суждения.

Источники аргументации, влияющие на мнение эксперта	Степень влияния источника
	Высокая	Средняя	Низкая
Производственный опыт	0,5	0,4	0,2
Проведенный теоретический анализ	0,3	0,2	0,1
Обобщение работ отечественных авторов	0,05	0,04	0,03
Обобщение работ зарубежных авторов	0,05	0,04	0,03
Личное знакомство с состоянием дел за рубежом	0,05	0,04	0,03
Интуиция	0,05	0,04	0,03

При составлении этой таблицы принималось во внимание следующее:

а) коэффициент аргументированности К_а не должен превышать 1;

б) значению К_а=1 соответствует высокая степень влияния на мнение эксперта всех источников аргументации; К_а=0,8 - средняя степень влияния; К_а=0,5 - низкая степень влияния;

в) К_а уменьшается при переходе от «производственного опыта» к «теоретическому анализу» и от последнего к прочим источникам аргументации. В других анкетах объективной оценки, используемых для определения компетентности эксперта, формулируются такие характеристики компетентности, как, например, стаж научной работы, занимаемая должность, ученая степень и звание, число научных трудов и т.д.

В качестве примера в таблице приведена подобная шкала с соответствующими градациями и баллами оценки для определения уровня проводимой экспертом научной работы.

Проводимая в настоящее время научная работа
Градация шкалы	Баллы оценки
Руководитель разработки системы или проекта	10
Руководитель разработки ряда подсистем	9
Руководитель разработки подсистемы	8
Руководитель разработки подсистемы (ряда элементов)	7
Руководитель разработки элемента подсистемы	6
Участие в разработке системы	5
Участие в разработке ряда подсистем	4
Участие в разработке подсистемы	3
Участие в разработке элементов подсистем	2
Участив в разработке элементов подсистемы	1

Оценку по каждой шкале также делят на максимально возможный балл (в данном случае равный 10). Таким образом, может быть получен ряд коэффициентов, характеризующих эрудицию эксперта.

Оценкой компетентности экспертов является и определение уровня их осведомленности на основе количественной оценки специализации экспертов и степени предпочтительности той или иной специализации для решения данного вопроса.

В этом случае результатом оценки является матрица компетентности экспертов, характеризующая уровень осведомленности каждого из экспертов по каждому из вопросов, содержащихся в предлагаемой анкете экспертного опроса.

Для построения матрицы компетентности экспертов каждому эксперту предлагается заполнить таблицу, характеризующую уровень осведомленности по соответствующей специализации.

Специализация	Уровень осведомленности (в баллах)
	0	1	2	3	4	5	6	7	8	9	10
Динамика, баллистика						+
Аэродинамика					+
Силовые установки						+
Точность конструкции							+
Оборудование				+
Системы управления					+
Эффективность			+

Каждый эксперт, заполнив такую таблицу, указывает свой уровень осведомленности по каждой из приведенных там специализаций. В дополнение к таблице должны быть даны градация осведомленности (от 1 до 10).

Далее строится матрица специализация экспертов по каждому вопросу анкеты

Специализация	Эксперты
	1	2	3	…	i	…	n
1	θ11	θ12	θ13	…	θ1i	…	θ1n
2	θ21	θ22	θ23	…	θ2i	…	Θ2n
3	Θ31	θ32	θ33	…	θ3i	…	θ3n
…	…	…	…	…	…	…	…
α	Θα1	θα2	θα3	…	θαi	…	θαn
…	…	…	…	…	…	…	…
s	Θs1	θs2	θs3	…	Rsi	…	θsn

Здесь используются следующие обозначения:

i- порядковый номер экспертов (1…n);

α - порядковый номер специализации (1…s);

θ_αi - условное число (балл), характеризующее уровень осведомленности i-го эксперта в α-й специализации (1…10).

Кроме этого, необходимо иметь заранее разработанную специалистами матрицу, характеризующую степень предпочтительности специализации эксперта, для установления наибольшей компетентности в конкретных вопросах, содержащихся в анкете:

Специализация	Вопросы анкеты
	1	2	3	…	β	…	m
1	R11	R12	R13	…	R1β	…	R1m
2	R21	R22	R23	…	R2β	…	R2m
3	R31	R32	R33	…	R3β	…	R3m
…	…	…	…	…	…	…	…
α	Rα1	Rα2	Rα3	…	Rαβ	…	Rαm
…	…	…	…	…	…	…	…
s	Rs1	Rs2	Rs3	…	Rsβ	…	Rsm

β - порядковый номер вопроса (1…m);

R_αβ - степень предпочтительности α-й специализации по β-му вопросу.

Для количественной оценки можно воспользоваться, например, следующей шкалой оценки предпочтительности

Шкала оценки предпочтительности специализации	Значение
Для данного вопроса эта специализация эксперта весьма существенна	2
Для данного вопроса эта специализация эксперта полезна	1
Для данного вопроса такая специализация эксперта несущественна	0

На основе матрицы специализации экспертов θ_αi и матрицы предпочтительности специализации экспертов R_αβ рассчитываются коэффициенты компетентности экспертов

где k_iβ - коэффициент компетентности (вес i-го эксперта по β-му вопросу).

В тех случаях, когда эксперт не ответил по каким-либо причинам на данный вопрос, его компетентность в этом вопросе считается равной нулю (k_iβ = 0).

Одним из путей объединения ряда объективных и субъективных оценок является определение обобщающего коэффициента компетентности для каждого i-го эксперта (α_i):

где

k_iz- оценка (коэффициент) компетентности i-го эксперта, полученная z-м способом;

l_z - весовой коэффициент z-го способа оценки в общей системе оценок;

z - индекс применяемого способа оценки (1…r).

Рассмотренные подходы к определению компетентности экспертов наиболее широко используются в методах коллективной экспертной оценки.