2.3 Метод Дельфи

Наибольшее распространение в практике экспертного оценивания получил комбинированный метод Дельфи¹, который сочетает в себе достоинства индивидуальных и коллективных методов. Он позволяет при корректном использовании избежать или значительно ослабить методические недостатки экспертных методов, связанные с возможной предвзятостью экспертов в оценках, заинтересованностью их в нужном конечном результате, неодинаковой компетентностью и пр.

В соответствии с этим методом для экспертного решения какой-либо проблемы создается экспертная комиссия в составе рабочей и экспертной групп. В состав рабочей группы входят организатор и технические работники. Организатор руководит работой на всех ее этапах. Он должен быть специалистом в исследуемой области, а также знать основные положения экспертных методов. Основной задачей организатора является своевременный, правильный и объективный анализ получаемой от экспертов информации и корректировка работы всей экспертной группы. Технические работники осуществляют опрос экспертов и обработку получаемой информации. В экспертную группу следует включать высококвалифицированных специалистов ïî оцениваемой проблеме (исследователей, проектировщиков, технологов, специалистов из служб качества и надежности и т. д.). Численно группа должна быть 6—12 человек. При необходимости увеличения достоверности экспертных оценок численный состав группы может быть увеличен до 15—20 человек в зависимости от масштаба проблемы и сложности решаемых вопросов. Состав группы утверждается соответствующим приказом или распоряжением по организации, в котором оговариваются конкретные цели работы, состав группы и ее руководитель, сроки начала и окончания работы. Для эффективной и качественной работы такая группа может быть сформирована как постоянно действующий орган с постоянным составом. Эксперты должны быть компетентны в решаемой проблеме, обладать коммуникабельностью при общении с людьми, а также они должны быть способны противостоять мнению большинства, т.е. быть уверенными в своей правоте и мотивировать свои мнения. Таким образом, правильный подбор состава экспертной группы является необходимым условием успешного решения поставленной проблемы. Экспертную группу обычно подбирают в несколько этапов. Вначале устанавливают отрасли знаний, так или иначе связанные с рассматриваемой проблемой. Затем намечают список “потенциальных” экспертов, которые по своим профессиональным качествам компетентны в этих областях знаний. Такой предварительный отбор проводится на основе легко доступной информации о профессиональной подготовке кандидата — должность, стаж практической деятельности, участие в других экспертизах и т.д. При этом желательно, чтобы кандидат в экспертную группу имел широкий общий кругозор и эрудицию. Сама группа не должна, по возможности, состоять из представителей одной узкой специальности, чтобы исключить влияние ведомственных интересов на цели экспертизы и не сделать получаемые результаты тенденциозными. Если предполагается использовать в экспертизе открытые опросы, то состав группы экспертов должен быть однородным, чтобы исключить “давление авторитетом”. Первоначально намеченный список кандидатов подвергается дальнейшему анализу для решения вопроса о численном составе экспертной группы, который зависит от ограничений финансового, временного и организационного характера. В окончательный список экспертной группы включают тех кандидатов, которые являются наиболее компетентными.

Компетентность эксперта есть степень его квалификации в определенной области знаний. Она определяется посредством анализа его профессиональной деятельности, широты кругозора по перспективам развития рассматриваемой проблемы.

В зависимости от профессиональной подготовки эксперта ему приписывается определенный балл. Такая информация позволяет предварительно отобрать и ранжировать кандидатов по их компетентности.

В практике экспертного оценивания широко используют оценку компетентности эксперта методами самооценки и взаимной оценки, при этом компетентность эксперта оценивают коэффициентом Kk, который определяют на основе квадратной матрицы (табл.1), составленной по результатам опроса, проводимого по следующему алгоритму.

Каждому кандидату в экспертную группу предлагается оценить по балльной шкале профессиональные качества в исследуемой области всех остальных кандидатов, включая и самого себя. При этом обязательно должно накладываться нормировочное условие:

где bi - балл, выставляемый i-му кандидату;

B - установленное заранее суммарное значение.

Таблица 1

	Э к п е р т ы
	1	2	...	l	...	...	n
1	b11	b12	...	b1l	...	...	b1n
2	b21	b22	...	b2l	...	...	b2n
...	...	...	...	...	...	...	...
k	bk1	bk2	...	bkl	...	...	bkn
...	...	...	...	...	...	...	...
...	...	...	...	...	...	...	...
n	bn1	bn2	...	bnl	...	...	bnn

Оценки выставляются в индивидуальных анкетах с целью исключения взаимовлияния кандидатов и сводятся в матрицу членами рабочей группы. Главная диагональ представляет собой коэффициенты самооценки, а средняя в каждом столбце, рассчитываемая без учета коэффициента самооценки - коэффициент взаимооценки.

Окончательно коэффициент компетентности каждого кандидата рассчитывается по выражению:

Кк = 0.6Кво + 0.4Ксо,

где Кво и Ксо коэффициенты самооценки и взаимооценки соответственно.

На практике оценивание методом Дельфи получило наибольшее распространение в тех областях деятельности, где невозможно или затруднительно провести проверку объективными инструментальными методами, например при оценке качества отдельных видов продукции. При этом перед экспертной группой ставится, в основном, две задачи:

сформировать перечень единичных показателей качества, наиболее полно характеризующих оцениваемую продукцию;

определить коэффициенты весомости выбранных показателей.

Качество продукции в рассматриваемом случае может быть определено по модели вида:

,

,

,

где К - комплексный показатель качества;

m - количество единичных показателей качества;

Pj и Pjб - значение единичного показателя для оцениваемого и базового видов продукции соответственно²;

aj - коэффициент весомости j-го показателя качества.

Данный подход может вполне быть использован для решения и других задач. Например, в практике деятельности военных представительств, а также ремонтных предприятий ГРАУ актуальной является задача объективной оценки деятельности различных подразделений. Эта задача решается довольно просто для подразделений, имеющих производственные показатели деятельности и довольно сложна для ВП, групп ВП, отделов и служб таких показателей не имеющих. В этих случаях объективное определение их деятельности может быть произведено путем разработки методик оценки качества работы группы ВП, ВП, отдела, службы и т.д. за определенный период (месяц, квартал, год) экспертными методами.

Обычно экспертам предлагается опросная анкета, в которой каждому из n экспертов предлагается написать перечень m признаков, характеризующих, по их мнению, конкретный объект (изделие, технологический процесс, комплексный показатель качества изделия или технологического процесса и т.д.). Затем экспертам предлагается вторая анкета, где количественные признаки должны быть ранжированы по их значимости. Если, по мнению экспертов, ряд признаков не различается по силе их влияния на исследуемый объект, то им присваивается один и тот же порядковый номер (ранг). На основании этих данных составляется итоговая матрица рангов (табл. 2).

Таблица 2

Признаки	Э к с п е р т ы
Pj	1	2	...	i	...	n
1	r11	r12	...	r1i	...	r1n
2	r21	r22	...	r2i	...	r2n
...	...	...	...	...	...	...
j	ri1	ri2	...	rij	...	rin
...	...	...	...	...	...	...
m	rm1	rm2	...	rmj	...	rmn

На основании данных табл.2 техническими работниками проводится оценка степени согласованности (взаимосвязи) опрошенных экспертов. Необходимость в проведении такой процедуры обусловливается двумя основными моментами: во-первых, в силу индивидуальных особенностей каждого эксперта, уровня его знаний и представлений об объекте признаки могут быть истолкованы далеко неоднозначно; во-вторых, ранжирование признаков может быть произведено неквалифицированно из-за недостаточной изученности объекта. Оценка степени согласованности экспертных мнений может быть осуществлена с помощью коэффициента конкордации. Если в матрице рангов (см. табл. 2) в i-м столбце имеются равные значения рангов, то коэффициент конкордации:

, где

,

,

tj— число рангов j-го признака в каждой строке матрицы рангов.

Если в матрице рангов (см. табл. 13) отсутствуют равные значения рангов в каждой из строк, то

При полном совпадении мнений экспертов W = 1, а при полном несовпадении W = 0. В практических ситуациях 0 < W < 1. При близости коэффициента конкордации к нулю (W = 0.05 - 0.10) следует сделать заключение о том, что состав экспертов подобран неудачно или объект изучен недостаточно полно. И, наоборот, при W, близком к единице (W > 0.9), может оказаться, что экспертиза проведена формально без должного изучения объекта. В обоих указанных случаях экспертизу следует повторить. Значимость (отличие) коэффициента конкордации W от нуля может быть проверена по z-критерию Фишера:

.

Если z > z, то с вероятностью (1—) (— уровень значимости критерия) можно утверждать, что имеется неслучайная согласованность во мнениях экспертов. В этом случае z находится по формуле ( ), а z - с помощью статистических таблиц. Исходными данными для получения z, являются уровень значимости z -критерия, который обычно берется равным 0.01-0.10, и степени свободы 1 и 2 :

Значения z при = 0,05 приведены в табл. П1. Если z < z то с вероятностью P > 1- можно утверждать, что между экспертами нет согласованности и необходимо провести новое анкетирование или выявить группу экспертов, у которых согласованность мнений достаточно высокая. С этой целью определяется статистический коэффициент компетентности каждого эксперта (Приложение 2), и данные наименее компетентного исключаются из итоговой матрицы рангов. Для оставшихся экспертов пересчитывается коэффициент конкордации.

Процедура исключения экспертов продолжается до тех пор, пока значение W не станет больше или равно 0.5

На основании окончательно полученной матрицы рангов рассчитывается коэффициент весомости каждого единичного показателя - aj

Процедура ранжирования единичных показателей обладает одним существенным недостатком: вследствие ступенчатого строго убывающего порядка рангов коэффициенты весомости единичных показателей качества отличаются один от другого на постоянную величину  = aj - aj-1, следовательно, зависимость aj = f(j) является линейной. Данное обстоятельство существенно ограничивает выражение степени предпочтения экспертами в тех случаях, когда один или несколько экспертов считают, что какой-либо показатель имеет доминирующее влияние на комплексный показатель в целом и, следовательно, его коэффициент весомости должен быть существенно больше остальных.

Указанный недостаток может быть компенсирован заменой ранжирования на процедуру балльной оценки показателей качества, которая полностью аналогична рассмотренному выше порядку оценки компетентности кандидатов в экспертную группу.

Каждому эксперту предлагается распределить некоторое значение баллов между всеми единичными показателями качества. Обычно при этом используется шкала 0 - 100 баллов. Оценка степени согласованности экспертов может быть осуществлена двояким способом.

При использовании первого способа балльные оценки каждого эксперта предварительно переводятся в ранги по правилу:

b1  b2  . . .  bm-1  bm  r1  r2  . . .  rm-1  rm ,

где bj - балл, присвоенный соответствующему показателю,

rj - ранг этого показателя,

а затем проводится известная процедура оценки согласованности мнений экспертов путем расчета коэффициента конкордации.