5. Опрос экспертов.

Обычно опрос экспертов осуществляется с помощью анкет.

Анкета – это структурно организованный набор вопросов, каждый из которых логически связан с другими вопросами и отвечает поставленным целям.

Анкета должна обеспечить единственное толкование вопросов и, по возможности, формирование их количественной оценки. Если последнее не удается сделать, то прибегают к оценке сравнительной интенсивности признака с помощью методов упорядочивания.

Вопросы анкеты принято различать по:

1. содержанию:

а). объективные данные о самом эксперте (возраст, образование,

профессия, стаж работы, научное звание, специализация и

т.д.);

б). характеристики для определения мотивов, которыми

руководствуется эксперт при оценке исследуемой проблемы;

в). основные вопросы, касающиеся существа проблемы.

2. форме:

а). прямые и косвенные:

б). открытые и закрытые.

В прямых вопросах цель экспертизы просматривается явно, а в косвенных она замаскирована (или нет уверенности, что эксперт может дать определенную информацию по интересующей проблеме).

На открытые вопросы ответ может даваться в любой, произвольной форме. Преимущество таких вопросов в том, что могут появиться новые, зачастую неожиданные аспекты решаемой проблемы. Недостатком же является высокая вероятность индивидуальной интерпретации вопросов экспертами, что приводит к несопоставимости данных, получаемых от них. Кроме того, анализ ответов на такие вопросы весьма трудоемок.

В отличие от этого закрытый вопрос уже в своей формулировке содержит варианты возможных ответов (альтернатив) при т.н. дихотомическом вопросе – «да» или «нет». Достоинства – строгость и однозначность восприятия вопросов, а также малые затраты труда на обработку ответов; недостаток – существующая опасность навязывания ответов эксперту.

При ответе на поставленный вопрос эксперту позволительно уклоняться от него или выдвигать свою альтернативу ответа.

Конкретный вопрос с определенным набором ответов называется признаком анкеты.

Методы опроса можно разделить на:

• индивидуальные и групповые;

• очные (личные) и заочные;

• открытые (для посторонних) и закрытые и т.д.

Каждый метод опроса экспертов должен быть основан на учете

взаимосвязи явно выраженных признаков и скрытой (латентной) переменной, связанной с определенным отношением эксперта к исследуемой проблемы.

6. Обработка экспертной информации.

6.1. Ранжирование и оценка факторов.

При экспертизе довольно часто приходится сталкиваться с ситуацией, когда не представляется возможным непосредственно измерить и сравнить факторы (порой различной природы), от которых зависят конечные результаты. Тогда прибегают к т.н. ранжированию – расположению факторов в порядке возрастания или убывания какого-либо присущего им свойства, т.е. по их относительной значимости (важности) в решении поставленной проблемы.

В общем случае, ранжирование используют тогда, когда:

• факторы не соизмеримы по своей сущности;

• их необходимо упорядочить по какому-то признаку (свойству), определяющему степень влияния на решаемую задачу;

• не требуется точно определять само влияние фактора;

• измерение, в принципе, возможно, но не требуется сейчас.

При ранжировании эксперт должен расположить объекты в

порядке, который представляется ему наиболее рациональным. Затем приписать каждому из них число натурального ряда – ранги: например,

«1» – самому предпочтительному, «N» - самому незначительному. Или наоборот.

В идеальном случае число рангов должно быть равно числу ранжируемых объектов. Но на практике эксперт может сомневаться и присвоить разным объектам один и тот же ранг. Тогда имеет место случай, когда идеальное условие не соблюдается и ранжировку нормализуют: факторам с одинаковыми рангами приписывают дробный ранг (“вес”), равный среднему значению мест, которые эти факторы поделили между собой.

Пример: пусть шести факторам присвоены следующие ранги:

Факторы ранжирование	1	2	3	4	5	6
Простая	1	2	4	2	3	4
Нормализованная	1	2,5	5,5	2,5	4	5,5

Здесь 2-ой и 4-ый факторы поделили 2-е и 3-е места, поэтому их нормализованные ранги будут равны (2 + 3)/2 = 2,5. Соответственно для 3-го и 6-го факторов - (5 + 6)/2 = 5,5. Оставшемуся 5-му фактору (4-е место) будет присвоен 4-й ранг.

В результате, сумма рангов для n факторов будет равна сумме чисел натурального ряда:

где: R_i – ранг i-го фактора

Это является условием нормальной ранжировки.

При групповой экспертизе ранжирование производят так:

сначала для каждого i-го фактора подсчитывают сумму рангов S_ij , полученных от всех экспертов:

А затем для каждого фактора устанавливают результирующий ранг.

В итоге формируется следующая «матрица рангов»:

Таблица 4.2.

Матрица рангов

Факторы ( i )	Эксперты ( j )				Сумма рангов	Результирующий ранг
	1	2	3	4
1	R11	R12	R13	R14		R1
2	R21	R22	R23	R24		R2
3	R31	R32	R33	R34		R3
4	R41	R42	R43	R44		R4
5	R51	R52	R53	R54		R5
6	R61	R62	R63	R64		R6

Здесь R_ij – ранг, присвоенный i-ому фактору j-ым экспертом.

Результирующие ранги тоже могут быть нормализованы.

Для наглядности и возможного априорного отсеивания факторов можно построить диаграмму убывания влияния факторов. Для этого пользуются данными графы «сумма рангов». Причем, если самый значимый фактор оценивался «единицей», то отсчет начинают не с «нуля» по оси ординат, а с числа, несколько большего максимальной суммы рангов для отдельных факторов.

Пример:

Рис 4.1. Диаграмма убывания степени влияния факторов.

Здесь показан наиболее благоприятный случай быстрого экспоненциального падения степени влияния факторов. Диаграмма показывает, что основное влияние на изучаемую проблему оказывают 1,2,4 и 5-й факторы. 3 и 6-й факторы несущественны и ими можно пренебречь, т.е. в дальнейшем не рассматривать.

Если же распределение близко к равномерному, то это свидетельствует о большом расхождении мнений экспертов в оценке влияния факторов. И, видимо, в разных условиях одни и те же факторы оказывают разное влияние:

Рис 4.2. Диаграмма влияния факторов, близкое к равномерному.

Замечание. Точность и надежность ранжирования во многом зависят от количества оцениваемых факторов. Считается, что чем их меньше, тем выше их «различимость» с т.з. эксперта. Тем более надежно можно установить ранг фактора.

По мнению специалистов, наибольшая надежность обнаруживается при n<10.

Более четкое различие между факторами достигается в других модификациях метода ранжирования. Рассмотрим некоторые из них.