- Основные процедуры исследования методом экспертных оценок.

Основными процедурами исследования являются: подбор экспертов, организация процедур экспертизы, проведение опроса экспертов, обработка результатов опроса, представление результатов. Каждая из них, в свою очередь, может содержать ряд отдельных этапов.

Формирование группы экспертов как правило происходит методом «снежного кома». Для этого, в первую очередь, формируется предварительный список ведущих специалистовв данной области. Каждому из них предлагается назвать 10 специалистов, наиболее сведущих в изучаемом вопросе. Получив ответы, убедились, что в круг экспертов попали новые лица. Эти новые лица, в свою очередь, могут назвать еще по десять экспертов. Доля повторно названных экспертов увеличилась, но появились и несколько новых, еще не названных никем. Итак процедура повторяется до тех пор, пока в ответах перестают появляться новые фамилии и перечень закрывается. Мы получили полный список экспертов, сформированный самими экспертами. Можно прервать процедуру отбора и раньше, когда, например, накопится 90-95% повторений. Ошибка выборки в этом случае будет несущественна для дальнейших оценок.

Далее, составив коллектив экспертов, нужно предусмотреть учет неравноценности мнений его членов, поскольку существует объективная проблема разного уровня знаний и опыта специалиста, попавшего в список. Каковы здесь могут быть критерии авторитетности экспертов? Прежде всего, это частота перекрестных упоминаний одних специалистов другими (так называемый индекс цитирования). Для этого составляется таблица по типу социометрической, в вертикальные столбцы которой помещаются фамилии (или номера) тех экспертов, «кто назвал», а в горизонтальные строки – тех, «кого назвали». (таблица3). В результате получаются «весовые коэффициенты» авторитетности экспертов. Данный метод целесообразен для формирования любыхэкспертных, ученыхи научных комиссий.

Традиционное формирование группы экспертов заключается в том, чтобы в нее были включены лица, способные провести экспертизу с учетом самых разнообразных сторон оцениваемо го объекта. Проводя, например, экспертизу внешнего вида нового товара, необходимо включать в группу дизайнеров и инженеров в равной пропорции. Опасностью при подборе экспертов следует считать завышение доли какой-либо подгруппы экспертов, заведомо единой (или близкой) в своем мнении. По этой причине нежелательно включать в экспертную группу людей, авторитет которых резко отличается от «среднего» авторитета членов группы. Если авторитет одного из членов группы очень высок – прочие эксперты будут склоняться к его мнению, а если он крайне низко – возникнут противоречия. Устранить такое влияние можно с помощью анонимной экспертизы, но это весьма сложно сделать.

Таким образом, классически процесс формирования группы экспертов осуществляется в такой последовательности:

1. Уяснение и формализация решаемой проблемы (постановка задач);

2. Определение круга областей деятельности, связанных с проблемой;

3. Определение долевого состава экспертов по каждой области деятельности;

4. Определение количества экспертов в подгруппах;

5. Составление предварительного списка экспертов с учетом их местонахождения;

6. Анализ качеств экспертов и уточнение списка экспертов в группе;

7. Получение согласия экспертов на участие в работе;

8. Составление окончательного списка экспертной группы.

Далее надежность экспертизы зависит от следующего этапа – опроса экспертов. В современной экспертизе используются различные методики опроса – от заочного почтового до групповой дискуссии. Для правильного выбора метода опроса следует знать о достоинствах и недостатках каждого из них. Например, при заочном почтовом опросе эксперты не знают об оценках коллег, что способствует выработке самостоятельного мнения. Недостаток в том, что в этом случае обоснование экспертных мнений существенно слабее, чем в групповой дискуссии. При групповой дискуссии обоснование экспертных оценок становится более аргументированным, хотя возникает опасность, что мнение каждого эксперта не является независимым.

Одновременно с процессом формирования группы экспертов группа управления реализует план организации экспертизы. При этом решаются следующие вопросы: место и время проведения; методики проведения опроса; количество и задачи туров опроса; форма проведения опроса; порядок фиксации и сбора результатов опроса; состав необходимых документов.

Следующим этапом стратегического плана исследования является организация и проведение обработки данных опроса. Наиболее распространенные и надежные методы упорядочения мнений экспертов – это метод ранжирования, балльные оценки, последовательные сравнения, парные сравнения и т.п.

Разработанный в настоящее время математический аппарат в программах обработки данных дает возможность получать интервальные шкалы предпочтимости при обработке экспертной информации, полученной методами парных сравнений и последовательных интервалов.

Одна из основных проблем математического обеспечения экспертизы – это достижение устойчивости группового выбора. Чем нормативнее требуемый результат, например, чем категоричнее требуемая рекомендация, тем большее значение имеет анализ устойчивости группового экспертного суждения. Проверка на устойчивость проводится, как правило, путем исключения из экспертной группы некоторого числа случайно отобранных экспертов (крайние оценки) и выработки группового суждения без учета мнений этих экспертов. Однако если исключение одного эксперта влияет на содержание последующего этапа группового суждения, то устойчивость такого суждения следует признать неудовлетворительной.