3. Основные вопросы по существу исследуемой проблемы. По форме различаются следующие типы вопросов:

1. открытые и закрытые;

2. прямые и косвенные.

Вопрос называется открытым или свободным, если ответ на него может быть дан в любой форме, т.е. ответ ничем не регламентирован. Вопрос называется закрытым, если в его формулировке содер­жатся варианты возможных ответов (перечень альтернатив) и эксперт должен остановить свой выбор на одном (или нескольких) из них. Одной из разновидностей закрытого вопроса является дихото­мический, в котором перечень возможных ответов исчерпывается альтернативой! "да – нет".

Конкретный вопрос с определенным набором ответов на него на­зывается признаком анкеты. Набор ответов может быть качественно­го характера, когда задача эксперта заключается в выборе одного ответа из набора предложенных, и может быть количественного ха­рактера, когда ответам на вопросы анкеты присваиваются числовые оценки.

Достоинство открытых вопросов заключается в возможности об­наружения с помощью экспертов новых, порой совершенно неожидан­ных для аналитика аспектов проблемы. Недостатки этого метода заключаются в том, что повышается вероятность произвольной ин­терпретации вопросов со стороны эксперта, что может привести в итоге к несопоставимости данных, полученных от группы экспертов, и, кроме того, в том, что анализ ответов, полученных на открытые анкеты - дело чрезвычайно трудоемкое. Закрытые вопросы этими недостатками не обладают, но таят в себе опасность навязать экс­перту ответ, в особенности тогда, когда эксперт не имеет сложив­шегося мнения по проблеме или его мнение не совпадает с набором ответов, предложенных в анкете. Поэтому, если у аналитиков нет твердой уверенности, что все возможные альтернативы исчерпаны, следует предоставлять экспертам возможность выдвигать свои альтернативы или уклониться от ответа на некоторые из поставленных вопросов.

Цель экспертизы может быть замаскирована и тогда признаки анкеты могут быть косвенными. Такие анкеты применяются чаще все­го в случаях, когда нет твердой уверенности, что эксперт по данному вопросу захочет (сумеет) дать определенную информацию.

3. Отбор экспертов

Работу по отбору экспертов обычно начинают с определения области научных, технических, экономических, административных и т.д. интересов, которые будут затронуты в процессе решения данной проблемы.

После этого составляется, список лиц, компетентных в этих областях. Этот список является основой для отбора "кандидатов" в эксперты. Составляя этот список, исходят, прежде всего, из ком­петентности того или иного специалиста в области его непосред­ственной деятельности. Вместе с тем желательно, чтобы кандидат в эксперты обладал широким кругозором, был достаточно эрудиро­ван и в смежных отраслях знания. Кроме того, надо выявить потенциальные цели экспертов, противоречащие целям экспертизы, т.е. убедиться в отсутствии (наличии) причин, которые могут по­влиять на сознательное смещение групповой оценки в направлении, желательном для данного эксперта или для группы экспертов. Ре­комендуется исключить из рассмотрения те события, в результа­тах которых эксперты лично заинтересованы.

Один из способов анализа компетентности кандидатов в экс­перты заключается, в подготовке специальных анкет, отвечая на которые эксперты должны показать свою эрудицию и аналитические способности. Дня оценки полученных ответов используется числен­ная шкала, например от 2 до 5. Главное внимание при заполнении анкеты уделяется способности эксперта ответить на поставленные вопросы и дать численную оценку своим знаниям в достаточно короткий срок, обычно 10-15 минут. Так, например, экспертам предлагается ответить на серию из 10 вопросов в течение 5 минут. Прежде, чем начать эксперимент, кандидатов в эксперты знакомят с инструкцией следующего содержания:

"Вас просят оценить ниже перечисленные вопросы соответствен­но объему Ваших знаний. Перед тем, как дать ответ, прочтите вни­мательно все 10 вопросов и отыщите один, который Вы, как Вам кажется, знаете лучше других. Дайте этому вопросу оценку 5. Затем отыщите вопрос, который, по вашему мнению, Вам знаком хуже других, дайте ему оценку 1. Остальные вопросы оцените по шкале 1, 2, 3, 4, 5 баллов так, чтобы вопрос, по которому Вы знаете почти так же много, как и по первому, получил оценку 5, вопрос, по которому у Вас средние знания, получил оценку 4 и.т.д. Таким образом, оценка любого вопроса является относительной и зависит от того, насколько велик объем Ваших знаний по этому вопросу. Не пытайтесь улучшать оценки, а будьте "импрессионичны", т.е. руководствуйтесь Вашим личным впечатлением".

После того, как будут получены данные до индивидуальной самооценке, можно получить самооценку каждого кандидата в экс­перты, Для этого надо сложить все оценки, которые он сам себе поставил, и поделить их на число вопросов:

Средняя групповая самооценка получается как частное от деле­ния индивидуальных самооценок на число экспертов в группе:

В результате получается численный индекс, который характеризует объем знаний данной групп по рассматриваемому кругу вопросов.

Практика экспертиз показывает, что хотя методы самооценки недостаточно точны для того, чтобы служить единственным крите­рием выбора экспертов, использование таких процедур дает воз­можность выполнить предварительный отбор группы наиболее ком­петентных специалистов. Есть данные, подтверждающие наличие свя­зи между групповой самооценкой и точностью экспертизы.

На рис. 1 дана кривая, иллюстрирующая зависимость между групповой самооценкой и средней групповой ошибкой. Из ри­сунка видно, что средняя групповая ошибка монотонно убывает с возрастанием средней самооценки. Из этого следует, что если группу кандидатов в эксперты разделить на две подгруппы, одна из которых А имеет более высокую самооценку, чем группа в целом, а другая - В имеет более низкую самооценку, чем вся группа, то подгруппа А будет в среднем более точной, чем вся группа, а подгруппа В - менее точной.

Вместе с тем точность групповой оценки существенно зависит от числа экспертов в группе. При уменьшении числа экспертов точность оценки тоже уменьшается, так как на общую оценку излиш­нее влияние оказывает, индивидуальная оценка каждого из экспертов.

В то же время, при очень большом числе экспертов становится сложнее выявить их согласованное мнение из-за уменьшения роли тех суждений, которые хотя и отличаются от мнения большинства, но далеко не всегда оказываются ошибочными.

Установить оптимальную численность группы экспертов чрезвычайно трудно. Однако в последние годы 'разработан ряд подходов, которые позволяют хотя бы приблизительно решать вопрос о числе экспертов. На рис. 2 дана кривая, характеризующая зависимость между числом экспертов и средней групповой ошибкой, использова­ние кривых такого типа позволяет выбрать минимально необходимое число экспертов. Однако надо помнить, что каждая такая кривая обусловлена специфическими особенностями конкретной экспертизы и не имеет универсального характера.

При подборе и оценке числа экспертов нужно учитывать еще од­но ограничение, касающееся соответствия целей экспертизы целям экспертов. Группа не должна состоять из представителей одной уз­кой специальности, так как в этом случае их пение будет в опре­деленной степени тенденциозным. При отборе экспертов необходимо принимать во внимание характер экспертизы: степень сложности и остроты обсуждаемой проблемы, личные отношения экспертов в груп­пе.

Несмотря на то, что существующее сейчас метода отбора экс­пертов далеки от совершенства, их применение обеспечивает бо­лее высокую надежность результатов, чем "волевые" решения о назначении участников экспертиза.