2. Две групповые оценки, данные двумя одинаковыми группами экспертов, которые были отобраны случайным образом, должны быть близкими при оценке определенной проблемы.

Существенно важной для повышения достоверности результатов экспертизы является тщательная ее подготовка.

2. Подготовка экспертизы

Общих правил для подготовки и проведения экспертизы, одинако­вых во всех случаях, нет. Однако можно ориентировочно наметить следующие основные этапы проведения экспертизы, последователь­ность и содержание которых будет изменяться в зависимости от реальных условий и ограничений:

- формулирование цели экспертизы и разработка процедуры опроса;

- формирование группы специалистов-аналитиков, которые будут проводить опрос и анализировать полученные результаты;

- отбор и формирование группы экспертов;

- проведение опроса;

- анализ и обработка информации, полученной от экспертов;

- синтез объективной (статистической) информации из информа­ции,

полученной в результате экспертизы (субъективной), с целью

приведения ее в форму, удобную для принятия решения.

Рассмотрим некоторые из этих этапов подробнее. Практика пока­зывает, что наличие четко сформулированных целей и ясно понятых потребностей является обязательным условием обеспечения надежного результата, экспертизы. Полезным инструментом формирования цели является описание предыстории и трущего состояния проблемы. Кроме того, при формулировании целей важно иметь представление о специфических особенностях и интересах возможных групп специалистов, которые могут участвовать в экспертизе.

Выбор целей и характер процедуры экспертизы в значительной степени определяется существом проблемы, предполагаемыми конеч­ными результатами и возможными способами их представления. Уро­вень принятия решения (общегосударственный, отраслевой, предприя­тие) определяет широту диапазона, количество альтернатив и сте­пень формализации процедуры. Поэтому при формулировании цели экспертизы, прежде всего, необходимо четко установить признак, по которому надлежит производить оценку, а также - условия исполь­зования экспертных оценок. Если целей несколько, то оценки по различным шкалам нужно постараться свести к единой шкале, напри­мер за счет установления цели более высокого ранга.

Важнейшие задачи группы специалистов-аналитиков заключаются в разработке метода и модели опроса, в отборе экспертов, прове­дении опроса, анализе и обобщении информации. Группа аналитиков должна обеспечить условия для наиболее плодотворной работы экс­пертов как за счет разработки наиболее эффективной системы кон­тактов с самими экспертами и экспертов между собой, так и путем выбора процедуры опроса наиболее соответствующей характеру проб­лемы. В составе этой группы должны быть как специалисты в облас­ти анализируемой проблемы, так и математики, психологи, социологи.

Группа аналитиков разрабатывает перечень оцениваемых событий и устанавливает совокупность факторов, характеризующих эти события.

Задание совокупности факторов зависит от специфики целей экс­пертизы и может быть выполнено на разном уровне детализации. Так, можно наметить следующие уровни:

- качественное описание всего множества оцениваемых событий;

- перечень событий;

- описание устойчивых факторов или признаков для каждого из событий;

- выделение числа различимых уровней для каждого события;

- выделение числа различимых уровней для каждого фактора.

От уровня детализации существенно зависит достоверность результатов экспертных оценок – чем он выше, тем, как правило, выше степень согласованности мнений экспертов. Следует, однако, учи­тывать то, что излишняя детализация приводит к большим затратам времени и средств. Кроме того, человеческий мозг может проанали­зировать ограниченное число факторов и связей между ними, поэтому надежность информации при излишней детализации снижается.

В случаях, когда оценка множества событий производится впер­вые, формирование совокупности устойчивых признаков (факторов) может быть выполнено самими экспертами или аналитиками и экспертами совместно.

Задача аналитиков также состоит в обеспечении экспертов всей доступной объективной (статистической) информацией, имеющей от­ношение к анализируемой проблеме, а также – в информировании экс­пертов об источниках возникновения проблемы и о путях решения аналогичных проблем (если они были) в прошлом.

Важное значение имеет составление вопросников (анкет). Основное требование здесь – обеспечить однозначное толкование вопросов и возможность выразить числом ответ на каждый вопрос.

В зависимости от характера требующейся информации, возможнос­тей ее получения и интерпретации, существующие методы опроса можно подразделить на:

- индивидуальные и групповые,

- личные (очные) и заочные,

- открытые и закрытые.

На проблеме индивидуальных и групповых опросов мы остановимся несколько позднее, что же касается личного метода опроса, то под ним подразумевается процедура, в процессе которой аналитик осуществляет непос­редственный (личный) контакт с экспертом при подготовке ответов на вопросы анкеты. Заочный опрос обычно осуществляется путем пересылки анкеты эксперту по почте. Основные преимущества заоч­ного опроса – его простота и дешевизна. Однако надежность полу­ченных данных может быть ниже, чем при очном опросе, поскольку на некоторые вопросы эксперт может вообще не ответить, а неко­торые – неправильно истолкует. Очный опрос помогает исключить эти недостатки, однако при относительно больших затратах труда и времени могут возникать нежелательные искажения информации вследствие психологического воздействия аналитика на эксперта. Кроме того, необходимость дли­тельного участия в экспертизе обычно вызывает недовольство со стороны эксперта.

Установлено, что члены экспертной группы не любят начинать работу с "чистого листа" бумаги. Набор конкретных вопросов, а часто и предполагаемых ответов помогают эксперту лучше понять задачу и быстрее ответить на поставленные вопросы. Поэтому в основе большинства экспертных методов лежит анкета (опросный лист), с помощью которой и осуществляется сбор необходимой информации.

Анкета - Это структурно организованный набор вопросов, каждый из которых логически связан с центральной задачей (целью) экс­пертизы. Обычно вопросы анкеты принято различать по трем основаниям: по содержанию, форме и функциям. Все вопросы анкеты в зависимости от их содержания можно разделить на три группы:

1. Объективные анкетные данные о самом эксперте (его возрасте, образовании, профессии, стаже работы, научном звании, узкой специализации и проч.);

2. Характеристики, позволяющие оценить мотивы, которыми руко­водствуется эксперт при оценке исследуемой проблемы.