Глава 3. Методы оценки творческих задач  1. Метод экспертных оценок

Современный исследователь очень часто имеет дело с объектами сложной природы, для которых нет строгого математического описания. В этих случаях возникает необходимость в использовании опыта работы, эрудиции и интуиции высококвалифицированных специалистов, способных предлагать верные решения в условиях недостаточности информации.

При решении инженерных задач любым методом получается несколько вариантов решения проблемы. Возникает необходимость выбора. Какой из прототипов использовать? Как его модернизировать? Какой физико-технический эффект использовать? Ответить на все эти и многие другие вопросы одному человеку (даже специалисту) трудно. Кроме того, часто у изучаемых объектов нет строгого математического описания, что усложняет процедуру выбора. В этих случаях необходимо использовать опыт работы, эрудицию и интуицию (которая есть следствие эрудиции) высококвалифицированных специалистов – экспертов. Если использовать суммарную информацию, которой владеет группа, то с помощью специально разработанных процедур можно получить обобщенное суждение экспертной группы и оценить достоверность полученного результата. Таким образом, появляется возможность количественно выразить (квантифицировать) качественные характеристики изучаемого объекта. При этом реализуются возможности системного подхода, т.е. используется суммарная информация, которой владеет группа экспертов, применяются специально разработанные процедуры получения обобщенного суждения экспертной группы, оценки достоверности полученных результатов. Все это в совокупности образует метод экспертных оценок.

Метод экспертных оценок – это совокупность логических и математико-статистических методов и процедур, направленных на получение и обработку мнений специалистов с целью выбора оптимального плана действий.

Вместе с тем надо иметь в виду, что результаты групповой экспертизы не следует абсолютизировать, ибо они получены в условиях неполной информации, субъективны в своей основе и т.п. Так как результаты групповой экспертизы субъективны в своей основе, то их необходимо использовать как вспомогательных материал при принятии решения. Или в том случае, когда других результатов нет.

2.Метод Дельфи

Это метод был разработан сотрудниками «Рэнд корпорейшн» О.Холмером, Т.Гордоном и др.

Цель метода Дельфи – получение согласованной информации высокой степени достоверности от группы экспертов (повышение степени достоверности коллективных экспертных оценок).

Если опрашивать экспертов независимо друг от друга, то возможен разброс мнений в очень больших пределах. В этом случае КПД экспертизы стремится к нулю.

Если позволить экспертам взаимодействовать друг с другом (коллективное обсуждение проблемы), то возникает опасность появления единого мнения навязанного авторитетом коллег. В этом случае КПД экспертизы также близок к нулю.

В методе Дельфи осуществляется процедура, обеспечивающая обмен информацией о доводах и ответах без непосредственного взаимодействия экспертов друг с другом.

Метод Дельфи наиболее применим, если привлекать к работе экспертов, компетентных не по всей проблеме, а по различным ее составляющим.

Последовательность проведения экспертизы по методу Дельфи.

1. формирование постоянной рабочей группы, обеспечивающей сбор и обобщение мнений экспертов;

2. выбор необходимого для исследования количества и состава экспертов;

3. составление анкеты, в которой указываются основной и вспомогательный вопросы;

4. проведение опросов экспертов;

5. обобщение экспертных заключений и выдача рекомендаций по исследуемой проблеме.

Основные этапы опроса экспертов.

1. Уточнение объекта опроса. Получение новых мнений, рекомендаций, путей нового подхода к решаемой проблеме. Цель этого этапа – собрать всю информацию об исследуемом объекте и выделить наиболее существенные характеристики и ограничения.

2. Вероятностная оценка рабочей модели, ее характеристика, факторы, влияющие на нее. На этом этапе получают информацию, необходимую для выработки решения. Но на этом этапе информация не может быть сразу использована из-за несогласованности экспертных оценок.

3. Согласование оценок экспертов. Это этап может повторяться несколько раз, пока не будет достигнута достаточная согласованность мнений экспертов.

После каждого этапа производится сбор, статистическая обработка и анализ результатов опроса. 25% самых высоких и 25% самых низких оценок отбрасываются. Перед каждым следующим этапом экспертов информируют о результатах предыдущего этапа. Они при этом могут пересмотреть или исправить предыдущие ответы. Если их оценки попали в отброшенные 25%, то их просят обосновать свое мнение (анонимно).

Результаты опроса обрабатывают и вновь доводят до сведения экспертов, предоставив возможность опять пересмотреть оценки.

Как правило, трех этапов бывает достаточно для получения хорошо согласованных оценок экспертов.