М Лекция 8 (3/3) етоды и процедуры коллективной экспертизы

В процессе исследования сложных систем один эксперт не в состоянии учесть вое факторы и взаимосвязи, предвидеть возможные последствия решений и направле­ния развития систем в будущем, оценить вероятность большого числа альтернатив. Выработка сложных решений или составление полноценного прогноза требуют участия группы опытных специалистов. Поэтому, наряду с индивидуальными метода­ми получения информации, используются коллективные экспертные методы.

Данные методы основаны на получении обобщенной и согласованной оценки группы экспертов, причем обычно эти оценки формируют в процессе прямого получения коллективного мнения, в процессе совместного обсуждения и решения поставленных проблем. Коллективные экспертные методы получения информа­ции основаны на принципах выявления групповых мнений по исследуемой ситуа­ции. Преимущество групповых оценок заключается в возможности всестороннего анализа количественных и качественных аспектов рассматриваемых проблем.

Методы коллективных экспертных оценок позволяют: а) получить необходи­мую информацию в относительно короткие сроки; б) обеспечить установление не­посредственной обратной связи между экспертами; в) ускорить согласование мне­ний экспертов за счет личных контактов и аргументации; г) обеспечить возмож­ность уточнения мнений экспертов с учетом дополнительной информации.

Использование коллективных экспертных методов для исследования систем базируется на следующих предпосылках:

• мнение группы экспертов (специалистов) надежнее, чем мнение одного че­ловека;

• коллективная ответственность позволяет принимать более «рискованные» решения;

• интервал оценок, полученных от экспертов, включает в себя «истинную» (объективную) оценку;

• применение математических методов и логических процедур, используемых для объединения мнений экспертов, позволяет получить согласованное мне­ние группы.

Основным достоинством коллективных экспертных оценок является достаточ­но высокая степень точности и согласованности получаемых результатов. Основ­ной недостаток — возможность взаимовлияния экспертов друг на друга.

При использовании методов коллективных экспертных оценок необходимо соблюдать ряд требований.

Во-первых, необходимо формирование специальных рабочих групп, функци­ями которых является организация и проведение опроса, обработка и анализ полу­ченных результатов.

Во-вторых, при проведении опроса следует обеспечить однозначность пони­мания вопросов, а также относительную независимость суждений экспертов.

В-третьих, должна быть проведена обработка результатов, которые характе­ризуют обобщенное мнение и степень согласованности индивидуальных оценок экспертов.

Существует много модификаций методов коллективной экспертизы:

• метод совещаний (комиссий);

• метод «круглого стола»;

• метод Дельфи;

• метод «мозговой атаки»;

• метод «суда» и др.

Метод совещаний (комиссий) заключается в работе объединенных в комиссию экспертов, т.е. это метод открытого обсуждения проблемы. Он является наиболее простым и традиционным методом в исследовании проблем управления и пред­полагает выработку единого мнения по обсуждаемому кругу вопросов. Метод име­ет следующие недостатки: а) в процессе совещания существенную роль играют та­кие психологические факторы, как мнение авторитетов, к которому могут присое­диниться другие эксперты; б) при подобного рода обсуждениях часто происходит спор двух или трех наиболее авторитетных экспертов, в результате чего мнение других экспертов во внимание не принимается; в) в отдельных случаях негатив­ную роль может сыграть нежелание отдельных экспертов отказаться от публично высказанного ранее мнения.

Разновидностью совещаний являются дискуссии, которые проводятся как от­крытые коллективные обсуждения рассматриваемых проблем, основной задачей которых является всесторонний анализ всех факторов, положительных и отрица­тельных последствий, выявление позиций и интересов участников. Результаты дискуссии фиксируются в виде стенограммы или магнитной записи. После окон­чания дискуссии проводится анализ записей для более четкого представления ос­новных результатов.

Метод «круглого стола». Специальная комиссия обсуждает проблему с целью согласования мнений и выработки единого решения. Недостатком метода является то, что зачастую эксперты руководствуются логикой компромисса, что иногда снижает качество принимаемых решений.

Одним из наиболее эффективных методов экспертного исследования является метод Дельфи — получение согласованного мнения и оценки экспертов с помо­щью специальной программы последовательных индивидуальных опросов экспер­тов. Реализация метода предусматривает ряд последовательно осуществляемых процедур, направлен­ных на формирование группового мнения по проблемам, общим свойством которых является недостаточность информации.

Основные особенности и принципы экспертизы по методу Дельфи:

• полный отказ от личных контактов экспертов, опрашиваемых по конкретной проблеме;

• обеспечение экспертов необходимой информацией;

• сохранение анонимности оценок, аргументации и критики;

• обоснование ответов экспертов по запросу организаторов экспертизы;

• возможность количественной оценки ответов экспертов;

• несколько туров проведения экспертизы;

• информирование экспертов о результатах каждого тура;

• выявление оценок и мнений, отличающихся от мнения большинства;

• статистическая обработка результатов.

В методе Дельфи предусматривается создание условий, обеспечивающих наи­более продуктивную работу экспертной комиссии. Это достигается анонимностью процедуры, с одной стороны, и возможностью пополнить информацию о предмете экспертизы, с другой стороны. Еще одно важное свойство — обратная связь, позволяющая экспертам корректировать свои суждения. Анонимность достигается при­менением специальных вопросников или другим способом индивидуального опроса, например на основе интерактивной работы эксперта с компьютером. Регули­руемая обратная связь осуществляется за счет проведения нескольких туров опроса, причем результаты каждого тура обрабатываются с помощью статистических ме­тодов и сообщаются экспертам.

Таким образом, дельфийское согласование — итерационное исследование на базе использования обратной связи индивидуальных экспертных мнений с промежу­точными результатами усредненных экспертных оценок и проведением его кор­рекции с мотивировкой авторов крайних оценок, отклоняющихся от мнений боль­шинства. Обычно в качестве групповой оценки принимается медиана и два квар­тиля (т.е. среднее суждение экспертов).

Метод мозговой атаки получил широкое распространение с начала 50-х годов как «метод систематической тренировки творческого мышления, нацеленный на открытие новых идей и достижение согласия группой людей на основе интуитив­ного мышления». Методы этого типа известны также под названием «мозговое штурм», «конференция идет, а в последнее время наибольшее распространение получил термин «коллективная генерация идей».

Существуют общие правила, принципы проведения мозговой атаки:

• обеспечивать максимальную свободу мышления и высказывания новых идеи

• приветствовать любые идеи, даже если они кажутся сомнительными или аб­сурдными (обсуждение и оценка идей предусматривается позднее);

• не допускается критика;

• чем больше идей, тем лучше;

• обмен мыслями и сочетание идей.

В зависимости от принятых правил и жесткости их выполнения различают прямую мозговую атаку, метод обмена мнениями и другие виды коллективной: обсуждения идей и вариантов принятия решений. При организации сессий кол­лективной генерации идей возможно введение дополнительных правил, ориенти­рующих участников на наиболее ценные и конструктивные идеи, с тем, чтобы обсуждение шло по пути их развития и обобщения. Данный метод целесообразно ис­пользовать для решения нетривиальных проблем, не поддающихся привычным ре­шениям, например для разработки инновационной стратегии, тактики управления маркетингом и т.п.

Метод суда основывается на том, что организация работы экспертов прово­дится в соответствии с правилами ведения судебного процесса Использование этого метода особенно полезно при наличии нескольких подгрупп экспертов, каждая из которых отстаивает свою точку зрения.

Особое место в группе экспертных методов занимает эвристическое программи­рование. Эвристические методы базируются на творческом, нестандартном мышле­нии. Исследование закономерностей творческого процесса занимает важное место в методологии системного анализа, оно является предметом изучения специальной отрасли знания, называемой эвристикой. Эвристика в широком смысле представля­ет собой раздел психологии, изучающий природу мыслительных операций человека при решении им различного рода задач. Психологические теории творчества смогли объяснить процессы мышления лишь частично, не обеспечивая необходимой полно­ты и достоверности. Тем не менее, на их базе разрабатывается и успешно развивается направление, называемое эвристическим программированием, когда основой компь­ютерных программ являются результаты изучения процесса решения различных за­дач реальными людьми: шахматистами, музыкантами, логиками-теоретиками.

В отличие от компьютера, человек способен целесообразно действовать в ус­ловиях, когда ни описание исходной ситуации, ни пути достижения решения не формализованы. Это качество особенно важно в процессе реализации системного анализа. Так, первые два шага стратегии системного проектирования могут быть осуществлены исключительно на базе использования эвристических приемов. Формулировка функции объекта, определение целей, построение эталонных си­стем — эти и другие шаги могут быть реализованы эвристически, интуитивно или с помощью специальных методов стимулирования творчества.