1.4. Экспертные методы исследования систем. Общие сведения

1.4.1. Сущность и организация экспертных методов исследования систем управления

Среди методов, применяемых для анализа поведения систем управления (СУ) и решения многих управленческих задач, наиболее часто используются экспертные, поэтому они заслуживают отдельного рассмотрения.

Сущность экспертных методов заключается в качественной и количественной оценке группой экспертов изучаемого объекта с дальнейшей статистической обработкой полученной информации. Эти методы применяются в ситуациях значительной неопределенности, когда объект анализа не поддается формализации или отсутствуют статистические данные.

Для общего руководства экспертными работами следует назначать председателя экспертной комиссии. В составе комиссии организуют две группы: рабочую и экспертную. Рабочую группу возглавляет ее руководитель (организатор). В его подчинение входят работники, осуществляющие технические работы по подготовке материалов, обработку результатов работы экспертов и т.п. В экспертную группу входят специалисты по решаемым проблемам. Формирование этой группы осуществляет руководитель (организатор) рабочей группы.

1.4.2. Подбор экспертов

Подбор экспертов проводится на основе анализа качеств каждого из них. Для этой цели используются разнообразные способы: – оценка кандидатов на основе статистического анализа результатов прошлой деятельности в качестве экспертов; – коллективная оценка кандидата в эксперты как специалиста в данной области; – самооценка кандидата в эксперты; – аналитическое определение компетентности кандидатов в эксперты.

Компетентность экспертов может определяться по следующей формуле:

К_S = K^O_S*R^C_S/100,

где К_S – показатель компетенции s-го эксперта; K^O_S – показатель объективной оценки компетентности s-го эксперта; R^C_S – показатель субъективной оценки компетентности s-го эксперта по пятибалльной шкале.

1.4.3. Разновидности сбора мнений экспертов

Очень важна форма сбора мнений экспертов. По фактору участия экспертов в работе различают индивидуальную, коллективную и смешанную формы сбора мнений.

По методу сбора экспертных оценок различают следующие: анкетирование, интервьюирование, дискуссия, мозговой штурм, Дельфийский метод, совещание, деловая игра, сценарий.

Наиболее часто практикуется анкетирование, которое позволяет с меньшими трудозатратами (хотя и с большими затратами времени) собрать мнение экспертов.

Мозговой штурм. Автор метода – американский психолог А. Осборн. Мозговой штурм (мозговая атака) – метод стимуляции творческой активности, основанный на свободных ассоциациях, при котором оценка и критика идей (гипотез) предпринимаются не сразу, а только после того, как все идеи (гипотезы) высказаны участниками группы (экспертами) в течение определенного времени.

Этот метод предназначен для группового обсуждения проблем и может использоваться в качестве вспомогательного на этапе выдвижения гипотез. Состав группы 7 – 12 человек. Почему мозговая атака эффективна? В психологии творчества неоднократно подчеркивалось, что выдвигаемые идеи могут быть «задавлены» неконструктивной критикой. Оценка, точнее ожидание негативной оценки со стороны окружающих, сдерживает процесс выдвижения гипотез. Поэтому критику и анализ идей необходимо отделить от процесса их генерации. По данным Д. Джонса, исследовательская группа из 6 человек способна за полчаса выдвинуть 150 идей. Исследования эффективности мозгового штурма, проведенные в одном из университетов США, показали, что групповое мышление производит на 70 % больше ценных новых идей, чем сумма индивидуальных мнений.

Для того чтобы мозговая атака была успешной, необходимо, чтобы каждый ее участник придерживался следующих правил:

• по данному вопросу можно высказывать какие угодно идеи;

• ответы должны быть краткими и простыми;

• время выступления каждого участника 1 – 2 минуты;

• выступать можно много раз, но нельзя одному человеку говорить долго;

• запрещаются критика участников и их предложений, а также иронические реплики и замечания, в том числе несловесные проявления оценки: мимика, смех, жесты;

• количество идей важнее их качества;

• все высказывания фиксируются и объективизируются (нет персонального авторства);

• поощряются оригинальные, даже фантастические идеи, а также комбинации и обобщение идей;

• разрешается задавать вопросы с целью уточнения идеи;

• все участники мозговой атаки административно или юридически не зависимы друг от друга;

• синтез, критика и оценка идей проводятся специальной группой в конструктивной форме;

• задаваемые вопросы должны предполагать краткий (без обоснования) ответ.

Мозговая атака проводится в течение 30 – 40 минут. Формируются группы «генераторов идей», «синтеза» и «критиков». Мозговая атака проводится в три этапа.

1. Свободное высказывание идей и запись их на магнитофон (15–20 мин.).

2. Комбинирование (15–20 мин.).

3. Оценка и критика идей путем прослушивания записи и установление корреляционной связи между мнениями выступающих.

Каждая идея должна быть рассмотрена с точки зрения следующих критериев:

• соответствие предпосылкам и начальным требованиям;

• возможность ее реализации или отсутствие таковой;

• срок внедрения (длительный или краткий);

• соответствие этическим требованиям;

• фактор затрат на ее реализацию;

• новизна.

Преимуществами мозговой атаки являются: возможность получения большого количества оригинальных идей, малая длительность сеанса, научная обоснованность результатов при обработке. Недостатки состоят в неизбежности личного контакта, снижающего смелость высказываний, возможность появления абсурдных идей, сложность соз­дания благоприятной обстановки для мозговой атаки.

Разновидностью метода «мозговой атаки» является метод «635», когда в пределах одной группы обмен информацией осуществляется в письменном виде. Обычно в группе 6 человек. Каждому участнику раздаются специальные бланки, где отражаются 18 идей (6×3). После прохождения всех 6-ти участников бланки уже содержат 108 идей. (Каждый дополняет список новыми тремя идеями, и так 5 раз).

Сценарный метод. Этот метод представляет собой определенным образом организованную итеративную исследовательскую процедуру построения сценариев возможного развития СУ и исследования этих сценариев с целью выбора наиболее подходящей альтернативы.

Использование сценарного метода позволяет обеспечить научно обоснованными прогнозами конкретные области управленческой деятельности. В контексте сценарного метода под сценарием понимается гипотетическая картина последовательного развития во времени и пространстве событий, составляющих в совокупности эволюцию исследуемого объекта или ситуации в интересующем исследователя разрезе. В сценарии в явном виде фиксируются причинно-следственные зависимости, определяющие возможную в будущем логику и динамику изменений состояния системы и условия, в которых эти изменения будут происходить.

Сценарий является некоторой относительной, условной оценкой возможного развития системы, так как всегда строится в рамках предположений о будущих условиях развития, которые чаще всего принципиально непредсказуемы. Другими словами, сценарий отвечает на вопрос: что может произойти, если условия развития сложатся так, а не иначе.

Дельфийский метод – метод экспертной оценки будущего, т.е. экспертного прогнозирования. Этот метод разработан в 1964 г. американской исследовательской корпорацией РЭНД для получения относительно надежной информации в ситуациях ее острой недостаточности.

Сущность метода Дельфи состоит в последовательном анкетировании экспертов различных областей науки и техники; математико-статистической обработке полученного массива информации и корректировке экспертами своих оценок на основе каждого цикла обработки.

В целях минимизации расходов на прогноз стремятся привлекать минимальное число высококвалифицированных и дорогостоящих экспертов при условии, что ошибка результата прогнозирования не более b, где 0 < b < 1.

Минимальное число экспертов N_min определяют по формуле [10]

N_min = 0,5(3/b + 5).

При этом должна наблюдаться стабилизация средней оценки прогнозируемой характеристики. О достижении этой стабилизации свидетельствует тот факт, что включение нового эксперта или исключение эксперта из группы не изменяет относительную оценку искомой величины более чем на b.

Сбор и обработка индивидуальных мнений экспертов производятся, исходя из следующих принципов:

а) вопросы в анкетах ставятся таким образом, чтобы можно было дать количественную характеристику ответам экспертов;

б) опрос экспертов проводится в несколько туров, в ходе которых вопросы и ответы все более уточняются;

в) все опрашиваемые эксперты знакомятся после каждого тура с результатами опроса;

г) эксперты обосновывают оценки и мнения, отличающиеся от мнения большинства;

д) статистическая обработка ответов производится последовательно от тура к туру с целью получения обобщающих характеристик.

Таким образом, с помощью метода Дельфи выявляется преобладающее суждение специалистов по какому-либо вопросу в обстановке, исключающей их прямые дебаты между собой, но позволяющей им, вместе с тем, периодически сравнивать свои суждения с ответами и доводами коллег. Пересмотр и возможность изменения своих прежних оценок на основе выяснения соображений каждого из экспертов и последующий анализ каждым участником совокупности причин, представленных экспертами, стимулируют опрашиваемых к учету факторов, которые они на первых порах склонны были опустить как незначительные.

При использовании метода Дельфи необходимо учитывать следующее:

1) группы экспертов должны быть стабильными, численность их должна удерживаться в благоразумных рамках;

2) время между турами опросов должно быть не более месяца;

3) вопросы в анкетах должны быть тщательно продуманы и четко сформулированы;

4) число туров должно быть достаточным, чтобы обеспечить всем участникам возможность ознакомиться с основаниями для той или иной оценки, а также и для критики этих доводов;

5) должен проводиться систематический отбор экспертов;

6) необходимо иметь данные самооценки компетенции экспертов по рассматриваемым проблемам;

7) нужна формула согласованности оценок, основанная на данных самооценок;

8) следует установить влияние различных видов передачи информации экспертам по каналам обратной связи;

9) необходимо установить влияние общественного мнения на экспертные оценки и на сходимость этих оценок.

Пример расчета оценок в методе Дельфи дан в [17].