Министерство образования Российской Федерации

Государственное образовательное учреждение

Санкт-Петербургский государственный технологический институт

(Технический университет)

Кафедра финансов и статистики

Кафедра менеджмента и маркетинга

И.Л. Корнилова, Н.Н. Парамонова

ЭКСПЕРТНЫЕ ОЦЕНКИ В ИССЛЕДОВАНИИ СИСТЕМ УПРАВЛЕНИЯ

Учебное пособие

Санкт-Петербург

2004

УДК

Корнилова И.Л., Парамонова Н.Н. Экспертные оценки в исследовании систем управления: Учебное пособие. – СПб.: СПбГТИ(ТУ), 2004. – с.

Аннотация

Рис., табл., библиогр. назв.

Рецензенты: 1.

2. СПбГТИ(ТУ)

Утверждено на заседании учебно-методической комиссии факультета экономики и менеджмента .04.

Рекомендовано к изданию РИСо СПбГТИ(ТУ).

Оглавление

ВВЕДЕНИЕ 4

1 СОВРЕМЕННЫЕ МЕТОДЫ ПРОВЕДЕНИЯ ЭКСПЕРТИЗЫ 5

1.1 Мозговая атака 5

1.2 Метод синектики 6

1.3 Метод «Дельфы» 8

1.4 Практическое занятие: мозговая атака в форме деловой игры 11

2 ОСНОВНЫЕ ЭТАПЫ ПОЛУЧЕНИЯ ЭКСПЕРТНОЙ ОЦЕНКИ 13

2.1 Подбор экспертов 13

2.1.1 Факторы, влияющие на подбор экспертов 13

2.1.2 Оценка качества эксперта 16

2.2 Проведение опроса 22

2.2.1 Методы проведения опроса экспертов 22

2.2.2 Методы получения суждения от эксперта 25

Метод разбиения на множества 25

Методы ранжирования 25

Методы получения численных оценок 28

2.2.3 Практическое занятие: анкетирование и оценка компетентности экспертов 31

2.3 Обработка результатов опроса 33

2.3.1 Методы формирования групповой оценки 33

Обобщение оценок в номинальной шкале 33

Обобщение численных оценок 36

Обобщение ранговых оценок 37

2.3.2 Практическое занятие: формирование ранговой оценки, построение и использование балльной шкалы, формирование групповых оценок в различных видах шкал 39

2.3.3 Оценка согласованности мнений экспертов 42

Согласованность оценок в номинальной шкале 42

Согласованность численных оценок 43

Согласованность ранговых оценок 47

Выводы из оценки согласованности 49

2.3.4 Практическое занятие: оценка согласованности мнений экспертов 50

Приложение А 52

(рекомендуемое) 52

ТЕОРЕМА ЭРРОУ 52

Приложение Б 55

(рекомендуемое) 55

ДРУГИЕ МЕТОДЫ АКТИВИЗАЦИИ ИНТУИЦИИ И ОПЫТА СПЕЦИАЛИСТОВ 55

Деловые игры 57

Приложение В 59

(справочное) 59

ХИ-КВАДРАТ РАСПРЕДЕЛЕНИЕ 59

ЛИТЕРАТУРА 61

Введение

Все методы исследования систем управления можно условно классифицировать на три основные группы:

1. методы активизации интуиции и опыта специалистов (МАИС);

2. методы формального представления систем (МФПС);

3. комплексные методы – используют элементы и МАИС, и МПФС.

МФПС наиболее целесообразно использовать для исследования хорошо организованных систем (детерминированных и устойчивых). Для исследования плохо организованных систем (таких как системы управления в экономике) используются МАИС, поскольку для этих систем характерны высокая динамичность и стохастическая природа (элемент неопределенности выражен в значительной степени). Тем не менее, некоторые элементы таких систем могут быть хорошо организованы, что делает целесообразным использование также МФПС и комплексных методов.

Наиболее известными из МАИС являются экспертные оценки.

Экспертная оценка представляет собой точку зрения специалиста(-тов) (эксперта(-тов)) в определенной области, сформулированную в виде содержательной, качественной или количественной оценки. Т.е. оценка, данная экспертом, может представлять собой как некоторое суждение (совет, прогноз и т.п.), так и значение некоторого показателя, измеренное не обязательно в абсолютной шкале (оно может оцениваться в шкале наименований, порядков и т.п.).

Исследование, в ходе которого формируются экспертные оценки, называется экспертизой. Для проведения экспертизы создают рабочую группу (РГ), которая по поручению лица, принимающего решение (ЛПР) организует деятельность экспертов, объединенных в экспертную комиссию (экспертную группу, ЭГ).

1 Современные методы проведения экспертизы

1.1 Мозговая атака

Рассмотрим более подробно один из наиболее известных методов проведения экспертизы – метод мозговой атаки.

Мозговая атака (по-другому называется мозговой штурм, конференция идей, коллективная генерация идей (КГИ)) представляет собой коллективный метод выработки и согласования творческих идей группой специалистов на основе определенных правил, которые нацелены на создание как можно большей свободы в высказывании идей.

В основу ее проведения заложено предположение о том, что возникновению новаторских, оригинальных идей препятствуют некоторые контрольные механизмы сознания, а также стереотипные формы принятия решений. Чтобы избежать этого, необходимо побудить группу компетентных специалистов, экспертов, к свободным ассоциациям. Основной сложностью здесь является обеспечение благоприятной обстановки.

Для создания такой обстановки правилами мозговой атаки обычно рекомендуется:

1. высказывать как можно боль­ше идей, при­ветствовать любые идеи, даже если они кажутся сомнительными вплоть до абсурда;

2. на этапе генерации идей не допускать никакой критики, в т.ч. скрытой (скептические улыбки, уничижительная мимика и т.п.);

Такие приемы создают возможность появления так называемых цепных реакций идей, когда заведомо абсурдная мысль одного из участников обсуждения приводит к появлению у другого участника более близкой к реальности идеи и т.д. Обсуждение и оценка идей проводится позднее, на завершающем этапе мозговой атаки. Например, идея платить покупателю за приобретение своей продукции является абсурдной, но она приводит к другой идее - поощрять покупателей небольшими «подарками» (их стоимость на самом деле так или иначе возвращается за счет реализуемой продукции, но при этом у покупателя создается психологическое ощущение, что он получил что-то бесплатно). Поэтому обе названные идеи должны быть зафиксированы на этапе генерации идей, но на завершающем этапе, скорее всего, первая из них будет отброшена, а оставлена будет вторая, а возможно, и ряд других идей, к которым привела первая.

3. привлечение к атаке людей различных специальностей, разного уровня образования и опыта (с целью преодоления инерции, тривиальности мышления);

4. создание свободных и доброжелательных отношений между участниками штурма (в частности, нежелательна совместная работа руководителей и подчиненных, т.к. присутствие одних из них может в определенной степени стеснять других).

В зависимости от принятых правил и жесткости их выполнения различают:

• прямую мозговую атаку,

• метод обмена мнениями (типа научного совещания),

• методы типа комиссий, судов (когда од­на группа – генераторы идей - вносит как можно больше предложений, а вторая — старается их максимально критиковать)

• мозговую атаку в форме деловой игры

• и т.п.

В реальных условиях одним из основных препятствий созданию «атмосферы мозговой атаки» выступает влияние должностной структуры организации, в том числе, занятости специалистов. Не всегда есть возможность привлечь к мозговой атаке большое количество экспертов, одновременно «оторвав» их от другой деятельности. Для преодоления этого препятствия используют способы привле­чения компетентных специалистов, не требующие обяза­тельного их присутствия в конкретном месте в конкрет­ное время и устного высказывания своих мнений. В современных условиях для этого могут быть использованы, например, возможности Интернета.

В то же время, метод мозговой атаки имеет и ряд недостатков, основными из которых являются:

1. отсутствие четко сформулированных правил ее проведения (отсутствие дисциплины и регламента возведено в принцип, что, помимо своей положительной роли, может привести и к ряду достаточно очевидных отрицательных последствий);

2. поскольку выдвигаемые идеи никак не оцениваются на этапе генерации, это может приводить и к потерям ценных идей, уходу от правильного направления (если высказанная мысль никем не была подхвачена, не возникло цепной реакции);

3. значительный уровень информационного шума (т.е. ненужной информации), создаваемого тривиальными идеями.

Исследования эффективности метода КГИ показали, что групповое мышление производит на 70% больше ценных новых идей, чем сумма индивидуальных мышлений. Т.е. если 10 человек, работая по отдельности, смогли выдвинуть 100 идей – в среднем по 10 на человека (исключая из общего списка идей повторения) - то, используя мозговую атаку, их группа выдвинет около 170 идей. Наиболее продуктивными признаны группы в 10 – 15 человек, хотя имеются примеры использования и более многочисленных групп – до 200 человек [1].