- •Методы экспертных оценок.
- •Области применения мэо:
- •2. Две групповые оценки, данные двумя одинаковыми группами экспертов, которые были отобраны случайным образом, должны быть близкими при оценке определенной проблемы.
- •2. Подготовка экспертизы
- •3. Основные вопросы по существу исследуемой проблемы. По форме различаются следующие типы вопросов:
- •3. Отбор экспертов
- •4. Методы Дельфы
- •5. Методы ранговой корреляции
- •1. Качество лекций.
- •6. Проверка согласованности и достоверности экспертных оценок
- •1. Сокращение сроков выполнения работы в сфере управления предприятием.
- •2.4. Экспертные опросные процедуры «прямого» получения коллективного мнения
- •2) Получение индивидуальных оценок с последующей обработкой с помощью математических и статистических методов.
- •2.5. Мeтoды пoлyчeния индивидyaльнoгo мнeния члeнoв экcпepтнoй гpyппы
- •3.3. Оценка согласованности мнений экспертов
- •Данные обработки
4. Методы Дельфы
Одним из наиболее перспективных и плодотворных методов формирования групповой оценки экспертов является метод Дельфы, получивший название от греческого города Дельфы, где был расположен знаменитый оракул – Храм Аполлона – и где прорицательница Пифия и жрецы предсказывали будущее.
Метод представляет собой ряд последовательно осуществляемых процедур, которые характеризуется тремя основными чертами: анонимностью, регулируемой обратной связью и групповым ответом. Анонимность достигается тем, что эксперты не знают, кто еще участвует в экспертизе. Анонимность является способом уменьшения влияния отдельных (доминирующих) экспертов.
Регулируемая обратная связь осуществляется за счет проведения нескольких туров опроса, причем результаты каждого тура обрабатываются с помощью статистических методов и сообщаются экспертам. В ряде случаев экспертам предлагают обосновать свое мнение.
Проведение опроса в несколько туров, в течение, которых осуществляется ряд последовательных итераций, позволяет уменьшить колебания в индивидуальных ответах, ограничивает внутригрупповые колебания и имеет несравненные преимущества перед простым статистическим объединением индивидуальных мнений с помощью их усреднения.
Для осуществления опроса по методу Дельфы необходимо выполнить следующие правила:
- вопрос надо сформулировать так, чтобы ответ можно было представить в виде числа (числового ряда);
- эксперты должны располагать достаточной информацией, чтобы дать оценку проблеме;
- ответ на каждый вопрос должен быть обоснован экспертом.
Процедура проведений опроса заключается в следующем:
Опрос проводится в четыре тура. Во время первого тура эксперты должны дать оценку событиям, перечень которых разработан аналитиком. Эксперты также могут дополнить или сократить этот перечень. Далее процедуру метода разберем на конкретном примере оценки стоимости перспективного оборудования. Задача состояла в определении стоимости стойки сопряжения системы передачи K-10800. Обычный метод расчета себестоимости и цены изделия нельзя применить, так как нет данных по структуре себестоимости, цене покупных изделий, а сама стойка находится в процессе разработки. Экспертам было предложено назвать цену стойки, при этом они получили информацию о том, сколько стоят наиболее близкие к данной системы у нас и за рубежом, а также об условиях производства данной системы.
После первого тура опроса, результаты которого приведены в табл. 1, аналитики провели статистическую обработку полученных результатов (оценок).
Таблица 1
Эксперты |
I |
2 |
3 |
4 |
5 |
6 |
7 |
Оценки, руб. |
80000 |
57000 |
80000 |
120000 |
100000 |
100000 |
52000 |
Для этого оценки упорядочиваются, например, в порядке возрастания (рис. 3). Затем рассчитываются характеристики ряда – медиана и квартили.
За медиану принимается средний член ряда, по отношению к которому число оценок с начала и конца ряда будет одинаковым. В нашем примере медиана совпадает с оценкой 80 тыс. рублей, что видно из рис. 3
Рис. 3
Затем определяются верхний и нижний квартили, т.е. интервалы Q1M и MQ2. Диапазон этих квартилей в первом приближении равен значениям оценок ряда, составляющим примерно 25% от начала и 25% от конца ряда. Таким образом, медиана и квартили на шкале оценок образуют четыре интервала, среди которых два средних Q1M и Q2M считаются наиболее предпочтительными.
Полученные таким образом показатели прижимаются за характеристики распределения оценок: медиана характеризует групповой ответ, а предпочтительный диапазон квартилей – разброс индивидуальных оценок.
После первого тура опроса каждому из экспертов сообщили значение медианы и размах оценок между Q1 и Q2 (крайними квартилями). Экспертов, чьи оценки оказались в крайних квартилях, просили их мотивировать, т.е. обосновать причины расхождения с групповым мнением. Экспертам можно приводить любые аргументы или возражения, такие же, какие они приводят во время дискуссии. Разница заключается лишь в том, что эти ответы анонимны. Эксперты могут пересмотреть свои мнения и при желании исправить оценки. С полученными, обоснованиями знакомят остальных экспертов, не указывая, чьи они. Такая процедура позволяет всем экспертам принять в расчет те обстоятельства, которые они могли случайно пропустить или которыми пренебрегли или о которых не знали во время первого тура опроса.
После проведения второго тура повторяется процедура статистической обработки оценок, результаты которой вновь сообщаются экспертам. Все участники экспертизы во время второго тура должны обосновать свои решения. Их просят учесть возражения и прокомментировать их. В нашем примере по результатам оценок второго тура имели распределение, Показанное на рис. 4.
Рис. 4
После третьего тура опроса и соответствующей статистической обработки его результатов тех экспертов, чьи оценки не вошли в наиболее предпочтительный интервал, просят выдвинуть контраргументы в пользу своих оценок.
На четвертом и последнем этапе опроса все мотивировки вновь доводятся до сведения участников экспертизы, имеющих последнюю возможность пересмотреть свои ответы. Медиана этих окончательных ответов и принимается за оценку, наиболее близкую к единому мнению группы.
Если
оказывается, что эксперты приходят к
согласию раньше, чем за четыре тура, то
проводить все туры опроса нет
необходимости. В нашем случае оказалось
достаточно провести два тура опроса, в
результате которых было получено мнение
группы.
Практика показывает, что основные результаты использования метода Дельфы заключаются в следующем. По мере применения итерации и обратной связи сходимость индивидуальных ответов увеличивается. Улучшение средней оценки группы происходит при наличии двух предположений:
- эксперты, не изменившие своих оценок, дают более точный ответ;
- в процессе итерации средняя оценка экспертов, изменивших свое мнение, движется по направлению средней оценки группы.
Характер изменения оценок таков, что средняя оценка всей группы находится между средней оценкой экспертов, изменивших свое мнение и средней экспертов, оставивших свою оценку неизменной . Поскольку средняя оценка экспертов, не изменивших свое, мнение, обычно оказывается ближе к истинному ответу, предполагается, что последний находитсягде-то в заштрихованной области (рис. 5).
Из этого рисунка видно, что если средняя оценка экспертов, изменивших свое мнение, перемещается в направлении оценки всей группы, то средняя группы экспертов также будет смещаться вправо и в целом улучшится.
Рис 5. Изменение групповой оценки при итерациях
Практика применения метода Дельфы для решения различных задач показывает, что при использовании метода наличие в группе менее знающих специалистов оказывает не столь значительное влияние на групповую оценку, чем при простом усреднении оценок, поскольку итерация помогает этим экспертам улучшить свои знания за счет информации, получаемой от более компетентных специалистов. С другой стороны, более знающие специалисты, как правило, не располагают всей информацией, которая имеется у всех входящих в группу экспертов. Это позволяет и им улучшить свои оценки.
Метод Дельфы в настоящее время используется как при долгосрочном планировании, так и для изучения ряда экономических и социальных проблем. В отрасли связи его можно, например, применять при изучении потребностей в услугах связи, при изучении требований, предъявляемых потребителями к времени доставки информации, для оценки социальной эффективности средств связи, изучения степени влияния различных видов связи на результаты народнохозяйственной деятельности, в том числе на национальный доход, для оценки перспектив развития средств связи и т.д.
Перспективность этого метода для улучшения групповой экспертной оценки и углубленного анализа событий в ситуациях, характеризуемых значительной степенью неопределенности, особенно в сочетании с другими аналитическими методами, несомненна. Вместе с тем метод имеет и некоторые недостатки, среди которых необходимо отметить значительные затраты времени на процедуру опроса, а также невозможность прямого столкновения мнений экспертов что не всегда стимулирует "генерирование" идей, возникающее при личных контактах специалистов.