Добавил:
Upload Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз: Предмет: Файл:
ИСУ - Курс Лекций.doc
Скачиваний:
0
Добавлен:
21.11.2018
Размер:
9.02 Mб
Скачать

Глава 6. Экспертные оценки в решении проблем

Сущность и содержание метода экспертных оценок

Сущность метода экспертных оценок заключается в проведении экспертами интуитивно-логического анализа проблемы, с количественной оценкой суждений и формальной обработкой результатов. Полученное в результате обработки обобщенное мнение экспертов принимается как решение проблемы: Комплексное использование интуиции (неосознанного мышления), логического мышления и количественных оценок с их формальной обработкой позволяет получить эффективное решение проблемы.

Можно ориентировочно наметить следующие основные этапы проведения экспертизы, последовательность и содержание которых будут изменяться в зависимости от реальных условий и ограничений:

  1. формулирование цели экспертизы;

  2. формирование группы специалистов-аналитиков;

  3. отбор и формирование группы экспертов;

  4. проведение опроса;

  5. анализ и обработка информации экспертов;

  6. синтез объективной (статистической) информации и информации, полученной в результате экспертизы, с целью приведения их в фор­му, удобную для принятия решения.

Подготовка экспертизы

К подготовке экспертизы относятся первые три этапа проведения экспертизы. Большое значение имеет четкое определение щели (целей) экспертизы. Основой для выбора целей экспертизы является описание предыстории и текущего состояния проблемы. Выбор целей и характер экспертизы в значительной степени определяются существом проблемы, предполагаемыми конечными результатами и возможными способами их представления.

После определения цели (целей) экспертизы формируется группа специалистов-аналитиков, важнейшими задачами которой являются разработка методов опроса, отбор экспертов, проведение опроса, анализ и обобщение информации.

Достоверность экспертизы зависит от количества экспертов в группе и качества экспертов. На рис. 7.1 представлен график экспериментальных данных, устанавливающих монотонное возрастание достоверности с увеличением количества экспертов в группе.

Рис. 7.1. Зависимость достоверности от количества экспертов

Проведение опроса экспертов

Проведение опроса экспертов (анкетирование) является наиболее эффективным и самым распространенным видом опроса. Анкетирование заключается в заполнении экспертами опросных листов-анкет.

Серьезного внимания требует подбор вопросов (признаков), которые желательно включить в анкету.

Различают три вида вопросов, по которым дается экспертная оценка:

  • вопросы, ответы на которые содержат количественную оценку;

  • вопросы, требующие содержательного ответа в сжатой форме;

  • вопросы, требующие содержательного ответа в развернутой форме.

Классический метод экспертных оценок Дельфи

Сущность метода Дельфи состоит в последовательном анкетировании экспертов различных областей науки, техники и формировании массива информации, отражающего индивидуальные оценки экспертов, основанные на строго логическом опыте. Данный метод предполагает использование серии анкет, в каждой из которых содержатся информация и мнения, полученные из предыдущей анкеты.

Сбор и обработка индивидуальных мнений экспертов о прогнозах развития объекта исследования производится исхо­дя из следующих принципов:

  • вопросы в анкетах ставятся таким образом, чтобы можно было дать количественную характеристику ответам экспертов;

  • опрос экспертов проводится в несколько этапов, на каждом последующем этапе вопросы и ответы все более уточняются;

  • после каждого этапа всех опрашиваемых экспертов знакомят с результатами опроса;

  • эксперты обосновывают оценки и мнения, отклоняющиеся от мнения большинства;

  • статистическая обработка ответов производится последовательно, от этапа к этапу, с целью получения обобщающих характеристик.

Покажем, как используется метод при подготовке научно-технических прогнозов [7.1].

Опрос экспертов производится в четыре этапа с промежутками в два месяца.

Первый этап. Целью первого этапа является составление перечня событий для прогноза в определенной области науки и техники. Первая анкета может быть полностью бесструктурной и допускать любые ответы.

Эксперты в письменной форме называют изобретения или научные открытия, которые, по их мнению, должны быть сделаны в последующие 50 лет (можно взять и другой период). При этом требуется доказать, что потребность в данных открытиях ощущается уже в настоящее время, поэтому их реализация должна осуществиться в течение 50 лет. В результате этого этапа эксперты называют определенное число событий (изобретений и открытий).

После того как прогнозы группы возвратились к организатору, он должен объединить их, идентифицировать и составить перечень, который становится основой второй анкеты.

Второй этап. Экспертам направляют сводный перечень событий и просят оценить даты, когда могут произойти эти события. Эксперты приводят соображения, по которым они считают свои оценки правильными, т.е. указывают причины того, почему, по их мнению, то или иное событие не должно произойти раньше или позже прогнозируемой ими даты.

После того как прогнозы и оценки дат, сделанные членами группы, вернулись к организатору, последний должен подготовить статистическую сводку мнений, упоминая аргументы и доводы в пользу того, что рассматриваемое событие произойдет раньше или позже средней оценки.

Затем аналитики проводят статистическую обработку полученных оценок: уточняют перечень событий и анализируют характеристики ряда, т.е. рассчитывают медианы, моды, квартили и децили.

Под медианой понимается такое значение прогнозируемого признака (к примеру, времени реализации некоторого события), которым обладает центральный член ряда, составленного в порядке возрастания значений признака. Под модой понимается наиболее часто встречающееся в ранжированном ряду значение прогнозируемого признака. Квартилем называется значение прогнозируемого признака, которым обладают члены ряда под номером, представляющим 1/4 всего ряда (нижний квартиль) и 3/4 от всего ряда (верхний квартиль). Аналогично определяются децили.

Предположим, что от экспертов получено какое-либо число оценок, например 11. Эти оценки упорядочиваются, скажем, в порядке убывания. За медиану принимается средний член ряда (при нечетном числе экспертов), по отношению к которому число оценок с начала и с конца ряда будет одинаковым.

При четном числе экспертов медиана равна среднему из значений оце­нок двух центральных экспертов. В нашем случае — нечетное число экспертов 11, медиана будет совпадать с оценкой N6 (рис. 7.5). Затем определяются верхний и нижний квартили, т.е. интервалы и . Величины этих квартилей в первом приближении равны значениям оценок ряда в интерва­ле, равном 25% от начала и 25% от конца ряда. Таким образом, медиана и квартили образуют на оси ряда четыре интервала, среди которых два средних и считаются наиболее предпочтительными. Полученные таким образом показатели принимаются за характеристики распределения оценок: медиана служит характеристикой группового ответа, а предпочтительный интервал квартилей — показателем разброса индивидуальных оценок.

Рис. 7.5. Медиана и квартили в методе Дельфи

Каждому эксперту сообщаются значения этих характеристик. Экспер­тов, чьи оценки оказались в крайних квартилях, просят их мотивировать, т.е. обосновать причины расхождения с групповым мнением. Эксперты могут приводить любые аргументы или возражения, такие же, какие они приво­дят во время дискуссии. Разница заключается лишь в том, что эти аргумен­ты анонимны. Они могут пересмотреть свои мнения и при желании испра­вить оценки.

С полученными обоснованиями знакомят остальных экспертов, не указывая при этом, чьи они. Такая процедура позволяет всем экспертам принять в расчет обстоятельства, которые они могли случайно пропустить или которыми пренебрегли во время первого и второго этапа.

Третий этап. Третья анкета состоит из перечня событий, групповой медианы дат наступления события, верхнего и нижнего квартилей для каж­дого события, а также сводных данных (аргументов) о причинах более ранних или поздних оценок. Участники экспертизы вновь рассматривают аргументы и формулируют новые оценки по каждому событию. Если их новая оценка не попала в интервалы между квартилями, полученными на втором этапе опроса, то их просят обосновать свою точку зрения.

После того как пересмотренные оценки и новые аргументы возврати­лись к организатору, он опять должен суммировать оценки группы, рассчитав новые медианы и новые квартили, суммировать аргументы, пред­ставленные с обеих сторон, и подготовить на этой основе новые прогнозы.

Четвертый этап. Участникам экспертизы вновь передают перечень событии, статистическое описание оценок группы и аргументы обеих сторон.

Эксперты должны принять во внимание аргументы и их критику и составить новый прогноз.

Организатор рассчитывает медианы и квартили дат для каждого собы­тия. На этом заканчивается работа экспертов.

Процедуры, используемые в методе Дельфи, характеризуются тремя основными чертами: анонимностью, регулируемой обратной связью и груп­повым ответом. Анонимность достигается применением специальных воп­росников или другими способами индивидуального опроса, регулируемая обратная связь осуществляется за счет проведения нескольких этапов опро­са, причем результаты каждого этапа обрабатываются и сообщаются экс­пертам. С помощью статистических методов группового ответа уменьшается статистический разброс индивидуальных оценок и получается групповой ответ, в котором правильно отражено мнение каждого эксперта.