13. Суждение по точке отсчета.
Если при определении экспертом субъективной вероятности предполагаемого будущего начальная информация используется как точка отсчета, то она существенно влияет на результат.
Так, при оценках вероятности событий группам людей давали завышенные и заниженные начальные значения и просили их скорректировать. Средние по группам ответы существенно различались [187].
14. Истина всегда где-то ближе к середине.
Это имеет место для случая, когда при оценивании эксперту заранее сообщают об ограничениях на возможные крайние значения перспективного показателя.
15. Сверхдоверие.
Опыты показали [183], что люди чрезмерно доверяют своим суждениям, особенно, когда это касается прошлых событий о вероятности редких явлений природы.
Проводя тестовые исследования со студентами в Гарвардской школе бизнеса, М. Альперт и Х. Райфа обнаружили, что 426 из 1000 построенных ими 98% доверительных интервалов не содержали истинного значения оцененного параметра [120].
Подобные результаты не редкость, хотя, на первый взгляд, кажутся неожиданными. Проводя совместно с С.А. Петровским эмпирическое исследование свойств гистограммных экспертных оценок, мы получили в тестовых исследованиях, что из общего числа 1413 оценок 782 оценки не содержали истинного значения [69].
При этом при построении гистограммных оценок испытуемых сначала просили указать границы оцениваемой величины, в которые ее истинное значение попадет практически со стопроцентной, по их суждению, уверенностью.
Изучению сверхдоверия как заблуждения посвящена работа [183]. Много ссылок на соответствующие исследования указано в работе [154].
16. Опрос экспертов как определенный этап их работы часто воспринимается лпр как некий «нулевой» цикл исследования.
В заключение этого обзора необходимо отметить, что недостатки одних субъектов при экспертном прогнозировании порождают трудности для других и, в конечном счете, воплощаются в ошибки, в том числе и систематические.
ЛЕКЦИЯ № 2. ТЕХНОЛОГИЯ ЭКСПЕРТНОГО ПРОГНОЗИРОВАНИЯ: СИСТЕМНЫЙ АНАЛИЗ
Прогнозы делаются либо непосредственно на основе мнений экспертов, либо опосредованно — на основе модели прогнозируемого объекта или процесса, разработанной с помощью экспертов.
В данной лекции мы рассмотрим прогнозирование на основе мнений экспертов. Оно может играть разную роль в различных социально – экономических условиях.
Экспертное прогнозирование как деятельность существенно зависит от социальной инфраструктуры, в рамках которой принимаются и реализуются решения. В одних условиях оно может быть чисто формальным и демонстрационным, вырождаясь в имитацию подлинного прогнозирования, в других, напротив, играет роль действенного фактора в системе управления.
Роль прогнозирования зависит и от характера самого управления, и от типа ответственности за принятие решений, и от господствующего в обществе менталитета, и от уровня развития демократии.
Под целью разработки экспертного прогноза мы будем понимать формирование научных предпосылок для принятия и практического осуществления на основе этого прогноза управляющих решений в условиях неопределенности эволюции прогнозируемого объекта или процесса. Другие цели, например воздействие на объект прогноза путем широкого распространения и конкретного использования полученных перспективных оценок (активный прогноз), мы преднамеренно оставляем за рамками нашего рассмотрения.
В связи с тем, что в настоящее время все более повышается цена качества и, соответственно, ошибки прогноза, мы обращаемся к проблемам технологии экспертного прогнозирования. Нельзя сказать, что в литературе нет подобных попыток. Правда, они реализуются в близкой прогнозированию области — экспертизе. Так, например, в работе С.Д. Бешелева и Ф.Г. Гурвича выделены следующие «...основные этапы проведения экспертизы, последовательность и конкретное содержание которых меняется в зависимости от целей экспертизы:
формулирование цели экспертизы и разработка процедуры опроса;
формирование группы специалистов-аналитиков (организаторов экспертизы);
отбор и формирование группы экспертов;
проведение опроса;
анализ и обработка информации, полученной от экспертов;
синтез объективной априорной информации и информации, полученной в результате экспертизы, с целью приведения их в форму, удобную для принятия решения» [9].
Мы примем схему С.Д. Бешелева и Ф.Г. Гурвича как добротную основу для рассмотрения и попытаемся развить ее. Конечно, большое разнообразие задач при разработке даже несложных прогнозов затрудняет формализацию процедуры их подготовки и реализации. Проведение же масштабных комплексных прогнозов усложняется многократно. Проблемы, возникающие при этом, рассмотрены в [20].
Естественно, что весь процесс экспертного прогнозирования должен быть четко организован и иметь определенную технологию его проведения, которая и будет ниже рассмотрена.
В сегодняшней практике заказчик прогноза или (и) ЛПР может принимать решения на основе собственных прогнозных суждений. В других ситуациях ЛПР, не являясь единственным специалистом по проблеме или вообще будучи недостаточно компетентным в ней (и понимая это), может «напрямую» привлекать экспертов. Вместе с тем становится все более очевидным, что для решения многих прогнозных задач недостаточно наличия субъектов двух типов — «Эксперта» и «ЛПР». При этом мы должны иметь в виду, что ЛПР и заказчик прогноза (далее по тексту — Заказчик), часто неразделимы.
Помимо экспертов, необходимо привлекать на постоянной основе еще и организаторов разработки прогнозов (далее по тексту — Организатор), а также специалистов в области методологического и методического обеспечения прогнозирования (Прогнозист), по сути исполняющих роль технологов.
Расширение числа субъектов, участвующих в разработке прогнозов, а также предложенная ниже технология экспертного прогнозирования, рассмотренная как объект системного анализа, позволяют повысить качество прогнозов.
Конечно, системно необходимо подходить и к объекту прогнозирования.
Системный характер также выражается в том, что как вид деятельности экспертное прогнозирование является элементом общего процесса обоснования, и принятия решений.
Но, главное, необходимо представить технологию экспертного прогнозирования как систему, т.е. как некоторое единство элементов, связанных в целое некоторыми отношениями (в частном случае – взаимодействиями).
Кроме того, необходимо выявить системнообразующие элементы и возможности их преобразования в системносоставляющие. Системность, таким образом, будет реализовываться в двушаговом подборе элементов технологии получения экспертного заключения.
На первом шаге разработки прогноза необходимо из нескольких множеств элементов технологии, рассматриваемых как системы и обладающих «системозначимыми» свойствами, выделить их подмножества.
На втором шаге из этих подмножеств выбираются элементы, обладающие «системоопределенными» свойствами.
Укажем три основных условия выделения этих подмножеств и подбора вышеуказанных элементов:
Специфика рассматриваемого объекта или процесса.
Ограничения следующего вида:
финансовые (оплата всей работы, независимых экспертов);
кадровые (возможности подбора экспертов, организаторов прогноза, прогнозистов);
временные (период, необходимый для организации и проведения прогноза);
Цели ЛПР и Заказчика и их уровень понимания проблемы.
На наш взгляд, основными системнообразующими элементами технологии экспертного прогнозирования являются:
1. Способы формирования экспертной группы. (В работах [79,100] указаны к таким способам отнесены способы взаимных рекомендаций, снежного кома и другие).
2. Способы опроса экспертов, в частности, анкетирование, интервьюирование.
3. Простейшие виды экспертных оценок, включая вербальные, балльные, интервальные, числовые [79].
4. Приемы отбора и способы выявления наиболее квалифицированных экспертов в группу и вывода из его состава [80].
5. Алгоритмические операции, позволяющие получать выбранный вид экспертной оценки (Например, Черчмена-Акофа или фон Неймана-Моргенштерна, описанные в монографии [49]).
6. Простейшие процедуры и методы, позволяющие получить новые знания от экспертов (например, «мозговая атака» или метод «Дельфи»).
7. Виды показателя ошибки для апостериорной оценки качества экспертного заключения (например, Е(х,у)=|х-у|, где х – оценка эксперта, у – истинное значение).
8. Основные принципы проведения экспертизы (например, такой как независимость экспертов от других субъектов экспертологии).
Используя этот новый подход, рассмотрим общую технологию разработки экспертного прогноза. Реализация каждого из этапов этой схемы и процедур внутри того или иного этапа осуществляется вышеупомянутыми субъектами. Часть этих процедур, особенно организационных, будет регламентироваться. Это относится к процедурам назначения экспертизы, отбора участников разработки прогноза, опроса экспертов и использования экспертных заключений.
На каждом этапе и в любой процедуре субъект наделяется своей долей прав и ответственности в зависимости от функциональной роли в процессе получения высококачественного экспертного заключения.
Предлагаемая нами 12-этапная схема отличается от приведенного выше списка этапов проведения экспертизы не только их составом и детальностью описания, но и указанием на связи между этапами и связи отдельных этапов с объектом прогнозирования. Она позволяет лучше отразить непрерывность процесса разработки прогнозов, что также важно для достижения их высокого качества.
Конечно, выделив именно эти двенадцать этапов разработки экспертного прогноза, мы должны иметь в виду, что последовательность и конкретное содержание каждого этапа может и должно меняться в зависимости от условий подбора.
Рассмотрим схему разработки технологии экспертного прогноза (Рис. ]).
Мы прекрасно понимаем, что предлагаемая технология разработки экспертного прогноза не идеальна и ее следует многократно опробовать при подготовке экспертных прогнозов.
Приведенная схема будет подробно рассмотрена при описании этапов. Однако вполне правомерен вопрос: достаточно ли она полна? Почему мы рассматриваем именно те этапы, что указаны в схеме, и почему именно в такой последовательности?
Возможно, схема и не полна. Представленный вариант аккумулирует предложения и разработки, описанные в литературе, и, конечно же, отражает точку зрения самого автора на процесс получения прогноза с помощью группы экспертов.
При разработке реальных экспертных прогнозов не все из указанных этапов наличествуют. В ряде случаев меняется порядок этапов. Но, на наш взгляд, такие отклонения от схемы приводят лишь к ухудшению качества прогноза.
В дальнейшем при описании этапов в квадратных скобках указываются субъекты, реализующие каждую задачу.
Входная
и
нформация
о
т
ЛПР