Экспертные методы прогнозирования.
Рассмотренные выше статистические методы прогнозирования обеспечивают надежные результаты при наличии достоверной исходной информации. В случае, когда длина исходных динамических рядов оказывается недостаточной (неполнота информации), либо когда связь между исследуемыми явлениями носит качественный характер, применяются т.н. экспертные методы оценки. Существо экспертных методов заключается в организованном сборе суждений и предположений (опросе) специалистов (экспертов) по рассматриваемому вопросу с последующей обработкой полученных ответов и приведением их к виду, наиболее удобному для формирования прогноза.
Пример. Когда речь идет о прогнозировании объема продаж, то обычно торговый персонал и персонал торговых посреднических организаций имеет достаточно точное представление о потенциале продаж, который могут обеспечить их клиенты, и, кроме того, имеет возможность дать оценку потенциала рынка в целом, по крайней мере на той территории, которую он обслуживает. Проще всего попросить торговых работников дать оценки по каждому товару, но не абстрактно, а исходя из конкретных гипотез о маркетинговых усилиях в вопросах цен, рекламной поддержки и т.п. После этого менеджеры службы сбыта формулируют итоговые оценки, суммируя оценки всех экспертов.
Включить торговых работников в процесс прогнозирования полезно прежде всего для того, чтобы создать у них соответствующую мотивацию и способствовать принятию назначаемых им квот по продажам. Кроме того, они незаменимы при построении прогнозов продаж в очень малых сегментах, на уровне отдельной территории или отдельного клиента.
Очевидно, что зачастую трудно из-за отсутствия статистической и отчетной информации (особенно касающейся деятельности фирм-конкурентов) получить количественные оценки таких показателей, например, как показатели рыночной доли и динамики изменения объема продаж. В этом случае также могут использоваться экспертные оценки, формирующие чисто качественные значения этих показателей (в терминах “выше, на том же уровне, ниже” и тому подобное).
В экспертном прогнозировании существует несколько основных этапов:
Подготовка к разработке прогноза.
Анализ ретроспективной информации, внутренних и внешних условий.
Определение наиболее вероятных вариантов развития внутренних и внешних условий
Проведение экспертизы
Разработка альтернативных вариантов
Априорная и апостериорная оценка качества прогноза
Контроль хода реализации прогноза и корректировка прогноза
Рассмотрим подробнее эти стадии.
На стадии подготовки к разработке прогноза должны быть решены следующие задачи:
подготовлено организационное обеспечение разработки прогноза,
сформулировано задание на прогноз,
сформулированы рабочая и аналитическая группы сопровождения,
сформулирована экспертная комиссия,
подготовлено методическое обеспечение разработки прогноза,
подготовлена информационная база для проведения прогноза,
подготовлено компьютерное сопровождение разработки прогноза.
После принятия решения о разработке прогноза необходимо назначить исполнителей для этой разработки. Этой группе работников поручается организационное обеспечение разработки прогноза. Они также должны обеспечить методическое и информационное его сопровождение.
Качественный экспертный прогноз может быть разработан только тогда, когда он хорошо подготовлен, если в его разработке задействованы компетентные специалисты, когда использована достоверная информация, когда оценки получены корректно и корректно обработаны.
Для разработки качественного прогноза необходимо использование современных технологий, сопровождающих и поддерживающих процесс разработки.
В состав экспертной комиссии приглашаются специалисты, профессионально знакомые с объектом экспертизы. Если требуется многоаспектная оценка объекта, либо оцениваться должны разнородные объекты и для этого нужны специалисты разных профессий, то экспертная комиссия должна быть сформирована таким образом, чтобы в её состав входили специалисты, способные профессионально оценить все основные аспекты прогнозируемой проблемы.
Для отбора специалистов применяются методы: анкетирования, метод самооценки, метод коллективной оценки.
Метод анкетирования предполагает оценку деловых и профессиональных качеств эксперта по результатам ответа на специально поставленные вопросы. Степень пригодности специалиста определяется с помощью коэффициента компетентности:
а=ij/i (i=1,2,...,p)
где ij-весовой коэффициент, соответствующий j-ой альтернативе ответа эксперта на i-ый вопрос; i-максимальный весовой коэффициент для показателя i.
Метод самооценки используется, как правило, совместно с методом анкетирования. В процессе самооценки каждый специалист характеризует степень собственной осведомленности по частным вопросам с помощью одиннадцатибальной шкалы.
Метод коллективной оценки применяется, когда эксперты знают друг друга (очно или заочно). Суть метода - оценка прогностических способностей каждого специалиста другими членами группы.
Задачей аналитической группы является методическая подготовка процесса прогнозирования. В состав аналитической группы входят специалисты, обладающие профессиональными знаниями и опытом проведения прогнозных разработок. Разработка прогноза должна быть проведена методически грамотно, применяемые методы должны соответствовать характеру прогнозируемой ситуации и характеру информации, которую предстоит получить, проанализировать и обработать. Также разработка прогноза должна быть четко регламентирована, то есть рабочая группа должна подготовить необходимую документацию, в состав которой входят: официально оформленное решение о проведении прогноза, состав экспертной комиссии, график разработки прогноза, контракты со специалистами, привлекаемыми для его разработки и т.д. Специалисты должны быть обеспечены всей необходимой информацией об объекте прогнозирования. Полезным может оказаться специально подготовленный аналитической группой аналитический обзор по прогнозируемой проблеме. При работе с многовариантными прогнозами приходится иметь дело с большими объемами информации, которая к тому же, должна анализироваться и обрабатываться в соответствии с используемой технологией разработки прогноза. Это невозможно сделать без компьютера и соответствующего программного обеспечения.
При анализе ретроспективой информации об объекте прогнозирования предполагается четкое разделение количественной и качественной информации. Количественная информация (достаточно надежная) используется для расчетов по экстраполяции динамики изменения прогнозируемых параметров, по определению наиболее вероятных тенденций их изменения. Качественная же информация классифицируется, систематизируется и служит основанием для оценок экспертов и используется для разработки экспертных прогнозов. При разработке прогноза необходим анализ внутренних условий объекта прогнозирования, содержательный анализ их особенностей и динамики развития.
Если разработаны математические, имитационные, аналоговые и другие модели функционирования объекта прогнозирования и изменения внутренних условий, то в них вводятся необходимые данные и на их основании производятся расчеты, позволяющие оценить наиболее вероятные изменения внутренних условий объекта прогнозирования.
При разработке прогноза, внешним условиям, внешней среде функционирования объекта прогнозирования должно уделяться не меньше внимания, чем внутренним.
Внутренняя среда, как внутреннее условие объекта прогнозирования, включает в себя: внутриорганизационные процессы, технологию, кадры, организационную культуру, управление функциональными процессами. Внешняя среда, включает общее внешнее окружение и непосредственно деловое окружение организации.
Определение наиболее вероятных вариантов развития внутренних и внешних условий объекта прогнозирования является одной из центральных задач разработки прогноза. На этом этапе разработки прогноза на основании анализа внутренних и внешних условий и всей имеющейся информации об объекте прогнозирования, информации в результате работы экспертной комиссии предварительно определяется перечень возможных альтернативных вариантов изменения внутренних и внешних условий. После их предварительной оценки, из перечня исключаются альтернативные варианты, реализуемость которых в прогнозируемые период сомнительна или же вероятность их реализации ниже предварительно установленного порогового значения. Оставшиеся альтернативные варианты подвергаются более углубленной оценке с целью определения альтернативных вариантов изменения внутренних и внешних условий, осуществление которых наиболее вероятно.
На этом этапе разработки прогноза предполагается наиболее активная работа экспертов по определению и оценке ключевых событий, наступление которых ожидается в прогнозируемом промежутке времени.
В зависимости от природы объекта прогнозирования, от характера оценок и суждений, которые должны быть получены в процессе проведения экспертизы, определяются конкретные способы организации и проведения экспертизы. Экспертизы могут быть однотуровыми и много туровыми, анонимными и предусматривающие открытый обмен мнениями и т. д.
Разнообразные методы используются при сравнительной оценке объектов, при прогнозе количественных и качественных значений параметров прогнозируемого объекта, начиная от различных модификаций метода Делфи и кончая разнообразными процедурами метода мозговой атаки. Характер экспертной информации, которую предполагается использовать при разработке прогноза, накладывает определенные требования на выбор конкретного метода организации и проведения экспертизы. Если прогнозируемый объект достаточно сложен и многоаспектен, то целесообразно использование комплексных методов организации и проведения экспертизы при проведении экспертизы для разработки прогноза аналитическая группа может использовать анкетирование и интервьюирование.
Рассмотрим подробнее некоторые из наиболее распространённых методов.
Применяются как индивидуальные, так и групповые (коллективные) экспертные опросы.
К числу групповых экспертных опросов относятся:
открытое обсуждение поставленных вопросов с последующим открытым или закрытым голосованием;
закрытое обсуждение с последующим закрытым голосованием или заполнением анкет экспертного опроса;
свободные высказывания без обсуждения и голосования.
Опыт показал, что традиционные методы обсуждения поставленных перед группой экспертов вопросов, относящиеся к первому типу экспертных опросов, до достижения определенного согласия между ними или до выработки общей позиции не являются наилучшими методами использования группы экспертов. Эти методы обсуждения страдают рядом недостатков, таких, как взаимное влияние мнений экспертов и нежелание участников обсуждения отказываться от точек зрения, ранее высказанных публично. Поэтому на практике при подготовке решений по широкому кругу вопросов находят все большее распространение второй и третий типы групповых экспертных оценок.
Второй тип групповых экспертных оценок можно подразделить на две категории: экспертный опрос, проводимый в один тур путем одноразового заполнения анкет, и проводимый в несколько туров путем многократного заполнения анкет экспертами с целью последовательного уточнения оценок.
Можно выделить следующие основные этапы экспертных опросов, проводимых в один тур:
А. Подбор экспертов и формирование экспертных групп.
Б. Формирование вопросов и составление анкет.
В. Формирование правил определения суммарных оценок на основе оценок отдельных экспертов.
Г. Работа с экспертами.
Д. Анализ и обработка экспертных оценок.
Одним из наилучших методов использования суждений экспертов является метод “Дельфи”, предусматривающий проведение экспертного опроса в несколько туров.
Создатели этого метода назвали его “Дельфи” по имени древнегреческого города Дельфи, который заслужил свою известность оракулами, занимавшимися предсказанием будущего.
Метод Дельфи характеризуют три особенности:
анонимность экспертов;
регулируемая обратная связь;
статистическая обработка результатов опроса и формирование группового ответа.
В методе “Дельфи” делается попытка усовершенствовать групповой подход к решению задачи разработки прогноза или оценки путем взаимной критики субъективных взглядов, высказываемых отдельными специалистами без непосредственных контактов между ними и при сохранении анонимности мнений или аргументаций в защиту этих мнений.
В одном из вариантов этого метода прямое обсуждение заменяется обменом информацией и мнениями с помощью тщательно разработанных вопросников. К участникам обращаются с просьбой не только высказать свои мнения, но и привести их обоснование, а в каждом из последующих туров опроса им выдается новая и уточненная информация по высказанным мнениям, которая образуется в результате расчета совпадения точек по ранее выполненным этапам работы. Этот процесс продолжается до тех пор, пока продвижение в направлении повышения совпадения точек зрения не становится незначительным. После этого фиксируются расходящиеся точки зрения.
Для уяснения сущности метода “Дельфи” рассмотрим пример оценки спроса на какой-то товар, при проведении которой могут существовать различные точки зрения и суждения. Будем решать эту задачу в следующей последовательности.
Во-первых, попросим отдельно каждого эксперта дать свою оценку спроса С, затем расположим ответы в порядке возрастания предлагаемых значений и определим квартили Q , M и Q таким образом, чтобы каждый из четырех интервалов, образованных этими тремя точками на линии значений С, содержал одну четвертую часть оценок. Для 11 участников это будет выглядеть следующим образом:
Во – вторых, значения Q1, M и Q3 (мнение экспертной группы) сообщаем участникам опроса и в том случае, если первоначальная оценка выходит за междуквартальное значение (Q1 – Q3), просим пересмотреть ее, а также высказать свои соображения, почему ответ должен быть ниже (или выше) значений, определенных 75% участников первого тура.
В – третьих, мы передаем результаты второго тура (которые, как правило, имеют меньшее расхождение, чем в первом туре) в обобщенной форме всем участникам опроса, включая сюда новые квартили и медиану. Кроме того, фиксируются обоснования уменьшения или увеличения значений, предложенных участникам опроса во втором туре (конечно, при их обобщении и редактировании сохраняется анонимность авторов). После этого экспертов просят рассмотреть новые оценки и их обоснования, высказать свое сомнение об их весомости и пересмотреть свою предыдущую оценку. В том случае, если пересмотренные оценки выпадают из междуквартальных значений, то автора просят кратко изложить причины его несогласия с аргументами, которые привели бы его оценку ближе к значению медианы.
Наконец, в четвертом туре участникам опроса сообщают квартили третьего распределения ответов и контраргументы, высказанные в третьем туре и просят еще раз пересмотреть оценки. Медиана, получаемая в результате четвертого тура, принимается в качестве значения групповой экспертной оценки величины спроса. Зачастую требуемый уровень консенсуса экспертов достигается за два тура.
Метод коллективной генерации идей (по американской терминологии метод “мозговой атаки”) относится к третьему типу групповых экспертных оценок и направлен на получение большого количества идей, в том числе и от лиц, которые, обладая достаточно высокой степенью эрудиции, обычно воздерживаются от высказываний.
При проведении экспертного опроса с помощью метода коллективной генерации идей проблема должна быть сформулирована в основных терминах с выделением центрального вопроса. Кроме того, предусматривается отсутствие любого вида критики, препятствующей формулировке идей, свободная интерпретация идей в рамках данного вопроса, стремление к получению максимального количества идей, учитывая принцип повышения вероятности полезных предложений с увеличением общего их количества и, наконец, поощрение различных комбинаций идей и путей их усовершенствования.
Процесс выдвижения идей протекает в определенном смысле лавинообразно: высказываемая одним из членов группы идея порождает творческую реакцию у других. Исследования эффективности метода коллективной генерации идей показали, что групповое мышление производит на 70% больше ценных новых идей, чем сумма индивидуальных мышлений. Наиболее продуктивными признаны группы в 10 – 15 человек, хотя имеются примеры использования и более многочисленных групп – до 200 человек.
Так как результаты этого метода представляют не совокупность несвязанных высказываний, а систему идей, ни одно предложение не персонифицируется. Результаты обсуждения считаются плодом коллективного труда всей группы. Это вполне закономерно. Ведь любая идея, высказанная в данный момент одним из участников опроса, могла уже ранее “мысленно принадлежать” его коллеге, ожидающему слова. Кроме того, конкретное предложение может быть прямо подсказано идеей, поданной кем-то несколькими минутами раньше. Принимая во внимание указанный аспект, на рассмотрение не рекомендуется выносить проблемы, затрагивающие чей-либо приоритет в рассматриваемой области.
С помощью метода коллективной генерации идей можно успешно решать многие задачи, например, маркетинговых исследований, а именно:
определение возможных путей развития прогнозируемого процесса или объекта, один из которых оптимальный; при решении подобных задач данный метод применяется с целью определения полного набора возможных путей развития;
определение наиболее широкого круга применяемых методов, если решение проблемы требует параллельного или последовательного использования ряда разнообразных методов;
выявление круга факторов, которые необходимо принимать во внимание, определяя окончательный вариант решения. Например, величину спроса.
К числу важнейших недостатков метода коллективной генерации идей относится значительный уровень информационного шума, создаваемого тривиальными идеями, спонтанный и стихийный характер генерации идей.
Подготовленная на предыдущих этапах информация, в том числе и полученная от экспертов, используется при непосредственной разработке прогноза. Как правило, маловероятны случаи, когда заранее известно в каком направлении будут происходить изменения внутренних и внешних условий, какая стратегия будет выбрана организацией при том или ином развитии событий. Ведь развитие организации в прогнозируемом будущем зависит от различных факторов, а также от их сочетания и взаимодействия. Из этого можно сделать вывод, что при стратегическом планировании и в других случаях использования прогнозов необходимо рассматривать различные альтернативные варианты развития событий, как благоприятные, так и неблагоприятные.
На предыдущих этапах были определены наиболее вероятные изменения основных внутренних и внешних условий, определяющих ход прогнозируемых событий. Для наиболее вероятных альтернативных вариантов, их изменений, должны быть разработаны наиболее вероятные альтернативные варианты развития прогнозируемых событий.
Допустим, одной из целей разработки прогноза является определение динамики развития количественных показателей и параметров, то используется полученный на предыдущих этапах разработки прогноза объем информации (количественной и качественной) и соответствующие методы экстраполирования (определения изменения прогнозируемых показателей и параметров в будущем), рассчитываются кривые их изменения в прогнозируемом промежутке времени. Но мы не всегда имеем необходимую информацию для использования количественных методов экстраполяции. Эта черта характерна для современного этапа экономической жизни России, отсутствие необходимых для расчетов статистических данных, поскольку прежние экономические зависимости и закономерности изменились. Поэтому, как правило, единственным способом экстраполяции показателей и параметров на прогнозируемый промежуток времени остается способ построения экспертных кривых. Эти кривые отражают оценку динамики изменения прогнозируемых значений показателей и параметров экспертами.
Эксперты определяют критические точки, в которых тенденция изменения значений прогнозируемых показателей и параметров может измениться под действием тех или иных факторов. А затем, в каждой из критических точек, расположенных на оси времени, оцениваются ожидаемые значения прогнозируемых показателей и параметров, а также характер их изменения в интервале между двумя критическими точками.
При разработке вариантного прогноза должна быть произведена экстраполяция прогнозируемых значений показателей и параметров для различных вариантов исходных условий и для различных вариантов возможных альтернативных вариантов динамики их изменений. Вместе с этим, каждый альтернативный вариант разрабатываемого прогноза может сопровождаться описанием прогнозируемого развития событий.
Априорная и апостериорная оценка качества прогноза. Оценка качества прогноза - одна из центральных проблем в процессе разработки управленческих решений. Степень доверия к разработанному прогнозу во многом влияет на решение и сказывается на эффективности управленческих решений, принимаемых с использованием разработанного прогноза.
Однако оценка качества прогноза является достаточно сложной задачей не только в момент, когда прогноз только разработан (априорная оценка), но и в момент, когда прогнозируемое событие уже произошло (апостериорная оценка). Здесь следует также отметить тот факт, что качественный прогноз при принятии решения может быть использован по-разному.
Если со стороны руководства организации не оказывается значительное воздействие на ход развития событий, а лишь осуществляется наблюдение за ним, то после наступления конца прогнозируемого периода необходимо лишь сопоставить значения спрогнозированных показателей и параметров с полученными в действительности. Это позволяет оценить качество разработанного прогноза апостериорно.
После разработки прогноза должны быть определены критерии, по которым точность прогноза может быть оценена. Обычно для оценки прогноза используются два метода: дифференциальный и интегральный.
Интегральный метод предполагает обобщенную оценку качества прогноза на базе оценки качества прогноза по частным критериям. При дифференциальном методе оцениваются наборы оценок отдельных составляющих качества прогноза, имеющих достаточно четкий объективный смысл. Этими критериями могут быть: ясность и четкость задания на прогноз, соответствие прогноза заданию, своевременность разработки прогноза, профессиональный уровень разработки прогноза, надежность использованной информации и т.д.
Примером использования интегрального метода может служить критерий «интегральное качество экспертного прогноза».
Качество экспертного прогноза определяется по таким критериям, как:
компетентность (или, в более общем виде, качество) эксперта;
качество информации, представляемой экспертам;
качество экспертной информации, поступающей от экспертов;
уровень технологии разработки прогноза.
Если период прогнозирования уже завершился, то необходимо сопоставить спрогнозированные значения показателей и параметров с полученными в результате реализовавшегося в действительности хода прогнозируемых событий.
И здесь на первый план выступает вопрос, - по какому критерию оценивать качество прогноза апостериорно. В качестве примера критериев оценки точности прогноза можно привести следующую формулу:
K1=│X-И│ K2=│lnX/И│,
где X— прогнозировавшееся значение оценки показателя;
U — истинное значение оценки показателя.
После того, как прогноз подготовлен и представлен руководству организации, наступает этап послепрогнозной работы с подготовленным материалом.
Вариантная разработка прогноза предполагает разработку прогноза при различных альтернативных вариантах условий и предположений. А они могут измениться. События, вчера казавшиеся маловероятными, сегодня происходят, а казавшиеся наиболее вероятными не происходят.
Поэтому неотъемлемой частью современной технологии прогнозирования является периодически, в зависимости от происходящих изменений, осуществляемый мониторинг хода реализации прогнозированного хода развития событий. Мониторинг позволяет своевременно выявлять значительные отклонения в ходе развития событий. Если они могут оказать принципиальное влияние на дальнейший ход событий в части касающейся принятия важных стратегических решений, то прогноз должен быть подвергнут корректировке.
Коррективы могут быть различного уровня значимости, сложности, трудоемкости и т.д. Если они не очень значительны, то эта проблема может решаться на уровне аналитической группы, сопровождающей разработку прогноза. Если коррективы более существенны, то может потребоваться дополнительное привлечение отдельных экспертов, а в особо важных случаях при наличии значительных изменений - дополнительная работа экспертной комиссии с возможным изменением её состава. Последнее необходимо, в особенности, в тех случаях, когда для корректировки прогноза требуется привлечение специалистов другой профессиональной ориентации.
Замечание. Необходимо понимать, что любые экспертные оценки имеют определенный уровень достоверности. Действительно, нет гарантий, что полученные оценки в действительности достоверны, т.к. мнения экспертов в той или иной степени субъективны, а существующие способы определения достоверности экспертных оценок основаны на предположении, что в случае согласованности действий экспертов достоверность оценок гарантируется. Это на самом деле не всегда верно, и можно привести случаи, когда отдельные эксперты, не согласные с мнением большинства, давали правильные оценки.
Следовательно, единодушие большинства экспертов не всегда является критерием достоверности оценок. Отсюда вытекает необходимость тщательного отбора экспертов. Дело в том, что при обсуждении многих вопросов, особенно не стандартных, например, прогнозирование рыночной ситуации в нестабильных политико-экономических условиях, должны участвовать эксперты высокой квалификации. Прогнозы, составленные “средними” экспертами, будут основаны в лучшем случае на традиционных, привычных оценках, тогда как высококвалифицированные специалисты обнаружат и оценят скрытые факторы.
При нахождении оценок экспертным путем помимо погрешности, вносимой недостатком информации о событиях и недостаточной компетентностью экспертов, возможна и погрешность совсем иного рода, обусловленная заинтересованностью экспертов в результатах оценки, что обязательно скажется на их достоверности. Наличие такого рода погрешности может значительно искажать оценки, вследствие чего необходимо предусмотреть соответствующие меры для устранения погрешности. Всё это обязательно должно учитываться на этапе подготовки к разработке прогноза.
Пример. Всегда существует опасность систематического занижения оценок потенциального спроса со стороны сбытовиков, которые заинтересованы иметь легко выполнимый план по продажам, а в конце планового периода добиться значительного превышения плановых показателей. Отметим следующие варианты коррекции таких оценок, снижающие риск систематической погрешности.
Попросить торговых работников самостоятельно определить степень погрешности их оценок. Эти данные можно затем использовать для уточнения прогноза.
Далее возможно скорректировать оценки торговых работников с помощью регионального менеджера по продажам, который может иметь более широкий взгляд.
Возможно, ввести корректирующий коэффициент, основанный на учете погрешностей в прошлых прогнозах каждого торгового работника.
Выводы
При разработке решений сложных проблем, не поддающихся количественному анализу, могут быть с успехом использованы экспертные методы. В процессе формирования экспертных комиссий возникает проблема оценки качеств эксперта – необходимость учитывать его профессиональные знания, опыт деятельности и результаты работы в предшествующих экспертизах. Для отбора специалистов применяются метод анкетирования, метод самооценки и метод коллективной оценки. Разработаны как индивидуальные, так и групповые (коллективные ) экспертные опросы. Среди методов экспертных оценок основными являются метод Дельфи и метод коллективной генерации идей.
Для оценки качества прогноза используются дифференциальный и интегральный методы.
При разработке прогнозов необходимо учитывать внутренние и внешние условия, проводить анализ ретроспективной информации. Поэтому при всех методах экспертизы (как групповой, так и индивидуальной) необходимо использовать математические, имитационные и другие модели функционирования объекта прогнозирования, реализованные в виде компьютерных программ.