7.2.5. Краткая характеристика экспертных методов
Методы экспертных оценок используются для прогнозирования событий будущего, если отсутствуют статистические данные или их недостаточно. Они также применяются для количественного измерения таких событий, для которых не существует других способов измерения, например, при оценке важности целей и предпочтительности отдельных методов продвижения товара на рынок. Иными словами, методы экспертных оценок применяются как для количественного измерения событий в настоящем, так и для целей прогнозирования.
Когда речь идет о прогнозировании объема продаж, то обычно торговый персонал и персонал торговых посреднических организаций имеет достаточно точное представление о потенциале продаж, который могут обеспечить их клиенты, и, кроме того, имеет возможность дать оценку потенциала рынка в целом, по крайней мере на той территории, которую он обслуживает. Проще всего попросить торговых работников дать оценки по каждому товару, но не абстрактно, а исходя из конкретных гипотез о маркетинговых усилиях в вопросах цен, рекламной поддержки и т.п. После этого менеджеры службы сбыта формулируют итоговые оценки, суммируя оценки всех экспертов.
Включить торговых работников в процесс прогнозирования полезно прежде всего для создания у них соответствующей мотивации и способствования принятию назначаемых им квот по продажам. Кроме того, они незаменимы при построении прогнозов продаж в очень малых сегментах, на уровне отдельной территории или отдельного клиента.
Очевидно, что зачастую трудно из-за отсутствия статистической и отчетной информации (особенно касающейся деятельности фирм-конкурентов) получить количественные оценки, например, таких показателей, как показатели рыночной доли и динамики изменения объема продаж. В этом случае также могут использоваться экспертные оценки, формирующие чисто качественные значения этих показателей (в терминах «выше», «на том же уровне», «ниже» и тому подобное).
В то же время экспертные оценки имеют и недостатки. С одной стороны, нет гарантий, что полученные оценки действительно достоверны, а с другой – имеются определенные трудности в проведении опроса экспертов и обработке полученных данных. Если второй недостаток относится к преодолимым трудностям, то первый имеет принципиальное значение. Существующие способы определения достоверности экспертных оценок основаны на предположении, что в случае согласованности действий экспертов достоверность оценок гарантируется. Это на самом деле не всегда верно, и можно привести случаи, когда отдельные эксперты, не согласные с мнением большинства, давали правильные оценки.
Следовательно, единодушие большинства экспертов не всегда является критерием достоверности оценок. Отсюда вытекает необходимость тщательного отбора экспертов. Дело в том, что при обсуждении многих вопросов, особенно нестандартных, например, прогнозирование рыночной ситуации в нестабильных политико-экономических условиях, должны участвовать эксперты высокой квалификации. Прогнозы, составленные «средними» экспертами, будут основаны в лучшем случае на традиционных, привычных оценках, тогда как высококвалифицированные специалисты обнаружат и оценят скрытые факторы.
При нахождении оценок экспертным путем помимо погрешности, вносимой недостатком информации о событиях и недостаточной компетентностью экспертов, возможна и погрешность совсем иного рода, обусловленная заинтересованностью экспертов в результатах оценки, что обязательно скажется на их достоверности. Наличие такого рода погрешности может значительно искажать оценки, вследствие чего необходимо предусмотреть соответствующие меры для устранения погрешности.
Например, всегда существует опасность систематического занижения оценок потенциального спроса со стороны сбытовиков, которые заинтересованы иметь легковыполнимый план по продажам, а в конце планового периода добиться значительного превышения плановых показателей. Отметим следующие варианты коррекции таких оценок, снижающие риск систематической погрешности.
Попросить торговых работников самостоятельно определить степень погрешности их оценок. Эти данные можно затем использовать для уточнения прогноза.
Далее, возможно скорректировать оценки торговых работников с помощью регионального менеджера по продажам, который может иметь более широкий взгляд.
Возможно ввести корректирующий коэффициент, основанный на учете погрешностей в прошлых прогнозах каждого торгового работника.
Применяются как индивидуальные, так и групповые (коллективные) экспертные опросы.
К числу групповых экспертных опросов относятся:
открытое обсуждение поставленных вопросов с последующим открытым или закрытым голосованием;
закрытое обсуждение с последующим закрытым голосованием или заполнением анкет экспертного опроса;
свободные высказывания без обсуждения и голосования.
Опыт показал, что традиционные методы обсуждения поставленных перед группой экспертов вопросов, относящиеся к первому типу экспертных опросов, до достижения определенного согласия между ними или до выработки общей позиции не являются наилучшими методами использования группы экспертов. Эти методы обсуждения страдают рядом недостатков, таких, как взаимное влияние мнений экспертов и нежелание участников обсуждения отказываться от точек зрения, ранее высказанных публично. Поэтому на практике при подготовке решений по широкому кругу вопросов находят все большее распространение второй и третий типы групповых экспертных оценок.
Второй тип групповых экспертных оценок можно подразделить на две категории: экспертный опрос, проводимый в один тур путем одноразового заполнения анкет, и проводимый в несколько туров путем многократного заполнения анкет экспертами с целью последовательного уточнения оценок.
Можно выделить следующие основные этапы экспертных опросов, проводимых в один тур:
А. Подбор экспертов и формирование экспертных групп.
Б. Формирование вопросов и составление анкет.
В. Формирование правил определения суммарных оценок на основе оценок отдельных экспертов.
Г. Работа с экспертами.
Д. Анализ и обработка экспертных оценок.
Содержание отдельных этапов экспертных опросов раскрыто в работе [З].
Одним из наилучших методов использования суждений экспертов является метод «Дельфи», предусматривающий проведение экспертного опроса в несколько туров.
Создатели этого метода назвали его «Дельфи» по имени древнегреческого города Дельфы, который заслужил свою известность оракулами, занимавшимися предсказанием будущего.
В методе «Дельфи» делается попытка усовершенствовать групповой подход к решению задачи разработки прогноза или оценки путем взаимной критики субъективных взглядов, высказываемых отдельными специалистами без непосредственных контактов между ними и при сохранении анонимности мнений или аргументации в защиту этих мнений.
В одном из вариантов этого метода прямое обсуждение заменяется обменом информацией и мнениями с помощью тщательно разработанных вопросников. К участникам обращаются с просьбой не только высказать свои мнения, но и привести их обоснование, а в каждом из последующих туров опроса им выдается новая и уточненная информация по высказанным мнениям, которая образуется в результате расчета совпадения точек зрения по ранее выполненным этапам работы. Этот процесс продолжается до тех пор, пока продвижение в направлении повышения совпадения точек зрения не становится незначительным. После этого фиксируются расходящиеся точки зрения.
Для уяснения сущности метода «Дельфи» рассмотрим пример оценки спроса на какой-то товар, при проведении которой могут существовать различные точки зрения и суждения. Будем решать эту задачу в следующей последовательности. Во-первых, попросим отдельно каждого эксперта дать свою оценку спроса С, затем расположим ответы в порядке возрастания предлагаемых значений и определим квартили Q1 M и Q3, таким образом, чтобы каждый из четырех интервалов, образованных этими тремя точками на линии значений С, содержал одну четвертую часть оценок. Для 11 участников это будет выглядеть следующим образом:
Во-вторых, значения Q1 M и Q3 (мнение экспертной группы) сообщаем участникам опроса и в том случае, если первоначальная оценка выходит за междуквартальное значение (Q1-Q3), просим пересмотреть ее, а также высказать свои соображения, почему ответ должен быть ниже (или выше) значений, определенных 75% участников первого тура.
В-третьих, мы передаем результаты второго тура (которые, как правило, имеют меньшее расхождение, чем в первом туре) в обобщенной форме всем участникам опроса, включая сюда новые квартили и медиану. Кроме того, фиксируются обоснования уменьшения или увеличения значений, предложенных участникам опроса во втором туре (конечно, при их обобщении и редактировании сохраняется анонимность авторов). После этого экспертов просят рассмотреть новые оценки и их обоснования, высказать свои сомнения относительно их весомости и пересмотреть свою предыдущую оценку. В том случае, если пересмотренные оценки выпадают из междуквартильных значений, автора просят кратко изложить причины его несогласия с аргументами, которые привели бы его оценку ближе к значению медианы.
Наконец, в четвертом туре участникам опроса сообщают квартили третьего распределения ответов и контраргументы, высказанные в третьем туре, и просят еще раз пересмотреть оценки. Медиана, получаемая в результате четвертого тура, принимается в качестве значения групповой экспертной оценки величины спроса. Зачастую требуемый уровень консенсуса экспертов достигается за два тура.
Метод коллективной генерации идей (по американской терминологии, метод «мозговой атаки») относится к третьему типу групповых экспертных оценок и направлен на получение большого количества идей, в том числе и от лиц, которые, обладая достаточно высокой степенью эрудиции, обычно воздерживаются от высказываний.
При проведении экспертного опроса с помощью метода коллективной генерации идей проблема должна быть сформулирована в основных терминах с выделением центрального вопроса. Кроме того, предусматриваются отсутствие любого вида критики, препятствующей формулировке идей, свободная интерпретация идей в рамках данного вопроса, стремление к получению максимального количества идей, учитывая принцип повышения вероятности полезных предложений с увеличением общего их количества, и, наконец, поощрение различных комбинаций идей путей их усовершенствования.
Процесс выдвижения идей протекает в определенном смысле лавинообразно: высказываемая одним из членов группы идея порождает творческую реакцию у других. Исследования эффективности метода коллективной генерации идей показали, что групповое мышление производит на 70% больше ценных новых идей, чем сумма индивидуальных мышлений. Наиболее продуктивными признаны группы в 10–15 человек, хотя имеются примеры использования и более многочисленных групп – до 200 человек.
Так как результаты этого метода представляют не совокупность несвязанных высказываний, а систему идей, ни одно предложение не персонифицируется. Результаты обсуждения считаются плодом коллективного труда всей группы. Это вполне закономерно. Ведь любая идея, высказанная в данный момент одним из участников опроса, могла уже ранее «мысленно принадлежать» его коллеге, ожидающему слова. Кроме того, конкретное предложение может быть прямо подсказано идеей, поданной кем-то несколькими минутами раньше. Принимая во внимание указанный аспект, на рассмотрение не рекомендуется выносить проблемы, затрагивающие чей-либо приоритет в рассматриваемой области.
С помощью метода коллективной генерации идей можно успешно решать многие задачи маркетинговых исследований, например:
определение возможных путей развития прогнозируемого процесса или объекта, один из которых оптимальный; при решении подобных задач данный метод применяется с целью определения полного набора возможных путей развития;
определение наиболее широкого круга применяемых методов, если решение проблемы требует параллельного или последовательного использования ряда разнообразных методов;
выявление круга факторов, которые необходимо принимать во внимание, определяя окончательный вариант решения – например, величину спроса.
К числу важнейших недостатков метода коллективной генерации идей относятся значительный уровень информационного шума, создаваемого тривиальными идеями, спонтанный и стихийный характер генерации идей.