Методы экспертных оценок

Методика экспертных оценок основана на опросах квалифицированных специалистов (экспертов) с последующей обработкой полученных результатов.

Экспертные оценки отражают индивидуальное или коллективное суждение специалистов относительно перспектив развития объекта и основаны на мобилизации профессионального опыта.

Основные области применения экспертных оценок:

1) определение целей (дерево целей, решений);

2) экспертный прогноз (оценка ожидаемых последствий);

3) построение сценариев;

4) генерирование альтернативных вариантов решений, поиск нетривиальных решений;

5) оценка принятых решений и эффективности реализации тех или иных направлений политики.

Экспертные оценки делятся на

очные и заочные,

групповые (коллективные) и индивидуальные оценки.

Политический анализ с применением экспертных оценок проводится как минимум в три этапа:

1) подготовка информационных материалов и подбор экспертов;

2) получение и обработка экспертных заключений;

3) итоговое заключение.

Экспертные заключения могут собираться в несколько туров.

Групповые заочные экспертные оценки

Получение заочных экспертных оценок – метод Дельфи (многотуровая итеративная анкетно-экспертная технология), в основу которого положена процедура анонимности и исключения контактов между экспертами.

Дельфийский метод опроса экспертов был разработан американскими специалистами О. Хелмером и Т. Гордоном в 1964 г.

Метод Дельфи реализуется путем опроса экспертов и сведения их мнений к единому посредством усреднения. Индивидуальные оценки осуществляются заочно, каждый эксперт дает оценку независимо от другого.

Этапы Метода Дельфи

1 тур: экспертам выдается анкета, определяются средние значения.

2, 3, 4 туры: до экспертов доводятся только медианные значения анализа информации и крайние точки зрения.

Эксперты работают анонимно с анонимной информацией. Цель - свести к минимуму разброс мнений экспертов.

В ситуации, когда полученные оценки экспертов не существенно рознятся, число туров опроса сокращается, в противоположном случае используются дополнительные туры.

В случае большого разброса мнений проводится оценка вариантов решений, предложенных экспертами. Критерии оценок предложений экспертов (работы Х.Линстон, М.Турофф, К.Симонова)

Критерий	Предложение экспертов (их можно крассифицировать и закодировать)	Оценка
Эффективность		Очень эффективно
		Эффективно
		неэффектвивно
Реализуемость и доверие к предложению		Полная осуществимость
		Возможная осуществимость
		Возможная неосуществимость
		Полная неосуществимость
Релевантность (отношение к проблеме)		Очень высокая
		Высокая
		Низкая
Риск		Очень высокий
		Высокий
		Низкий

Групповые очные экспертные оценки подразделяются на две группы:

метод «комиссии» (открытая дискуссия, обмен мнениями по проблеме) и 

методы очной дискуссии (мозговой штурм).

При реализации метода очных экспертных оценок следует учитывать такое явление, как феномен группового мышления.

Групповое мышление приводит к деформации качества дискуссии и снижению эффективности экспертизы, поэтому в методах очной дискуссии необходимо применять психологические приемы стимулирования творческой активности экспертов.

Метод «мозгового штурма» («брейнсторминга») или коллективной генерации идей.

«Мозговой штурм» – метод получения новых, нестандартных идей и решений проблемы в результате коллективного творчества группы экспертов в ходе заседания.

Формируются две экспертные группы: группа генераторов и группа аналитиков.

Мозговой штурм включает два этапа. На первом этапе участники предлагают различные, вплоть до самых невероятных вариантов, варианты решения проблем. На данной стадии эти варианты не подвергаются критике. Продуцирование идей эффективнее, если критика исключается.

Состав группы для мозгового штурма связан с выделением оптимального числа членов малой группы. «Магическое число» Миллера (7 + 2) именно такое число предметов человек может удерживать в оперативной памяти.

Х. Шмирхайзер предложил методику Stop and Go. 3-5 минут высказываются предложения. 3-5 минут молча обдумывают их. Затем 3-5 обсуждают, стараясь улучшить предложенное либо предложить новое. Вновь обдумывание и переход к предложениям по возможному решению проблемы.

Метод синектики. автор – У. Гордон. Собирается группа людей совершенно разных профессий во главе с экспертом в данной области. Функция эксперта – направлять ход обсуждения, вводить в курс проблемы. Используется принцип аналогии: личностная, прямая, символическая, фантастическая.

«Деструктивный брейнсторминг» предусматривает стимулирование генерации критических возражений. Его целью является критический анализ уже сформулированных прогнозных гипотез.

Метод суда – группы ЗА и ПРОТИВ, вывод делает третья группа «судей».

Примеры применения метода ЭО

Авторским коллективом российских политологов (Г. Сатаров, Ю. Благовещенский, Н. Благовещенский и др.) в 2005 г. был разработан аналитический доклад «Что будет с Россией? Политические сценарии до 2008 г.» - Фонд ИНДЕМ («Информатика для демократии»). Группа экспертов («метаэксперты») в количестве пяти человек разработала пять ключевых сценариев развития России к 2008 г.:

«Вялая Россия» – сценарий, отражающий сохранение тенденций неустойчивости. Реформы спорадические и имитационные, власть слаба и неэффективна, элиты разрозненны, население демобилизовано.

«Диктатура развития» – ужесточение режима силами группировки, которая берет на себя ответственность за наведение порядка в стране, «прекращение воровства и беззакония ради ускорения модернизации».

«Охранная диктатура» – резкое ужесточение режима ради сохранения власти действующей группировки или какой-либо ее части, побеждающей других конкурентов. Модернизация в форме имитации вместе с воровством.

«Революция» – нелегитимная или квазилегитимная смена режима с опорой на уличную активность. Не существенна реальная политическая окраска сил, перехватывающих власть.

«Smart Russia» – «Умная Россия», движение к модернизации по западному сценарию, восстановление политической конкуренции, повышение эффективности правовых институтов.

Далее метаэкспертами был определен ряд сюжетов, которые влияют на реализацию каждого из сценариев: досрочная отставка Правительства, раскол в правящей группировке, экспроприация крупной собственности, контроль над ситуацией в регионах, управляемость страной силами бюрократической машины, политическая активность молодежи, доминирующая политическая ориентация городских низов, доминирующие настроения среднего класса, структурирование на флангах оппозиции, изменение зоны нестабильности на Кавказе, изменение цен на нефть (газ), действия Запада в отношении России.

Каждый из сюжетов был связан с набором событий. Событие – вариант исхода сюжета. Например, изменение цен на нефть (как сюжет) разворачивается в наборе событий: нет изменений, слабый рост, сильный рост, слабое падение, сильное падение.

Метаэксперты устанавливали связи между сценариями и сюжетами вместе с их исходами.

Другая группа экспертов (32 человека) из Москвы, Санкт-Петербурга и Казани оценивала шансы исходов (событий) внутри каждого сюжета.

По результатам исследования наиболее вероятным был признан сценарий под названием «Диктатура развития».

Сценарий развития России к 2020 г. (проект МГИМО-Университета совместно с общественно-образовательным фондом «ИНО-Центр (Информация, Наука, Образование)» в 2006 г., руководители А.Ю. Мельвиль, И.Н. Тимофеев).

При разработке прогноза «Россия 2020» были выделены четыре проблемы-вызова:

1) влияние на Россию внешней среды;

2) вызовы социально-экономической и политической модернизации (по приоритетам национального развития);

3) качество и характеристики политического режима;

4) территориальная структура, уровень централизации и отношения центра и регионов.

Авторы выделили четыре сценария: «Кремлевский гамбит», «Крепость-Россия», «Российская мозаика», «Новая мечта».

На втором этапе работы все четыре сценария рассмотрены с помощью фокус-групп. В проекте Г. Сатарова использовались экспертные оценки, а в проекте «Россия 2020» учитывалось мнение граждан.

Выводы исследователей под руководством Мельвиля:

четыре альтернативных сценария будущего России в 2020 г. узнаются участниками фокус-групп как возможные траектории развития страны и мира;

массовое сознание в России незначительно фрагментировано в представлениях о будущем страны;

фрагментация не определяется партийно-идеологическими либо электоральными предпочтениями;

существует консенсус по ряду принципиальных вопросов российского будущего: целостность страны, необходимость политической и экономической конкуренции, стремление к инновационному развитию, преодолению периферийного положения; патриотизм и демократия не противопоставляются респондентами; демократия в России должна вырасти без подсказок из-за рубежа.

В 2010 г. появилась работа «Беларусь 2018: к региональному лидерству на основе суверенного развития страны (платформа для обсуждения)» подготовленная «Белорусской группой развития». Руководитель проекта Ю.Ю. Царик. В авторский коллектив вошли А.В. Вистунов, В.Н. Демчихин, И.Б. Косьяненко, Ю.Э. Краснов, Д.В. Куницкий, А.И. Мороз, А.В. Сивицкий, Д.М Сологуб, Т.С. Тарасевич, М.С. Фабрикант, П.К. Шалькевич.

«Белорусская группа развития» – коллектив на базе семинара «Теория и практика суверенного развития Беларуси». Семинар является проектом РОО «Белая Русь».

Авторы работы «Беларусь 2018» исходят из того, что современный мировой кризис направлен на уничтожение значительной части производительных сил человечества и гиперконцентрацию их оставшейся части. Республика Беларусь сталкивается с вызовами-проблемами:

проблемой миросубъектности («способна ли Беларусь – государство с относительно немногочисленным населением – быть самостоятельным субъектом мирового развития»),

обеспечения безопасности и суверенитета в условиях высокой экономической и политической открытости;

определения места и роли в современной Восточной Европе; проблемой промышленного труда и обеспечения экономической самостоятельности;

демографической проблемой;

общественного воспроизводства и суверенного развития;

личности и справедливого общественного устройства.

Авторы проекта «Беларусь 2018» считают, что в основе белорусской стратегии лежат, во-первых, принцип развития: развития народа и его государственности и развития мира. Во-вторых, принцип личности: формирование субъектности населения страны, осознание белорусскими людьми «себя вместе как единой исторической личности». Авторы предлагают ряд «проектов развития»:

создание трансъевразийских инфраструктурных коридоров, основанных на применении новых технологий в различных видах транспорта;

создание самодостаточной национальной энергетической системы, сочетающей различные виды электроэнергии при доминировании ядерной энергии, участие в освоении термоядерной энергии;

создание нового станочного парка как основы новой национальной промышленной системы;

развитие Балто-Черноморского коридора как зоны опережающего инфраструктурно-промышленного развития;

проекты преображения среды обитания и образа жизни в Беларуси;

проекты формирования локальной (район, сельсовет) белорусской субъектности.

Стратегическая задача – «совмещение экономики и политики развития с задачами выживания», исходя из того, что «наличие четких целей и задач развития страны является необходимым ресурсом для мобилизации общественных усилий, сохранения общественно-политической стабильности и воли к суверенной жизни».