Прогнозирование на основе групповой экспертной оценки

Порядок проведения экспертизы

1. предварительный этап

2. формирование рабочей группы

3. формирование экспертной группы ( в том числе панелей экспертов)

4. подготовка и проведение опроса экспертов

5. обработка и анализ результатов опроса экспертов.

Предварительный этап

На данном этапе определяются:

а) конкретные задачи (вопросы, по которым должна проводится экспертиза);

б) состав лиц, входящих в рабочую группу по подготовке и проведению экспертизы;

в) программа проведения экспертизы, в которой определяются задачи рабочей группы, место и время проведения экспертизы, тех­ника опроса экспертов, способ обработки и анализа результатов опросе, форма их представления.

Конкретные задачи, для выяснения которых необходимо ис­пользовать метода экспертных оценок, следует определить, исходя из информационных возможностей: экспертиза применяется в случаях, когда отсутствует достоверная и полная информация для изучения вопроса другими методами, например, статистическими или экономи­ко-математическими. Экспертные оценки целесообразно проводить в сочетаний или параллельно с другими методами.

Круг исследуемых вопросов не. должен быть слишком широким. Чрезмерное расширение перечня вопросов затруднит как работу экспертов, так и рабочей группы при обработке результатов опроса. Кроме того, могут неоправданно затянуться сроки проведения экспер­тизы.

Формирование рабочей группы

Рабочая группа - это группа специалистов, осуществляющих организаторскую работу по проведению экспертизы. В рабочую груп­пу должны входить главным .образом работники специальных подразде­лений по изучению спроса. Члены рабочей группы должны быть не только компетентными в вопросах, по которым проводится экспертиза, но и обладать специальными знаниями по обработке и анализу информации о спросе. Количество членов рабочей группы зависит от за­дач экспертизы, сроков и способа ее проведения, а также величины экспертной группы. Оно не должно быть меньше 3-х человек.

В задачи рабочей группы по организации проведения эксперти­зы входит:

создание экспертных групп

определение состава предварительной информации для экс­пертов и ее получение

подготовка инструментария (анкет, таблиц, графиков и т.п.) для опроса экспертов

определение способа опроса (индивидуальный / групповой, устный / письменный)

организация и проведение опроса

обработка и анализ результатов опроса экспертов

составление отчета о проведенной экспертизе.

Формирование экспертной группы

Рабочая группа осуществляет подбор экспертов, включающий выявление наиболее опытных и квалифицированных специалистов, по роду своей деятельности хорошо знающих вопросы развития спроса.

В целях повышения эффективности экспертных оценок целесообразно создавать органы постоянно действующей экспертизы - панель экс­пертов.

Отбор специалистов для включения в панель экспертов осуществляет­ся на основе выборочного метода. Число кандидатов в эксперты должно превышать намеченное ко­личество членов экспертной группы. Этот резерв необходим для обеспечении конкурсного отбора специалистов в состав экспертной группы, т.е. отсева лиц, получивших низкие оценки и создание ре­зерва для замены экспертов в случае выбытия.

Определение квалификации экспертов

Качество экспертных оценок во многом определяется квалификацией экспертов. При отборе экспертов используются метода оценки ква­лификации экспертов. Чаще всего - это метода "самооценки" или "взаимооценки", основанные на заполнении экспертами соответству­ющих анкет, позволяющих выявить их квалификацию, и последующей их обработке. Пример анкеты самооценки - Таблица 4 -1. В анкету рекомендуются включать показатели, характеризующие знакомство кандидата с:

литературой по специальности

фирменными каталогами и проспектами

данными о зарубежном опыте

статистическими данными

инновациями

результатами опросов и маркетинговых исследования

Члены рабочих групп устанавливают весомость каждого показа­теля, включённого в анкету самооценки. Также весомость показателей может определяться на основе мнений экспертов.

Рабочими группами устанавливаются также возможные оценки степени знакомства кандидатов в эксперты с вопросами, включен­ными в анкету самооценки. Например, устанавливается влияние стажа работы экспертов на степень их знакомства с проблемой и соответствующие коэффициенты (напр):

5 лет - низкая 2,0

6-10 лет - средняя 7,5

свыше 10 лет - высокая 10

Таблица 4‑1 Анкета самооценки

Эксперт ______________________ (фамилия, имя, отчество) стаж работы по проблеме_____ лет
№	Показатели, характеризующие знакомство с проблемой	Весомость показателя (Wi )	Оценка степени знакомства или участия (отметить знаком Х)
			Высокая Х1 =10	Средняя Х2 =7,5	Низкая Х2 =2	Отсутствует Х3 =0
1	Знакомство с требованиями покупателей	0,25	Х
2	Участие в подобных исследованиях	0,12	Х
3	Знакомство со статистикой данного вопроса	0,18		Х
4	Знакомство с нормативной литературой	0,10			Х
N	<И т.п.>	0,35

"Самооценка" вычисляется по формуле: ,

К=0,25*10+0,12*10+0,18*7,5+0,10*2+… и т.п.

Из кандидатов в эксперты, получивших наиболее высокие значе­ний самооценок, необходимое количество экспертов включают в па­нель. Из кандидатов, получивших более низкие оценки, образуют резерв.

Помимо самооценок для определения квалификации экспертов широко применяется метод взаимооценки.

Определение количества экспертов

Существует связь между достоверностью экспертной оценки и количеством экспертов. Вообще говоря, с ростом численности экс­пертной группы достоверность получаемых оценок растет. Однако, начиная с некоторого момента, добавление новых экспертов в груп­пу практически не оказывает влияния на групповую оценку. Следовательно, необходимо установить границы численности для экспертных груш. Для этого используются специальные способы расчета, позволяющие устанавливать численность групп из предположения, что добавление к группе каждого нового эксперта меняет групповую оценку на 5-10%.

Подготовка и проведение опроса экспертов

Проведению экспертизы должна предшествовать следующая работа:

подготовка предварительной информации для экспертов

подготовка необходимого инструментария для проведения экспертизы, (анкет, форм аналитических таблиц и др.)

варианты решения проблемы

Ответы экспертов сводятся, группируются, анализируются и используются для разработки анкет.

Выбор способа проведения опроса обусловлен характером оцениваемой информации, возможностью ее получения и интерпретаций, а также лимитом времени на проведение экспертизы, удаленностью места нахождения экспертов от места расположения рабочей группы, возможностью собрать экспертов вместе. Опрос может быть осуществлен путем очного или заочного анкетиро­вания.

Обработка и анализ результатов опроса экспертов

Заполненные экспертами анкеты, подвергаются логической про­верке, сводке и подсчету подученных ответов.

В зависимости от характера задач, решаемых в процессе экспертизы, получаются оценки двух типов:

количественные значения прогнозируемых процессов и явлений, например, количественные оценки степени удовлетворения опроса на изделия определенных групп товаров

ранги или балльные оценки, определяющие последовательность развития али соотношения элементов структуры прогнозируемых про­цессов и явлений, например, ранги влияния нескольких факторов на потребность населения в определенных товарах.

Соответственно с этими типами оценок производится их согла­сование и анализ.

Для определения степени согласованности и получения групповой количественной экспертной оценки исчисляются простая и взве­шенная средние и коэффициенты вариации V:

m – число экспертов - оценка эксперта i - коэффициент самооценки эксперта - СКО

Если V<33%, мнения экспертов считается согласованными и полученная величина принимается за окончательную групповую оценку.

Если V>33%, мнения экспертов считаются недостаточно согласованными к экспертизу проводят повторно. Перед вторым туром экспертизы рекомендуется сообщить экспертам следующие показатели: среднюю оценку, крайние оценки и среднюю среди оценок за исключением крайних.

Пример. Рассмотрим расчет экспертной оценки предполагаемого уровня удовлетворения спроса на конкретный вид обуви (туфли летние женские открытые). На основе опроса 31 эксперта получены следующие данные:

Следовательно, хотя формально оценки согласованны (V=0.28<0.33), эксперты, считающие себя более компетентными, считают удовлетворённость спроса существенно меньшей, чем все эксперты (53,3<<70.2). Необходимо конкретизировать понятие «удовлетворение спроса» и повторить экспертизу.

Применение метода "Дельфи" для прогнозирования

Пример применения метода "Дельфи" для прог­нозирования развития рынка.

ПУСТЬ Рассматриваются перспективы развития науки и техники рынка ренгеновских аппаратов на ближайшие 50 лет. Выбрано 200 экспертов. Опрос производится в 4 тура с промежутком в один месяц.

1 тур. Экспертам высылается вопросник с просьбой перечислять основные изобретения и научные открытие, которые они считают необходимыми и осуществимыми в течение ближайших 50 лет, в той области науки и техники, к которой они имеют непосредственное отношение. Так как эксперты компетентны в избран­ной области научно-технического прогресса (например, энергети­ке), то в анкете они обосновывают потребность в называемых ими открытиях и изобретениях. После сбора анкет проводится их обработка, при которой одинаковые события должны быть объеди­нены, второстепенные (с точки зрения организаторов опроса) исключены, а окончательный перечень становится второй анкетой.

II тyр. Эксперты получают анкету с перечнем событий и оценивают даты их реализации. Их также просят привести соображения, почему указанные прогнозируемые события не должны произойти раньше или позже указанной даты. После сбора результатов 2-го тура организаторы подготавливают статистическую сводку мнений экспертов, включающую дополнительные доводы и аргументы "за" и "против" указанных сроков реализаций событий.

Результатом всей процедуры должен быть прогноз, содержащий точку зрения, с которой могло бы согласиться большинство экспертов в группе.

Для оценки степени согласованности используются статисти­ческие характеристики результатов опроса группы экспертов. В классическом методе "Дельфи" на каждом этапе прогнозируемое значение срока наступления события представляется в ведя медианы и двух квартилей. Медиана (Ме) представляет собой число (срок реализации события), оценки которой одной половиной группы экспертов больше этой величины, а другой - меньше. Квартилем называется такое значение срока наступления события, который указан экспертом под номером, равным 1/4 (нижний квартиль) или 3/4 (верхний квартиль) числового ряда распределения временных оценок по возрастанию.

Т.о., каждый ответ внутри группы экспертов учитывается при построении Me, а величина разброса ответов ха­рактеризуется величиной интервала между квартилями.

Рассмотрим пример расчета данных характеристик для 2 тура опроса при прогнозе срока создания промышленной термоядерной энергетической установки.

Рисунок 29 Оценка согласованности экспертов.

При нечетном числе экспертов N=2K+1 медианное значение принимают оценка, данная (K+1)-м экспертом. При четном N=2K Ме равна среднему из значений оценок двух центральных экспертов, т.е. Ме=1/2 (Tк. + Tк+1), где Tк .- ответ эксперта К. В нашем примере (игнорируя мнение «Никогда») медианное значение имеет срок, названный экспертом вод номером (191-1)/2+1=96 от начала ряда. Предполагая, что ответы 52 экс­пертов в интервале 20-25лет распределены равномерно, получаем ответ эксперта 81: 20+(25-20)/52*(96-73)= 22,2.

Квартили рассчитываются аналогично:

Нижний Q1=Tк.K=1/4*191=47,75, т.е. в интервале 15-20 лет (28<47.75<73). Q1=T47,75.=15+(20-15)/45*(47,75-28)=17,2

Верхний Q3=Tк.K=3/4*191=143,25, т.е. интервал 25-30 лет (125<143,25<146). Q3= T143,25.=25+(30-25)/21*(143,25-125)=29,3

Т.о., 50% экспертов за то, что термояд изобретут через 17,2 – 29,3 года, что можно признать достаточно согласованным.

III тур. Эксперты получают статистические данные и сводку аргументов по 2-му туру, чтобы сформировать новые оценки предполагаемой даты наступления данного события. Если прежняя оценка эксперта не попала в интервал между квартилями, то он должен изменить её или подтвердить эту оценку обоснованием.

После 3-го тура организаторы вновь проводят статистическую обработку анкет, вычисляют новые значения Q1, Ме, Q2, и объединяют их в новом вопроснике вместе о аргументами.

IV тур. Эксперты получают анкеты последнего этапа опроса, вновь корректируют сроки наступления указанных событий и, по желанию организаторов, аргументирует свою оценку,

В качестве дополнительной оценки "достоверности" прогноза по методу "Дельфи" могут быть использованы ответы экспертов типа «Никогда».