32. Экспертные оценки. Сфера применения и порядок проведения.

Экспертные методы прогнозирования, основанные на использовании экспертов в качестве основных источников информации относительно перспектив развития объекта, применяются чрезвычайно широко. Используются как индивидуальные экспертные оценки (аналитические записки, анкетирование, интервью), так и коллективные оценки (метод "Дельфи", "Мозговой атаки", комиссий и т.п.).

Помимо использования экспертных методов для прогнозирования в "чистом виде", они являются непременной составной частью в комплексных системам прогнозирования.

Рассмотрим два примера прогнозирования на основе экспертных методов:

• прогнозирование на основе групповой оценки экспертов;

• применение метода "Дельфи" в прогнозировании научных исследований.

Типовые задачи, решаемые методом экспертных оценок: 1) составление перечня возможных событий в различных областях за определенный промежуток времени; 2) определение наиболее вероятных интервалов времени свершения совокупности событий; 3) определение целей и задач управления с упорядочением их по степени важности; 4) определение альтернативных (вариантов решения задачи с оценкой их предпочтения; 5) альтернативное распределение ресурсов для решения задач с оценкой их предпочтительности; 6) альтернативные варианты принятия решений в определенной ситуации с оценкой их предпочтительности.

Порядок проведения экспертизы

• предварительный этап

• формирование рабочей группы

• формирование экспертной группы ( в том числе панелей экспертов)

• подготовка и проведение опроса экспертов

• обработка и анализ результатов опроса экспертов.

Предварительный этап

На данном этапе определяются:

а) конкретные задачи (вопросы, по которым должна проводится экспертиза);

б) состав лиц, входящих в рабочую группу по подготовке и проведению экспертизы;

в) программа проведения экспертизы, в которой определяются задачи рабочей группы, место и время проведения экспертизы, техника опроса экспертов, способ обработки и анализа результатов опросе, форма их представления.

Конкретные задачи, для выяснения которых необходимо использовать метода экспертных оценок, следует определить, исходя из информационных возможностей: экспертиза применяется в случаях, когда отсутствует достоверная и полная информация для изучения вопроса другими методами, например, статистическими или экономико-математическими. Экспертные оценки целесообразно проводить в сочетаний или параллельно с другими методами.

Круг исследуемых вопросов не. должен быть слишком широким. Чрезмерное расширение перечня вопросов затруднит как работу экспертов, так и рабочей группы при обработке результатов опроса. Кроме того, могут неоправданно затянуться сроки проведения экспертизы.

Формирование рабочей группы

Рабочая группа - это группа специалистов, осуществляющих организаторскую работу по проведению экспертизы. В рабочую группу должны входить главным.образом работники специальных подразделений по изучению спроса. Члены рабочей группы должны быть не только компетентными в вопросах, по которым проводится экспертиза, но и обладать специальными знаниями по обработке и анализу информации о спросе. Количество членов рабочей группы зависит от задач экспертизы, сроков и способа ее проведения, а также величины экспертной группы. Оно не должно быть меньше 3-х человек.

В задачи рабочей группы по организации проведения экспертизы входит:

• создание экспертных групп

• определение состава предварительной информации для экспертов и ее получение

• подготовка инструментария (анкет, таблиц, графиков и т.п.) для опроса экспертов

• определение способа опроса (индивидуальный / групповой, устный / письменный)

• организация и проведение опроса

• обработка и анализ результатов опроса экспертов

• составление отчета о проведенной экспертизе.

Формирование экспертной группы

Рабочая группа осуществляет подбор экспертов, включающий выявление наиболее опытных и квалифицированных специалистов, по роду своей деятельности хорошо знающих вопросы развития спроса.

В целях повышения эффективности экспертных оценок целесообразно создавать органы постоянно действующей экспертизы - панель экспертов.

Отбор специалистов для включения в панель экспертов осуществляется на основе выборочного метода. Число кандидатов в эксперты должно превышать намеченное количество членов экспертной группы. Этот резерв необходим для обеспечении конкурсного отбора специалистов в состав экспертной группы, т.е. отсева лиц, получивших низкие оценки и создание резерва для замены экспертов в случае выбытия.

Определение квалификации экспертов

Качество экспертных оценок во многом определяется квалификацией экспертов. При отборе экспертов используются метода оценки квалификации экспертов. Чаще всего - это метода "самооценки" или "взаимооценки", основанные на заполнении экспертами соответствующих анкет, позволяющих выявить их квалификацию, и последующей их обработке. Пример анкеты самооценки - Error: Reference source not found. В анкету рекомендуются включать показатели, характеризующие знакомство кандидата с:

• литературой по специальности

• фирменными каталогами и проспектами

• данными о зарубежном опыте

• статистическими данными

• инновациями

• результатами опросов и маркетинговых исследования

Члены рабочих групп устанавливают весомость каждого показателя, включённого в анкету самооценки. Также весомость показателей может определяться на основе мнений экспертов.

Рабочими группами устанавливаются также возможные оценки степени знакомства кандидатов в эксперты с вопросами, включенными в анкету самооценки. Например, устанавливается влияние стажа работы экспертов на степень их знакомства с проблемой и соответствующие коэффициенты (напр):

5 лет - низкая 2,0

6-10 лет - средняя 7,5

свыше 10 лет - высокая 10

Определение количества экспертов

Существует связь между достоверностью экспертной оценки и количеством экспертов. Вообще говоря, с ростом численности экспертной группы достоверность получаемых оценок растет. Однако, начиная с некоторого момента, добавление новых экспертов в группу практически не оказывает влияния на групповую оценку. Следовательно, необходимо установить границы численности для экспертных груш. Для этого используются специальные способы расчета, позволяющие устанавливать численность групп из предположения, что добавление к группе каждого нового эксперта меняет групповую оценку на 5-10%.

Подготовка и проведение опроса экспертов

Проведению экспертизы должна предшествовать следующая работа:

• подготовка предварительной информации для экспертов

• подготовка необходимого инструментария для проведения экспертизы, (анкет, форм аналитических таблиц и др.)

• варианты решения проблемы

Ответы экспертов сводятся, группируются, анализируются и используются для разработки анкет.

Выбор способа проведения опроса обусловлен характером оцениваемой информации, возможностью ее получения и интерпретаций, а также лимитом времени на проведение экспертизы, удаленностью места нахождения экспертов от места расположения рабочей группы, возможностью собрать экспертов вместе. Опрос может быть осуществлен путем очного или заочного анкетирования.

Обработка и анализ результатов опроса экспертов

Заполненные экспертами анкеты, подвергаются логической проверке, сводке и подсчету подученных ответов.

В зависимости от характера задач, решаемых в процессе экспертизы, получаются оценки двух типов:

• количественные значения прогнозируемых процессов и явлений, например, количественные оценки степени удовлетворения опроса на изделия определенных групп товаров

• ранги или балльные оценки, определяющие последовательность развития али соотношения элементов структуры прогнозируемых процессов и явлений, например, ранги влияния нескольких факторов на потребность населения в определенных товарах.

Соответственно с этими типами оценок производится их согласование и анализ.

Для определения степени согласованности и получения групповой количественной экспертной оценки исчисляются простая и взвешенная средние и коэффициенты вариации V:

m – число экспертов - оценка эксперта i - коэффициент самооценки эксперта - СКО

Если V<33%, мнения экспертов считается согласованными и полученная величина принимается за окончательную групповую оценку.

Если V>33%, мнения экспертов считаются недостаточно согласованными к экспертизу проводят повторно. Перед вторым туром экспертизы рекомендуется сообщить экспертам следующие показатели: среднюю оценку, крайние оценки и среднюю среди оценок за исключением крайних.