2. Основные этапы процесса экспертного оценивания:

1. Формирование цели и задачи исследования, определение бюджета, ожидаемого результата и его формы представления;

2. Формирование группы управления процессом оценивания;

3. Выбор метода получения экспертной информации и способов ее обработки;

4. Подбор группы экспертов [оценка компетентности экспертов],

5. Разработка опросных листов (анкет),

6. Опрос экспертов, оценка согласованности мнений экспертов,

7. Обработка и анализ результатов опроса,

8. Интерпретация результатов и принятие решений.

1. Цель и задачи опроса ставит ЛПР или заказчик. Он определяет форму, уровень надежности и область использования результатов, надежность и полноту предоставляемой исходной информации, необходимость привлечения сторонних экспертов и др.

2. Подготовку, организацию и координацию всего процесса экспертизы обеспечивает группа управления, назначаемая ЛПР, во главе с руководителем.

3. Методы получения информации от экспертов могут быть разными:

   • По почте (опросные листы, анкеты, дневники наблюдений и т.п.),

   • Интервью,

   • Ответы на вопросы (собирают и представляют на обработку специально назначенные работники),

   • На разных стадиях возможна комбинация трех предыдущих методов.

     4. При подборе потенциальных экспертов из числа специалистов предприятия учитывается их компетентность в исследуемой проблеме, стаж работы, квалификация, широта эрудиции, объективность и другие качества. В каждом конкретном случае учитывается и ряд индивидуальных характеристик. Например, при опросе потребителей автомобилей необходимо учитывать возраст, образование, район проживания, доход на одного члена семьи, род занятий, опыт вождения и др. В группу экспертов должны быть включены представители разных слоев потребителей.

4. Разработка опросных листов (анкет)

Опросный лист для описания потребительских характеристик товара должен включать в себя как можно большее количество анализируемых параметров. Это повышает результативность опроса, однако существенно усложняет работу опрашиваемого и обработку ответов. Поэтому необходим компромисс между объемом информации в анкете и широтой анализа потребительских характеристик.

3. Методы представления и предварительной обработки оценок экспертов

Использование информации, полученной от специалистов, ее сбор, обобщение и анализ с помощью специальных процедур и математических методов получили название методов экспертных оценок.

Рациональное применение этих методов может быть успешным только при условии их приведения в такую форму представления, которая позволит применить для их обработки математические и статистические методы.

В экспертизе участвует несколько экспертов (m), которые оценивают объект (альтернативу, качество, свойство и т.п.) по нескольким факторам (n), получая усредненную оценку (вес) для каждого объекта.

Формализация информации, полученной от экспертов, направлена на устранение ее слабой структурированности, неопределенности, связанной не только с трудностями измерения, но и с самим характером исследуемых целей, средств их достижения и внешних условий.

Какие способы представления мнений экспертов чаще всего применяются на практике? Это:

• Шкальные (интервальные) оценки,

• балльные оценки,

• ранговые оценки (в т.ч. — стандартизированные и нормированные ранги),

• оценки, полученные последовательным сравнением,

• оценки, полученные парным сравнением

Если уровень факторов можно выразить количественно (в рублях, килограммах, процентах), то эксперты могут записать их значения в качестве оценки или преобразовать их по достаточно простым правилам в некоторые шкальные оценки. Например, ввести интервалы с определенным шагом и пронумеровать их (перевод рейтинга в оценки: до 55 –2, 56-65 – 3, 66-80 – 4, больше 80 – 5) ; упорядочить все значения и дать им номер: отлично - 5, хорошо – 4, уд. – 3, неуд - 2 и т.п.

Балльные оценки выставляются каждому фактору в пределах заданной шкалы — 5, 10 или другие. Диапазон значений оценок определяется группой управления исследованиями из таких соображений: чем больше число допустимых оценок, тем точнее выразят свое мнение эксперты, но тем более дорогим и долгим может быть процесс получения и обработки этих ответов.

Характерной особенностью балльных оценок является их взаимная независимость — как в школьных оценках может быть 5 по физкультуре и 2 по физике.

Однако при решении многих практических задач факторы, определяющие конечные результаты, не поддаются количественному измерению, тогда их называют качественными. Например, эффективность создания и внедрения новой техники, или степень влияния (полезности, значимости) какого-либо решения на размер прибыли. Тогда расположение этих факторов в порядке возрастания/убывания составляет отдельную задачу и называется ранжированием. Это требует от экспертом также и сравнения факторов между собой, чтобы «построить» их по ранжиру.

Порядковый метод ранжирования состоит в том, что эксперт располагает объекты (альтернативы) в порядке, который представляется ему наиболее рациональным и приписывает каждому из них порядковый номер – ранг. Он определяется на основе отношений "больше, чем"; "более предпочтителен"; "сильнее" и т.д. При этом ранг 1 получает наиболее предпочтительная альтернатива, а ранг N – наименее предпочтительная. Одно из требований статистики состоит в том, что число n объектов должно быть ровно N, и это означает, что сумма рангов равна сумме натуральных чисел от 1 до n.

Если эксперт не может указать порядок следования для двух или нескольких объектов либо он присваивает разным объектам один и тот же ранг, то в результате число рангов N не равно числу объектов n. В таких случаях объектам приписывают стандартизированные ранги.