Экспертное оценивание

Экспертиза, как способ получения информации всегда использовалась при выработке решений. И на сегодняшний день экспертные оценки являются в основном сформировавшимся научным методом анализа сложных неформализуемых проблем.

Сущность метода экспертных оценок заключается в рациональной организации проведения экспертами анализа проблемы с количественной оценкой суждений и обработкой их результатов. 

Эксперт – это квалифицированный специалист в исследуемой области.

Экспертные оценки – это количественные и качественные оценки процессов и явлений, выполняемые экспертами на основе суждений. 

Для применения метода экспертных оценок в процессе принятия решений необходимо рассмотреть вопросы подбора экспертов, проведения опроса и обработки его результатов.

Подбор экспертов

В зависимости от масштаба решаемой проблемы организацию экспертизы осуществляет ЛПР или назначаемая им группа управления. Подбор количественного и качественного состава экспертов производится на основе анализа широты проблемы, достоверности оценок, характеристик экспертов и затрат ресурсов.

Характеристики группы экспертов определяются на основе индивидуальных характристик экспертов: компетентности, креативности, отношения к экспертизе, конформизма, конструктивности мышления, коллективизма, самокритичности.

В настоящее время перечисленные характеристики в основном оцениваются качественно. Для ряда характеристик имеются попытки ввести количественные оценки.

Опрос экспертов

Опрос экспертов представляет собой заслушивание и фиксацию в содержательной и количественной форме суждений экспертов по решаемой проблеме. 

Вид опроса по существу определяет разновидность метода экспертной оценки. Основными видами опроса являются: анкетирование, интервьюирование, метод Дельфи, мозговой штурм, дискуссия (см. Эвристические методы).

Выбор того или иного вида опроса определяется целями экспертизы, сущностью решаемой проблемы, полнотой и достаточностью исходной информации, располагаемым временем и затратами на проведение опроса. 

Обработка экспертных оценок

После проведения опроса группы экспертов осуществляется обработка результатов. Исходной информацией для нее являются числовые данные, выражающие предпочтения экспертов, и содержательное обоснование этих предпочтений. Целью обработки является получение обобщенных данных и новой информации, содержащейся в скрытой форме в экспертных оценках. На основе результатов обработки формируется решение проблемы.

1 Метод прямого ранжирования

Экспертные методы следует рассматривать как способ получения дополнительной информации, позволяющей уменьшить неопределенность, имеющую место при решении задач.

В большинстве прикладных исследований методы экспертных оценок используются для выделения существенных (в том или ином смысле) факторов и их ранжирования.

Упорядоченность критериев по важности зависит от того, с точки зрения чьих интересов ранжируются альтернативы. 

Следовательно, основная задача здесь — по возможности полно и четко определить эти интересы. 

В последнее время разработан ряд методов как для выявления предпочтений ЛПР относительно сравнительной важности критериев, так и, особенно, для учета этих предпочтений при построении ранжировки альтернатив. 

К наиболее распространенным методам можно отнести: 

• метод парных сравнений 

• метод множественных сравнений 

• прямое ранжирование критериев 

• стратификация критериев (обычно с использованием качественной шкалы) 

• прямое назначение весов (числом или интервалом чисел) критериев.

При этом чаще всего применяют методы опроса, основанные на прямом (непосредственном) ранжировании, а полученные субъективные мнения обрабатывают методами ранговой корреляции.

Ранжирование — процедура установления относительной значимости признаков (некоторой важности) исследуемого объекта на основе их упорядочения.

Метод ранговых оценок относительно простой и удобный для получения обобщенного суждения экспертов. Он заключается в том, что любую исследуемую информацию располагают в порядке роста или убыванием величины признака. 

Например, список учеников в зависимости от количества пропущенных занятий. 

Каждому признаку приписывают число, которое обозначает его ранг. 

Ранг — это показатель, который характеризует порядковое место объекта, явления, события или показателей, критериев, факторов в группе других (объектов, явлений и другие). 

Преимущественно наиболее весомому объекту присваивается первый ранг, а наименее весомому — последний ранг. 

Точность и надежность ранжирования зависит в значительной степени от количества объектов. То есть чем меньше объектов, тем большая степень их различения. 

Итак, при ранжировании эксперт должен расставить объекты в таком порядке, который является, по его мнению, наиболее рациональным, и присвоить им ранг из ряда натуральных чисел.