2.3. Обработка экспертной информации

После проведения опроса группы экспертов осуществля­ется обработка результатов. Целью обработки является получе­ние обобщенных данных, а также новой информации, содержа­щейся в скрытой форме в экспертных оценках. На осно­ве результатов обработки формируется решение проб­лемы.

Наличие как числовых данных, так и содержательных высказываний экспертов приводит к необходимости при­менения качественных и количественных методов анализа группового экспертного оценивания.

Все множество проб­лем можно разделить на два класса. К первому классу относятся проблемы, для решения которых имеется до­статочный уровень знаний и опыта. При решении таких про­блем, появляется возможность получения результатов измерения, близких к истинным. Для множества экспертов их суждения группируются вблизи истинного значения. Отсюда следует, что для об­работки результатов группового экспертного оценивания проблем первого класса можно успешно применять ме­тоды математической статистики, основанные на осред­нении данных.

Ко второму классу относятся проблемы, для решения которых еще не накоплен достаточный информационный потенциал. В связи с этим суждения экспертов могут очень сильно отличаться друг от друга. Более того, суждение одного эксперта, сильно отличающееся от остальных мнений, может оказаться истинным. Применение методов осреднения результатов может привести к большим ошибкам. По­этому обработка результатов опроса экспертов в этом случае основывается на методах качественного анализа.

Учитывая, что проблемы первого класса являются наиболее распространенными в практике экспертного оценивания, основное внимание в данной курсовой работе будет уделяется методам обработки результатов экспертизы для этого класса проблем.

Одна из основных целей теории измерений - борьба с субъективизмом исследователя при приписывании численных значений реальным объектам. Выбор единиц измерения зависит от исследователя, т.е. субъективен. Статистические выводы могут быть адекватны реальности только тогда, когда они не зависят от того, какую единицу измерения предпочтет исследователь.

В настоящее время распространены экспертные опросы, в которых опрашиваемых просят выставить баллы объектам или изделиям. Для обработки таких задач используют методы средних баллов и метод средних арифметических рангов. По ним рассчитывают средние баллы и рассматривают их как оценки, выставленные коллективом опрошенных.

По методу средних арифметических рангов строится итоговая ранжировка (в другой терминологии - упорядочение), исходя из принципа - чем меньше средний ранг, чем лучше проект. Для этого прежде всего подсчитывают сумму рангов, присвоенных объектам. Затем эту сумму делят на число экспертов, в результате чего рассчитывается средний арифметический ранг (именно эта операция дала название методу).

Оценки, получаемые на основе обработки, представ­ляют собой случайные объекты, поэтому одной из важ­ных задач процедуры обработки является определение их надежности. Решению этой задачи должно уделяться соответствующее внимание.

Обработка результатов экспертизы представляет со­бой трудоемкий процесс. Выполнение операций вычисления оценок и показателей их надежности вручную свя­зано с большими трудовыми затратами даже в случае решения простых задач упорядочения. В связи с этим целесообразно использовать вычислительную технику. Применение ЭВМ выдвигает проблему разработки машинных программ, реализующих алгорит­мы обработки результатов экспертного оценивания.

Выводы по главе 2

Экспертная информация может носить как количественный, так и качественный характер. Для получения количественных оценок основными являются методы средних баллов и метод средних арифметических рангов. Для получения качественных оценок используется экспертная классификация и ранжирование. Этим двум группам методов экспертных оценок соответствуют два типа шкал: шкалы количественных измерений и шкалы качественных измерений.