1.4.4. Обработка результатов экспертных оценок. Статистическая надежность оценок
В результате обработки получают обобщенные данные и новую информацию об исследуемом объекте. Исходной информацией являются числовые данные и содержательные высказывания экспертов.
Несмотря на все трудности получения достоверной информации при групповой экспертизе, экспериментально установлено, что при соблюдении определенных требований групповая оценка более надежна, чем индивидуальные.
Объем информации при проведении групповой экспертизы неизмеримо больше, чем при индивидуальной. Поэтому возникает необходимость в использовании ЭВМ. Вопросам обработки экспертных оценок посвящены также работы [17, 18].
Оценка согласованности мнений экспертов. Количественная оценка степени согласованности мнений экспертов, во-первых, дает основание для выбора класса проблем (табл. 1.20), а значит и для выбора методов обработки экспертных оценок, а во-вторых, более обоснованно выявлять причины расхождения мнений.
Т а б л и ц а 1.20
Классификация и характеристика проблем и методов экспертного оценивания
Признак оценивания |
Значение признака |
Общее множество проблем и методов и их характеристика |
Согласованность мнений группы экспертов |
Мнения членов группы согласованы (условия высокой информиро-ванности) |
Здесь эксперты – «хорошие измерители» (более распространенная ситуация) Для обработки результатов экспертизы используются методы математической статистики, основанные на осредненных данных Основные задачи: – определение обобщенной оценки объекта на основе индивидуальных оценок экспертов (для числовых дан- ных – оценки средних и рассеяния) – построение обобщенных оценок объектов на основе результатов парного сравнения объектов от каждого эксперта (для содержательных данных) – определение относительных весов объектов (путем дополнительной экспертизы или обработки оценок проведенных экспериментов) – определение согласованности мнений экспертов (коэффициент конкордации) – определение зависимости между ранжировками (коэффициент корреляции) |
Мнения членов группы не согласованы (условия низкой и разной информированности) |
Здесь эксперты – «плохие измерители» (менее распространенная ситуация) Для обработки результатов экспертизы невозможно использовать принцип осреднения, поэтому используются методы качественного анализа |
Окончание табл. 1.20
Признак оценивания |
Значение признака |
Общее множество проблем и методов и их характеристика |
Вид исходной информации |
Числовые данные |
Для измерения используются методы непосредственной оценки или последовательного сравнения. Результат измерения – числа или баллы Для обработки используются методы математической статистики |
Содержательные данные (качественная информация) |
Для получения оценок используются методы ранжирования и парного сравнения. Результат измерения – ранги Для обработки используются специальные (достаточно сложные) методы обработки ранжированных данных. Часто для упрощения используют способ сумм рангов (свертка по всем экспертам для одного объекта) |
Известны две меры согласованности мнений группы экспертов: дисперсионный и энтропийный коэффициенты конкордации (ДКК и ЭКК).
Дисперсионный коэффициент конкордации. ДКК оценивается формулой (8). Для ее вывода проведем ряд рассуждений [9]. Пусть имеется матрица результатов ранжировки и объектов группой из m экспертов ||rij|| (j = 1, …, m; i = 1, …, n), где rij – ранг, присваиваемый j-м экспертом i-му объекту.
Найдем вектор
(1)
Определим оценку дисперсии найденной последовательности в предположении, что она случайная величина
(2)
где
(3)
ДКК определяется как отношение оценки дисперсии D к максимальному значению этой оценки:
(4)
Значение W изменяется от нуля до единицы, так как 0 D Dmax.