Ранжирование объектов методом попарного сравнения

Номер объекта	1	2	3	4	5	6	Итого
1	Х	1	0	1	1	1	4
2	0	Х	0	1	1	1	3
3	1	1	Х	1	1	1	5
4	0	0	0	Х	0	0	0
5	0	0	0	1	Х	0	1
6	0	0	0	1	1	Х	2

Эксперт оценил объекты следующим образом, как это видно из первой строчки таблицы: он предпочел первому объекту второй, четвертый, пятый и шестой. И лишь третий объект уступает первому. В итоге эксперт получил сумму рангов первого объекта равную четырем. Сумма оценок каждого объекта по сравнению с каждым другим объектом, приведенная в последнем столбце табл. 8.15, является итогом измерения по шкале порядка — ранжированный ряд имеет вид: Q₄<Q₅<Q₆<Q₂<Q₁<Q₃.

Повысить точность оценок можно, используя более совершенные критерии, например, преимущество объекта определить оценкой 1, обратную ситуацию – оценкой –1, а равноценность объекта обозначить числом 0. Методика составления ранжированного ряда остается неизменной.

Экспертная оценка методом «Дельфи». Наиболее эффективным из известных методов экспертных оценок является метод «Дельфи», который предполагает проведение экспертных опросов в несколько этапов. Субъективные взгляды отдельных экспертов, согласно этому методу, подвергаются критике другими экспертами без установления контактов между ними и с сохранением анонимности мнений. Этот метод проводится в несколько этапов.

Рассмотрим пример оценки качества выполнения сложного проекта в баллах по 20-балльной шкале.

Первый этап. Привлечены пять экспертов. Проводится опрос каждого эксперта. Эксперты дают, например, такие оценки: 12, 14, 8, 20 и 18 баллов. Затем всех экспертов знакомят со средним значением балла экспертизы – 14,4  14 баллов и его размахом, т. е. разницей между самым большим и меньшим значением. Можно также ознакомить экспертов со всеми оценками, сохраняя их анонимность.

Второй этап. Проводят второй анонимный опрос, перед которым экспертов, оценки которых сильно отличаются от среднего значения, просят пересмотреть и аргументировать свои оценки. В результате могут быть получены, например, следующие оценки: 12, 14, 10, 18, 18 баллов. При этом среднее значение осталось без изменений 14,4 балла, а размах – 6 баллов. Проверяется согласованность оценок. Если она оказывается для данной задачи недостаточной, то опрос повторяют.

Третий этап. Экспертов знакомят с результатами второго тура, включая и аргументы относительно крайних значений оценок, зафиксированные уменьшения или увеличения значений оценок, сохраняя анонимность ответов. Экспертов просят дать новые оценки, высказать свои сомнения, пересмотреть свои предыдущие оценки. Например, получены такие оценки: 12, 14, 11, 14, 14 баллов. Средний балл составит 13, а разброс - 3 балла. Теперь можно убедиться, что согласованность оценок экспертов достаточно высокая.

Качество экспертных оценок. Используя заключения нескольких экспертов можно получить более точные результаты. При проведении экспертных оценок для получения объективной оценки изучаемого процесса необходимо:

• каждому эксперту (если их несколько) назвать несколько факторов, влияющих на результат, и оценить степень их влияния;

• эксперту предлагается перечень факторов, его задача заключается в оценке степени влияния каждого из факторов на результат.

При отборе экспертов необходимо провести их оценку, при этом помимо формальных квалификационных требований, подтвержденных дипломами об образовании, наличии лицензий и сертификатов необходимо провести тестирование, самооценку, взаимную оценку экспертов.

Тестирование состоит в решении экспертами задач с результатами, известными организаторам тестирования, но не известными экспертам. .

Опыт показывает, что компетентность эффективно оценивается с помощью регламентированной самооценки экспертов. Показатели самооценки получают на основе группы вопросов.

Так, например, эксперту можно предложить поставить себе балл по десятибалльной шкале, ориентируясь на следующие значения балла:

10 — эксперт специализируется по данному вопросу, имеет по нему завершенные и успешно используемые на практике разработки и практический опыт;

8 — в решении проблем по данному вопросу эксперт участвует, но этот вопрос не входит в сферу его узкой специализации;

5 — вопрос входит в сферу , тесно связанную с узкой специализацией эксперта , но в работе по данному вопросу он не участвует;

3 — вопрос не входит в сферу , тесно связанную с узкой специализацией эксперта.

Согласно оценке, полученной по десятибалльной шкале, для каждого эксперта определяется весовой коэффициент путем деления оценки на 10 баллов.

Значения этих коэффициентов характеризуют вероятность верной оценки каждым экспертом и находятся в диапазоне от 0 до 1.

Итоговый результат экспертной оценки будет определяться как средняя арифметическая взвешенная:

, (8.39 )

где О — результат экспертной оценки;

a_{i —} оценка , которую дал объекту i-й эксперт;

p_{i —} весовой коэффициент i-го эксперта.

Компетентность экспертов может быть определена самими же экспертами в группе. Для этого каждый эксперт, входящий в группу, присваивает весовые коэффициенты всем остальным экспертам, кроме себя.

Оценка компетентности каждого эксперта определяется как среднее арифметическое весовых коэффициентов. Для уточнения характеристик компетентности экспертов при каждом новом опросе группы следует использовать полученные ранее результаты компетентности экспертов.

Важной характеристикой качества результатов экспертизы считается согласованность мнения экспертов. Согласованность обычно рассчитывается по величине коэффициента конкоординации Кендалла:

, (8.40)

где S — сумма квадратов отклонений всех оценок рангов каждого объекта экспертизы от среднеарифметического ранга;

n — число экспертов;

m — число объектов экспертизы.

Если значение коэффициента конкоординации превышает 0,4-0,5, то качество оценки считается удовлетворительным, если же W 0,7-0,8 — высоким.

Рассмотрим пример. Следует оценить мнение шести экспертов. Результаты ранжирования шести объектов приведены в табл. 8.16

Таблица 8.16

Данные для оценки согласованности мнения экспертов

Номер объекта экспер-тизы	Весовой корф-фициент експерта	Оценка експерта							Сумма рангов, х		Отклонение от средне-го		Квадрат отклонения,		Среднее место объекта		Ранг объекта
		1	22	33	44	55	66
1	0,5	4	6	4	4	3	4	25		4		16		3,57		4
2	0,6	3	3	2	3	4	3	18		-3		9		3,09		3
3	0,7	2	2	3	2	2	2	13		-8		64		2,6		2
4	0,5	5	5	5	5	6	5	31		10		100		4,23		6
5	0,8	1	1	1	1	1	1	6		-15		225		1,37		1
6	0,4	6	4	5	6	5	6	33		12		144		3,77		5
								126				558

Определим среднеарифметическое число рангов:

О=(25+18+13+32+6+31+6+33):6=126/6=21.

Значение суммы квадратов отклонений всех оценок рангов (S) –558.

Величина коэффициента конкоординации:

Полученный результат свидетельствует о том, что мнения экспертов хорошо согласованны.

Если в рассматриваемый пример ввести данные о весовом коэффициенте эксперта, то по формуле 8 можно определить результат экспертной оценки для каждого объекта. Так, для объекта № 1:

для объекта № 5:

и т. д.

Чем ниже место, тем более высокий ранг у объекта экспертизы. Анализ показывает, что самый высокий ранг по результатам экспертной оценки имеет объект № 5, а самый низкий – объект № 4. При этом согласованность мнения экспертов составляет 89%.

Методы организации групповой экспертной оценки. При равной компетенции экспертов в качестве групповой оценки используют среднеарифметическое значение оценок экспертов. Следует иметь в виду, что подбор экспертов в этом случае имеет очень важное значение.

Исходя из целей экспертизы, определяется структура, устанавливается специализация экспертов; по каждому направлению намечается число экспертов, которое должно обеспечить полноту оценок по каждому вопросу. Каждое направление должно быть представлено мнением не менее 4-6 экспертов. Для экспертизы высокого качества предпочтительны ранговые оценки.

Процедура и правила опроса экспертов должны обеспечивать объективность их мнения. К числу условий, обеспечивающих формирование качественных оценок, следует отнести:

-соответствие вопросов анкеты структуре объекта опроса;

-простоту и удобство работы с анкетами;

однозначность вопросов;

-предоставление экспертам необходимой информации;

-сохранение анонимности ответов для членов экспертной группы;

-независимость формирования экспертами собственного мнения;

-достаточные затраты времени и удобное время получения ответов;

-проведение коллективных обсуждений оцениваемых объектов.

Для выполнения этих условий должны быть разработаны правила организации работы экспертной группы, а организаторам и обслуживающему персоналу необходимо пройти специальную подготовку.

Оценки в зависимости от специфики экспертного опроса могут иметь различную шкалу измерения в баллах или рангах: от 0 до 10 или от 0 до 20. Выбор определяется удобством получения и обработки оценок.

Работа с экспертами может проводиться в несколько этапов. Вначале эксперты участвуют в формулировке вопросов и терминологии в анкетах, в уточнении объектов экспертизы, кроме того, уточняется состав группы экспертов. Далее экспертам передают анкеты с пояснительной запиской, в которой описываются цель экспертизы, структура и порядок заполнения анкет с примерами. На последнем этапе работы после завершения опроса, в процессе обработки и анализа полученных результатов, проводятся консультации, необходимые для уточнения полученных данных и их анализа.