Выводы из оценки согласованности

В результате оценки согласованности мнений экспертов можно прийти к одному из трех выводов:

1) Мнения экспертов полностью рассогласованы (оценка согласованности низкая, и нельзя выделить никаких групп экспертов, близких по своим мнениям).

В этом случае результаты экспертизы не пригодны для принятия решения (в самом деле, если один из метеорологов считает, что погода будет солнечной, а другой – что будет проливной дождь, нелепо рассчитывать на некий усредненный вариант, например, легкую облачность). В зависимости от конкретной ситуации следует либо констатировать факт, признать экспертизу неудавшейся, и отказаться от проведения исследования, либо провести повторную экспертизу с учетом причин неудачи. Они могут быть следующими:

а) недостаточно корректно сформулированы цели и задачи исследования;

б) неудачно выбраны методы экспертизы;

в) неудачно построены шкалы;

г) для участников экспертизы не удалось создать подходящую обстановку (возможно, как в психологическом плане, так и в материальном);

д) время, выделенное для обсуждения, оказалось недостаточным для того, чтобы эксперты согласовали свои мнения (если метод экспертизы это предусматривает);

е) неудачно подобраны эксперты (по своим качественным и количественным характеристикам, совместимости).

Можно выявить и другие причины.

2) Оценки экспертов обособлены в несколько групп, внутри которых согласованность достаточно высока, а в целом по экспертной группе она низкая.

В этом случае логично предположить, что речь идет о различных научных школах или о различных социальных группах населения. Их мнения не всегда можно согласовать между собой даже в ходе длительной дискуссии. Целесообразно предоставить ЛПР несколько групповых оценок с соответствующими комментариями.

3) Групповая оценка характеризуется высокой согласованностью.

Такую оценку можно представить ЛПР, но в любом случае имеет смысл проанализировать наличие крайних мнений (выяснить, какой процент экспертов их придерживается, чем они обосновывают свои точки зрения, какой будет оценка согласованности, если их не учитывать). Результаты такого анализа также обычно представляют ЛПР.

Как следует из всего изложенного, ситуации, с которыми сталкивается рабочая группа при обработке групповых экспертных оценок, являются достаточно разнообразными. Поэтому при проведении экспертизы необходимо в зависимости от конкретной ситуации (целей исследования, наличия ресурсов) заранее обдумать, каким образом будет обрабатываться полученная от экспертов информация, соответствующим образом поставить перед ними задачу и обеспечить себя источниками теоретической и справочной информации для расчетов и анализа.

2.3.4 Практическое занятие: оценка согласованности мнений экспертов

На седьмом этапе проводимого исследования оценивается согласованность ранговых оценок, полученных в п. 2.3.2. Подсчитывается коэффициент конкордации и оценивается его значимость по критерию Пирсона на уровне 5%. Например, пусть при оценке семью экспертами десяти способов был получен коэффициент конкордации W=0.56. Число степеней свободы равно 9. При уровне значимости 0.05 табличное значение =16.9, а для нашего примера 7*9*0.56 = 35.28 > 16.9, что означает, что в этом случае мнения можно считать согласованными (коэффициент конкордации является значимым).

На восьмом этапе оценим согласованность численных оценок как по отдельным показателям, так и по всем трем показателям одновременно. Здесь также в случае невозможности использовать для расчетов ПК, студентам разрешается рассчитать оценку согласованности мнений хотя бы для одного способа (но не для такого, для которого все мнения полностью совпадают). В качестве меры согласованности предлагается выбрать СКО, и будем считать оценки согласованными, если оно составит не более 1 балла (студентам предлагается самостоятельно решить вопрос о том, рассматривать ли оценки, как случайную выборку, либо как генеральную совокупность; и соответствующим образом выбрать метод расчета).

Для оценки согласованности по всем показателям используем евклидово расстояние. Для этого каждый студент считает расстояние от своей оценки до оценок остальных членов экспертной группы (своей команды) и групповой оценки. Результаты сверяются (например, расстояние между оценками Иванова и Петрова подсчитано дважды – Ивановым и Петровым; результат должен совпасть); сводятся в одну таблицу, и осуществляется ее анализ. Составляется аналитическая записка, в которой эта информация обобщается (существуют ли группы экспертов, чьи мнения наиболее близки между собой, чье мнение ближе всего к групповому, чье мнение дальше всего от группового, как он может это обосновать и т.п.). Рассчитываются средние расстояния. Будем считать оценки согласованными, если среднее попарное расстояние не превышает 3, а среднее расстояние до групповой оценки – 1.5 баллов.