Лекция 11. Методы исследования систем управления

Для оценки согласованности оценок, полученных в ранговой шкале, используются другие методы. Рассмотрим некоторые из них. Для измерения согласованности полного ранжирования можно использовать коэффициент конкордации. В основе его расчета лежит идея о том, что при полной согласованности мнений экспертов дисперсия сумм рангов будет максимальной (т.е. все m экспертов дали одним и тем же объектам ранги от 1 до n , суммы рангов для каждого объекта составляют от m до m * n ). Коэффициент конкордации W редставляет собой соотношение двух дисперсий – дисперсию сумм рангов, которая имеет место на самом деле, делят на максимальную дисперсию. Поэтому всегда 0≤W≤1, и чем ближе коэффициент к единице, тем более высокой является согласованность мнений экспертов. Если W =0, мнения полностью рассогласованы * , при W =1 мнение экспертов является единогласным. Обычно мнения считают согласованными, если W >0.5. После всех математических преобразований (здесь не приводятся) формула для этого коэффициента примет следующий вид (автор лекций не считает ее запоминание обязательным): , где W – коэффициент конкордации, n - число ранжируемых объектов, m - число экспертов,  - сумма рангов, присвоенных всеми экспертами j –му объекту (а _ij – ранг, который i –й эксперт приписывает j –му объекту), – среднее арифметическое таких сумм. Использовать эту формулу можно только если каждому эксперту удалось дифференцировать по предпочтительности все объекты, т.е. стандартизированные ранги не используются. Например, пусть эксперты предложили следующее упорядочение:

Способы Эксперты	А	Б	В	Г	Д
	Индивидуальное ранжирование
Петров	4	3	2	5	1
Сидоров	4	3	1	5	2
Кузнецов	1	2	3	5	4
Сумма рангов Sj	9	8	6	15	7
= Sj - 9	0	-1	-3	6	-2
	0	1	9	36	4

Средняя сумма рангов равна m * ( n + 1) / 2 = 3 * (5 + 1) / 2 = 9; сумма квадратов отклонений сумм рангов от нее равна 0 + 1 + 9 + 36 + 4 = 50. W = 50*12 / (3² * (5³ – 5)) = 0.56 > 0.5, следовательно, мнения можно считать согласованными. Если в оценках экспертов присутствуют стандартизированные ранги, вид формулы для коэффициента конкордации несколько изменяется (обратите внимание на знаменатель формулы; автор лекций также не считает ее запоминание обязательным): , где L – число групп стандартизированных рангов; t_i – число повторяющихся рангов в i –й группе. Пример снова рассмотрим в виде таблицы.

Способы Эксперты	А	Б	В	Г	Д
	Индивидуальное ранжирование
Петров	3.5	3.5	2	5	1
Сидоров	4	4	1.5	4	1.5
Кузнецов	1	2	3	5	4
Сумма рангов	8.5	9.5	6.5	14	6.5
= Sj - 9	-0.5	0.5	-2.5	5	-2.5
	0.25	0.25	6.25	25	6.25

Сумма квадратов отклонений сумм рангов от средней суммы равна 0.25 + 0.25 + 6.25 + 25 + 6.25 = 38. В оценках Петрова имеется одна группа из двух совпадающих рангов (ранг 3.5 имеют объекты А и Б), а в оценках Сидорова – две группы из двух (В и Д имеют ранг 1.5) и трех (А, Б и Г имеют ранг 4) рангов, поэтому W = 38*12 / (3² * (5³ – 5) – 3 * (2³ – 2 + 2³ – 2 + 3³ – 3)) = 0.47 < 0.5, следовательно, мнения нельзя считать согласованными. Рассчитанные коэффициенты также должны быть проверены на статистическую значимость, поскольку их значения могут быть результатом случайного совпадения. Для проверки используется критерий Пирсона (рассчитывается по формуле W * m ( n -1)), который при n >7 имеет X²–распределение c n -1 степенями свободы. Если его значение больше табличного, коэффициент конкордации можно считать значимым (уровень значимости обычно задают 0.05 или 0.01). Для иллюстрации расчетов проверим значимость W =0.56 (хотя n и менее 7). Зададим уровень значимости 0.05. Число степеней свободы равно 4. Табличное значение X² =9.5, а для нашего примера 3*4*0.56 = 6.72 < 9.5, что означает, что и в этом случае мнения нельзя считать согласованными (коэффициент конкордации не является значимым * ). Для оценки согласованности ранговых оценок двух экспертов используют коэффициенты ранговой корреляции Спирмена или Кендалла. Формулы для расчетов здесь не приводятся, рекомендуется изучить их самостоятельно, используя учебники по статистике и экспертным оценкам. В результате оценки согласованности мнений экспертов можно прийти к одному из трех выводов:

1) Мнения экспертов полностью рассогласованы (оценка согласованности низкая, и нельзя выделить никаких групп экспертов, близких по своим мнениям). В этом случае результаты экспертизы не пригодны для принятия решения (в самом деле, если один из метеорологов считает, что погода будет солнечной, а другой – что будет проливной дождь, нелепо рассчитывать на некий усредненный вариант, например, легкую облачность). В зависимости от конкретной ситуации следует либо констатировать факт, признать экспертизу неудавшейся, и отказаться от проведения исследования, либо провести повторную экспертизу с учетом причин неудачи. Они могут быть следующими:

а) недостаточно корректно сформулированы цели и задачи исследования;

б) неудачно выбраны методы экспертизы;

в) неудачно построены шкалы;

г) для участников экспертизы не удалось создать подходящую обстановку (возможно, как в психологическом плане, так и в материальном);

д) время, выделенное для обсуждения, оказалось недостаточным для того, чтобы эксперты согласовали свои мнения (если метод экспертизы это предусматривает);

е) неудачно подобраны эксперты (по своим качественным и количественным характеристикам, совместимости).

Можно выявить и другие причины. * Нулевая дисперсия сумм рангов означает, что все эти суммы одинаковы. Обратите внимание на парадокс Кондорсе и на пример зависимости групповых предпочтений от внешней альтернативы. В том и другом примерах имела место полная рассогласованность мнений, которая и привела к парадоксальности. * Его можно было бы принять на уровне значимости 0.25.

2) Оценки экспертов обособлены в несколько групп, внутри которых согласованность достаточно высока, а в целом по экспертной группе она низкая.

В этом случае логично предположить, что речь идет о различных научных школах или о различных социальных группах населения. Их мнения не всегда можно согласовать между собой даже в ходе длительной дискуссии. Целесообразно предоставить ЛПР несколько групповых оценок с соответствующими комментариями.

3) Групповая оценка характеризуется высокой согласованностью.

Такую оценку можно представить ЛПР, но в любом случае имеет смысл проанализировать наличие крайних мнений (выяснить, какой процент экспертов их придерживается, чем они обосновывают свои точки зрения, какой будет оценка согласованности, если их не учитывать). Результаты такого анализа также обычно представляют ЛПР.

Как следует из всего изложенного, ситуации, с которыми сталкивается рабочая группа при обработке групповых экспертных оценок, являются достаточно разнообразными. Поэтому при проведении экспертизы необходимо в зависимости от конкретной ситуации (целей исследования, наличия ресурсов) заранее обдумать, каким образом будет обрабатываться полученная от экспертов информация, соответствующим образом поставить перед ними задачу и обеспечить себя источниками теоретической и справочной информации для расчетов и анализа. Рассмотрим кратко некоторые другие МАИС.