3. Обработка результатов опроса

После того, как опрос проведен и зафиксированы мнения экспертов, полученные перечисленными выше способами, их необходимо обработать для получения групповой оценки и определения ее значимости.

Методы формирования групповой оценки

При использовании метода разбиения на множества для обобщения оценок можно использовать тривиальный способ – голосование.

Например, пусть от трех экспертов получены следующие оценки:

Эксперт Множество	Петров	Сидоров	Кузнецов
Специалисты-теоретики	Иванов, Петров	Иванов, Петров, Соколов, Сидоров	Иванов, Петров, Сидоров
Специалисты-практики	Соколов	Кузнецов	-
Универсальные специалисты	Сидоров, Кузнецов	-	Соколов, Кузнецов
Коэффициенты компетентности	0.32	0.32	0.36

Чтобы обобщить полученные оценки, подсчитаем, сколько экспертов проголосовало за то, чтобы отнести каждого из специалистов к каждому из трех множеств:

Множество Специалист	Специалисты-теоретики	Специалисты-практики	Универсальные специалисты
Иванов	3	0	0
Петров	3	0	0
Соколов	1	1	1
Сидоров	2	0	1
Кузнецов	0	1	2

Из построенной таблицы видно, что мнения экспертов по поводу Соколова полностью разошлись, и получить для него общую оценку данным методом не представляется возможным. Для уточнения оценки можно использовать различные методы, например, учет коэффициентов компетентности экспертов. Это означает, что следует просуммировать не просто поданные за данное утверждение голоса, а оценки компетентности, соответствующие этим голосам:

Множество Специалист	Специалисты-теоретики	Специалисты-практики	Универсальные специалисты
Иванов	1	0	0
Петров	1	0	0
Соколов	0.32	0.32	0.36
Сидоров	0.68	0	0.32
Кузнецов	0	0.32	0.68

Способ расчета поясним на примере отнесения Сидорова к множеству теоретиков: за это утверждение проголосовали сам Сидоров (коэффициент равен 0.32) и Кузнецов (коэффициент равен 0.36), 0.32 + 0.36 = 0.68. Приведенный пример будет более понятным, если провести прямую аналогию с голосованием на акционерном собрании. Следует представить себе, что Сидоров обладает 32% акционерного капитала, а Кузнецов – 36%. Таким образом, можно сказать, что за данное суждение проголосовало 68% акций.

При таком подходе решение принимается уже не простым большинством, а так называемым квалифицированным большинством.

После проведения расчетов можно получить оценку для Соколова – его следует отнести к универсальным специалистам. Обобщенные оценки для Иванова и Петрова не изменились, поскольку по их поводу мнение экспертов было единогласным. Групповое суждение о Сидорове и Кузнецове также не изменилось, большинство по-прежнему относит их к тем же множествам.

О

½ пары

тметим, что последнее имеет место не во всех случаях. Например, если бы коэффициенты двух экспертов, чьи мнения совпадают, равнялись бы по 0.2, а коэффициент третьего эксперта 0.6, то тогда с учетом компетентности групповая оценка изменилась бы. Не смотря на то, что за одно мнение поступило большее количество голосов, их суммарный вес составил бы 0.4, т.е. меньше, чем вес «меньшинства» - 0.6.

Кроме того, голосование может проводиться не простым, а усиленным большинством (мнение принимается, если за него проголосовали, например, 2/3 участников экспертизы, или любая другая доля экспертов, но больше половины, вплоть до требования единогласия). Здесь также уточнение оценки с учетом компетентности может сыграть решающую роль (если используется усиленное квалифицированное большинство).

Для уточнения оценки можно использовать и другие методы, исходя из конкретной ситуации. Например, в данном случае можно было бы присваивать самооценке эксперта больший вес, предполагая, что он лучше других знает, в какой области он специализируется. Можно разработать и принципиально другие методы, например, голосование в несколько туров по различным правилам и т.п.

Итак, групповое суждение в данном примере будет иметь следующий вид:

Множество	Специалисты
Специалисты-теоретики	Иванов, Петров, Сидоров
Специалисты-практики	-
Универсальные специалисты	Соколов, Кузнецов

Отметим, что здесь имеет место явный диктат Кузнецова – групповая оценка полностью совпадает с оценкой, данной этим экспертом.

Для обобщения численных оценок используются различные средние, – обычно это взвешенное среднее, медиана и мода.

Моду и медиану обычно используют, если экспертов много, и различия в их компетентности не учитываются.

Рассмотрим пример. Пусть требуется оценить те же 5 способов совершенствования управления предприятием:

А) сменить генерального директора на г. Смирнова;

Б) сменить генерального директора на г. Колосова;

В) подчинить отдел сбыта непосредственно генеральному директору;

Г) ввести в штат дополнительного секретаря ген. директора;

Д) сменить начальника отдела сбыта; -

в 3-балльной шкале. Если по мнению эксперта применение данного способа не принесет пользы, он выставляет 1 балл, если некоторый эффект будет иметь место – 2 балла, если эффект будет значительным – 3 балла. Результаты опроса и расчетов приведены в таблице:

Способы Эксперты	А	Б	В	Г	Д	Коэффициент компетентности
Петров	2	2	2	1	3	0.32
Сидоров	2	2	3	2	3	0.32
Кузнецов	3	3	2	1	1	0.36
Mo	2	2	2	1	3
Me	2	2	2	1	3
Среднее	2.36	2.36	2.32	1.32	2.28

Расчет средней взвешенной оценки рассмотрим на примере способа А: 2*0.32 + 2*0.32 + 3*0.36 = 2.36. Мода и медиана для всех способов совпадают, поскольку экспертов всего трое, и если на какую-то из оценок выпадает 2 мнения из трех (большинство), то она является одновременно и модой, и мнением того эксперта, который находится в середине ряда из трех экспертов, проранжированных по своим оценкам. Отметим, что если округлить средние взвешенные до целых, то здесь и они во всех случаях совпадают с другими средними, за исключением способа Д. Для него Мо = Ме = 3, а среднее взвешенное равно 2. Т.е., если учитывать более высокую компетентность Кузнецова, эффект от замены начальника отдела сбыта не следует все же считать очень значительным.

Стоит отметить, что средневзвешенная оценка будет получена в непрерывной шкале. Если необходимо перевести ее в дискретную, можно заранее оговорить способ округления, но обычно это не делается.

Построение групповой оценки в случае ранжирования представляет несколько большую сложность. Рассмотрим несколько методов обобщения ранговых оценок:

1. По числу первых мест – согласно этому методу наилучший ранг имеют те объекты, которые большинство экспертов поместило на первые места в ранжировании.

Например, пусть от экспертов получено ранжирование для тех же 5 способов совершенствования управления предприятием. Групповую оценку получим в несколько этапов. Вначале подсчитаем, сколько экспертов проголосовало за то, чтобы присвоить способу 1-й ранг, или 1-е место. За это мнение проголосовало по одному эксперту для способов А и Д. Следовательно, 1-й ранг в групповой оценке должен быть присвоен одному из этих способов. Уточним теперь, сколько экспертов присвоили способам ранг 1.5 (следующая по величине из полученных оценок). Этот ранг также был получен дважды – по одному разу для объектов В и Д. Следовательно, 1-й ранг в групповом ранжировании следует присвоить способу Д (он имеет оценки 1 и 1.5), 2-й – способу А (так как он имеет оценку 1) и 3-й – способу В (так как он имеет оценку 1.5). Осталось упорядочить способы Б и Г. Теперь надо определить, сколько экспертов и для каких из этих способов проголосовали за 2-е место. Такая оценка была получена только для способа Б, следовательно, ему следует присвоить 4-й ранг, а оставшемуся способу Г – 5-й ранг.

Способы Эксперты	А	Б	В	Г	Д
	Индивидуальное ранжирование
Петров	3.5	3.5	2	5	1
Сидоров	4	4	1.5	4	1.5
Кузнецов	1	2	3	5	4
Ранг	2	4	3	5	1
№ места	Количество голосов
1	1				1
1.5			1		1
2		1

2. По сумме рангов – наилучший ранг получают те объекты, для которых сумма рангов, полученных от всех экспертов, является наименьшей. Этот метод может быть использован в различных модификациях.

Для того же примера простое суммирование рангов не позволяет сравнить между собой способы В и Д, и они получают одинаковый стандартизированный ранг 1.5.

Однако, можно уточнить полученную оценку по числу первых мест, - поскольку из этих двух способов способ Д получил от одного из экспертов 1-е место, ему присваивают ранг 1, а способу В – ранг 2.

Способы Эксперты	А	Б	В	Г	Д
	Индивидуальное ранжирование
Петров	3.5	3.5	2	5	1
Сидоров	4	4	1.5	4	1.5
Кузнецов	1	2	3	5	4
Сумма рангов	8.5	9.5	6.5	14	6.5
Ранг	3	4	1.5	5	1.5
Уточнение по числу первых мест	3	4	2	5	1
Сумма квадратов рангов	29.25	32.25	15.25	66	19.25
Ранг	3	4	1	5	2

Другой способ обобщения оценок – суммирование квадратов рангов. Расчеты поясним на примере способа Д: 1² + 1.5² + 4² = 1 + 2.25 + 16 = 19.25. С использованием этого метода 1-й ранг будет присвоен способу В, а 2-й – способу Д. Здесь сыграло свою роль число последних мест, а именно тот факт, что одним из экспертов способу Д был присвоен предпоследний, 4-й ранг, что значительно увеличило сумму квадратов. Что касается способа В, то хотя никто и не сопоставил этому способу 1-й ранг, но никто и не оценил его слишком низко.

Из рассмотренного примера видно, что использование четырех различных методов позволяет получить четыре различных упорядочения. Это наглядно иллюстрирует, каким образом рабочая группа, выбирая метод обобщения оценок, может манипулировать результатами опроса. Тем не менее, некоторые выводы могут быть сделаны объективно. В частности, оценки для способов Б и Г совпадают и практически не вызывают сомнений. Способ Д (смена начальника отдела сбыта) в любом случае занимает одно из первых двух мест.

Ни один из рассмотренных методов нельзя использовать в случае неполного ранжирования, когда эксперты сравнивают между собой различное число альтернатив.

Например, пусть по некоторым причинам эксперт Петров не учитывал при ранжировании способ Б, Сидоров – способ А, а Кузнецов – способы В и Г (возможно, эти альтернативы просто не были доведены до их сведения, либо эксперты посчитали такого рода действия лежащими вне сферы своей компетенции). Теперь уже не имеет смысла подсчитывать число первых мест, т.к. второе место из четырех альтернатив несравнимо со вторым из трех. Суммировать ранги также нельзя, так как некоторые способы оценивались двумя экспертами, а некоторые – тремя, следовательно, полученные суммы нельзя будет сравнивать. Для такого случая разработан ряд специальных методов, наиболее простым из которых является подсчет среднего арифметического ранга для каждого из сравниваемых объектов.

Средний ранг j–го объекта М_j рассчитывается по формуле:

где а_ij – ранг, который i–й эксперт приписывает j–му объекту,

m_j, – число экспертов, которые оценили j–й объект,

n – число объектов.

Для данного примера М₁ = (3+1)/2 = 2; М₂ = (3.5+2)/2 = 2.75; и т.д., М₅ = (1 + 1.5 + 3)/3  1.83:

Способы Эксперты	А	Б	В	Г	Д
	Индивидуальное ранжирование
Петров	3	-	2	4	1
Сидоров	-	3.5	1.5	3.5	1.5
Кузнецов	1	2	-	-	3
Средний ранг	2	2.75	1.75	3.75	1.83
Ранг	3	4	1	5	2