7.4. Випадок багатьох експертів. Методи визначення середніх рангів

Важливим для практики є вивчення думок групи з експертів . Ранги експертів при цьому позначають змінною з двома індексами , де перший індекс характеризує номер експерта, а другий індекс вказує номер фактору. У випадку багатьох експертів складається таблиця рангів (див. табл. 7.8).

Таблиця 7.8 – Таблиця рангів – випадок багатьох експертів

Фактори Експерти	1	2	…
1			…
2			…
…	…	…	…	…
			…

Для ранжування факторів у випадку багатьох експертів застосовують метод середніх арифметичних рангів і метод медіан рангів. Найчастіше для обчислення середніх рангів застосовують середнє арифметичне. Однак, такий спосіб є некоректним, оскільки ранги звичайно вимірювані в порядковій шкалі. Насправді для характеристики середніх рангів обґрунтованим є використання медіан. Але повністю ігнорувати середні арифметичні недоцільно через їх звичність і поширеність. Тому представляється раціональним використовувати одночасно обидва методи – і метод середніх арифметичних рангів, і методів медіанних рангів. Така рекомендація відповідає загальнонауковій концепції стійкості, що рекомендує застосовувати різні методи для обробки тих самих даних з метою одночасного одержання подібних висновків всіма методами. Ці висновки, очевидно, узгоджуються з реальною дійсністю, у той час як висновки, що змінюються від методу до методу, залежать від суб'єктивізму дослідника, який вибирає метод обробки вихідних експертних оцінок.

Приклад 7.3. За завданням керівництва фірми аналізують вісім проектів за ступенем привабливості для включення в план стратегічного розвитку фірми. Всі проекти були направлені 12 експертам, яких включено в експертну комісію, організовану за рішенням правління фірми. У записаній нижче таблиці рангів (див. табл. 7.9) наведено ранги восьми проектів, що надані їм кожним з 12 експертів відповідно до уявлення експертів про доцільність включення проекту в стратегічний план фірми.

Таблиця 7.9 – Таблиця рангів – приклад 7.3

Фактори Експерти	1	2	3	4	5	6	7	8	Сума
1	5	3	1	2	8	4	6	7	36
2	5	4	3	1	8	2	6	7	36
3	1	7	5	4	8	2	3	6	36
4	6	4	2,5	2,5	8	1	7	5	36
5	8	2	4	6	3	5	1	7	36
6	5	6	4	3	2	1	7	8	36
7	6	1	2	3	5	4	8	7	36
8	5	1	3	2	7	4	6	8	36
9	6	1	3	2	5	4	7	8	36
10	5	3	2	1	8	4	6	7	36
11	7	1	3	2	6	4	5	8	36
12	1	6	5	3	8	4	2	7	36

При цьому експерт надає ранг 8 найкращому проекту, що обов'язково треба реалізувати. Ранг 7 отримує від експерта другий по привабливості проект і так далі, нарешті, ранг 1 – найбільш сумнівний проект, що заслуговує реалізації лише в останню чергу.

Примітка. Експерт № 4 вважає, що проекти під номерами три і чотири рівноцінні, але поступаються лише одному проекту – проекту під номером шість. Тому проекти три і чотири повинні були б стояти на другому і третьому місцях і одержати бали 2 і 3. Оскільки вони рівноцінні, то одержують середній бал .

 Аналізуючи результати роботи експертів, члени аналітичного підрозділу робочої групи, що вивчали відповіді експертів за завданням правління фірми, були змушені констатувати, що повної згоди між експертами не існує, а тому дані, наведені в таблиці 7.9, варто піддати більш ретельній математичній обробці.

Метод середніх арифметичних рангів полягає у наступному:для одержання групової думки експертів підраховують суму рангів, наданих експертами кожному проекту (див. табл. 7.10). Потім цю сума треба поділити на число експертів. У результаті розраховують середній арифметичний ранг (саме ця операція дала назву методу). По середніх рангах визначають аналогічно випадку двох експертів підсумкові ранги кожного проекту, виходячи із принципу – чим більше середній ранг, тим краще проект.

Таблиця 7.10 – Результати ранжування за методом середніх арифметичних

Фактори	1	2	3	4	5	6	7	8	Сума
Сума рангів	60	39	37,5	31,5	76	39	64	85	432
Середній арифметичний ранг	5	3,25	3,125	2,625	6,33	3,25	5,33	7,08	36
Підсумковий ранг	5	3,5	2	1	7	3,5	6	8	36

Для перевірки правильності проведених обчислень в додатковому стовпці записують суму по рядку.

Найменший середній ранг, який дорівнює 2,625, у проекту під номером чотири, – отже, у підсумковому упорядкуванні він одержує ранг 1. Наступний за величиною середній арифметичний ранг дорівнює 3,125 і відповідає проекту під номером три, тому він (цей фактор) одержує підсумковий ранг 2. Проекти під номерами два і шість мають однакові середні арифметичні ранги, що дорівнюють 3,25, виходить, з погляду експертів вони є рівноцінними (при розглянутому способі аналізу думок всіх експертів), а тому повинні стояти на 3 і 4 місцях і одержують середній бал 3,5 і т.д. Отже, остаточне упорядкування за величинами середніх арифметичних рангів (або, що те ж саме, за сумами рангах) має вигляд:

. (7.9)

Тобто найкращим згідно ранжуванню (7.) визнано проект під номером вісім, менш привабливим є проект під номером п'ять, потім – проект під номером сім і т.д. Найменш привабливим з точки зору експертів є проект під номером чотири. Оскільки проекти два і шість одержали однакову суму балів, то їх вважають еквівалентними і об'єднують в групу (при записі застосовують дужки). В термінології математичної статистики ця ранжировка має один зв'язок.

Метод медіан рангів полягає у знаходженні медіан для вибірки рангів для кожного фактору. Медіана (варіанта, яка розділяє варіаційний ряд на дві частини з однаковою кількістю членів в кожній) обчислюється за звичайними правилами статистики – як середнє арифметичне центральних членів варіаційного ряду.

Якщо розглядається варіаційний ряд з парним числом членів, тобто – число членів у вибірці, то медіану визначають за формулою . Для варіаційного ряду з непарним числом членів, тобто , медіана дорівнює .

Для нашого прикладу випишемо ранги експертів, що відповідають одному із проектів, наприклад, проекту під номером один (див. табл. 7.9). Це ранги:

5, 5, 1, 6, 8, 5, 6, 5, 6, 5, 7, 1.

Потім їх потрібно розташувати в порядку зростання. Одержимо послідовність:

1, 1, 5, 5, 5, 5, 5, 6, 6, 6, 7, 8.

Одержано варіаційний ряд з парним числом членів: і , тому . Отже, для фактору під номером один медіанний ранг дорівнює 5. Аналогічно знаходять медіани для решти факторів. Далі визначають підсумкові ранги факторів згідно знайдених величин медіан рангів (див. табл. 7.11).

Таблиця 7.11 – Результати ранжування факторів за методом медіан рангів

Фактори	1	2	3	4	5	6	7	8
Медіани рангів	5	3	3	2,25	7,5	4	6	7
Підсумковий ранг за медіанами	5	2,5	2,5	1	8	4	6	7

Медіани сукупностей з 12 рангів, що відповідають певним проектам, записано в другому рядку табл. 7.11. Підсумкове упорядкування комісії експертів за методом медіан наведено в останньому рядку цієї таблиці. Підсумкова думка комісії експертів (ранжування факторів за величинами медіан рангів) має вигляд:

. (7.10)

Ранжування (7.10) має один зв'язок.

Порівняння ранжувань (7.9) і (7.10) показує їх подібність. Можна прийняти, що проекти під номерами два, три та шість упорядковані як , але через погрішності експертних оцінок в одному методі визнані рівноцінними проекти під номерами два та шість (ранжування (7.9)), а в іншому – проекти під номерами два та три (ранжування (7.10)). Істотним є тільки розбіжність, що стосується впорядкування проектів під номерами п'ять та вісім: у ранжуванні (7.9) проект вісім передує проекту п’ять, а в ранжуванні (.710), навпаки, проект під номером п'ять є більш привабливим, ніж проект під номером вісім.

 Розглянутий приклад демонструє подібність і розходження ранжувань, одержаних за методом середніх арифметичних рангів і за методом медіан, а також користь від їх спільного застосування (див. табл. 7.12).

Таблиця 7.12 – Результати розрахунків за двома методами

Фактори	1	2	3	4	5	6	7	8
Підсумковий ранг за середнім арифметичним	5	3,5	2	1	7	3,5	6	8
Підсумковий ранг за медіанами	5	2,5	2,5	1	8	4	6	7

Експертна комісія у своєму висновку про вибір найпривабливішого проекту для подальшого обговорення і використання може рекомендувати виключити з розгляду проекти під номерами два, три, чотири, шість і зосередити свою увагу на решті проектів, сконцентрувавши увагу на найбільш привабливих з точки зору комісії проектах під номерами п'ять та вісім.

Зауваження. Розбіжність узагальнених ранжувань при застосуванні різних методів виникає при малому числі експертів і неузгодженості їх оцінок. Якщо думки експертів близькі, то узагальнені ранжування, побудовані за методами середнього арифметичного і медіани, будуть в основному збігатися.

Після визначення підсумкової думки комісії експертів необхідно визначити ступінь узгодженості думок експертів. Для визначення ступеня узгодженості думок експертів використовують коефіцієнт конкордації Кендалла

, (7.11)

де – число експертів, – кількість факторів, – сума рангів фактору під номером .

Якщо в ранжуваннях є зв'язані ранги, то коефіцієнт конкордації обчислюється за формулою

, (7.12)

де

. (7.13)

В формулах (7.12), (7.13) введені позначення: – показник зв'язаних рангів в ранжировці го експерта, – число груп однакових рангів в ранжировці го експерта, – число однакових рангів в ій групі зв'язаних рангів при ранжуванні им експертом.

Коефіцієнт конкордації змінюється в діапазоні від нуля до одиниці , причому при спостерігається повна неузгодженість, при – повна єдність думок експертів.

За допомогою коефіцієнта конкордації можна оцінювати зв'язки як між якісними, так і між атрибутивними ознаками, які піддаються ранжуванню.

Коефіцієнт конкордації Кендалла є багатомірним аналогом коефіцієнта рангової кореляції Спірмена. Для якісної оцінки ступеня узгодженості думок експертів за величиною коефіцієнта конкордації можна застосувати оцінки характеристики сили зв'язку, представлені в табл. 7.2.

Для перевірки значущості коефіцієнта конкордації при заданому рівні значущості обчислюють фактичне і критичне за таблицями критичних точок Пірсона (додаток 3) значення.

• Якщо , тоді ранговий зв'язок між думками експертів вважають значущим, коефіцієнту конкордації можна довіряти і отримані на його основі висновки справедливі.

• Якщо , тоді приймають гіпотезу про відсутність рангового кореляційного зв'язку між думками всіх експертів.

Повертаючись до даних приклада 7.3 знайдемо коефіцієнт конкордації та оцінимо його значущість.

Тут , , тоді середнє значення суми рангів дорівнює . За результатами попередніх розрахунків маємо вже обчислені суми рангів по кожному фактору (див. табл. 7.10)

Фактори	1	2	3	4	5	6	7	8
Сума рангів	60	39	37,5	31,5	76	39	64	85

Оскільки в ранжуванні четвертого експерта є однакові ранги – третій і четвертий фактори мають ранг 2,5 – то для обчислення величини коефіцієнта конкордації застосуємо формули (7.12), (7.13). Тоді поправка на однакові ранги дорівнює . Значення коефіцієнта конкордації свідчить про помірну ступінь узгодженості думок експертів, що складають комісію:

Обчислюємо фактичне і критичне значення критерію. Оскільки , то можна вважати коефіцієнт конкордації статистично значущим, визнати узгодженими думки дванадцяти експертів і довіряти отриманим на його основі висновкам.

При використанні групової експертної оцінки можна не тільки з'ясовувати думку експертів про фактори, можливим є також визначення самого об'єктивного експерта. Для цього необхідно порівняти ранги кожного експерта з підсумковими рангами за середнім арифметичним і за медіанами.

Для приклада 7.3 найоб'єктивнішим слід визнати десятого експерта, а третій та п'ятий експерти показали найменшу схожість своїх думок з підсумковими результатами.