11.5. Оцінка узгодженості експертів

Під час оцінки об’єктів оцінки (думки, судження) експертів відносно однієї і тієї ж проблеми звичайно розходяться. В зв’язку з цим виникає необхідність кількісної оцінки ступеня узгодженості експертів. Одержання кількісної міри узгодженості дозволяє більш обгрунтовано інтерпретувати причини розбіжності їх оцінок.

Під час вимірювання кількісних оцінок об’єктів за порядковою шкалою узгодженість оцінок експертів визначається методом ранжування або методом парних порівнянь об’єктів.

Ранжування – процедура впорядкування об’єктів, яку виконує експерт або ОПР. Якщо серед об’єктів немає однакових за показниками, які порівнюються, тобто немає еквівалентних об’єктів, то між об’єктами існує лише впорядкування строгого порядку. В результаті порівняння всіх об’єктів за відношенням строгого порядку вони утворюють послідовність , де об’єкт із першим номером є найбільш переважаючим з усіх об’єктів, об’єкт краще від усіх інших, але гірше за перший і т.д. Доведено, що упорядкуванню об’єктів відповідає упорядкування чисел : (або ). Найбільш переважаючому об’єкту приписують найменше число і тоді, по мірі зменшення переваг, об’єктам приписують більші числа. Числа називають рангами і позначають .

Крім відношення строгого порядку, між об’єктами може існувати відношення еквівалентності. Наприклад, для 10 об’єктів упорядкування може мати вигляд , де відношення еквівалентності. Для еквівалентних об’єктів призначають однакові ранги, які рівні середньому арифметичному рангів об’єктів, що входять в один клас еквівалентності. Такі ранги називаються зв’язаними. В нашому прикладі для зв’язані ранги дорівнюють

. .

Перевага використання зв’язаних рангів у тому, що сума рангів m об’єктів рівна сумі натуральних чисел від 1 до m. Ранги показують перевагу, але як числа не дають можливості характеризувати цю перевагу в кількісному відношенні. Якщо , то це не означає, що перший об’єкт переважає другий у 3 рази.

Під час ранжування об’єктів використовується міра узгодженості оцінок думок групи експертів – дисперсійний коефіцієнт конкордації [ 11 ].

Розглянемо матрицю результатів ранжування m об’єктів групою із d експертів , де – ранг, який присвоює s-й експерт i-ому об’єкту. Складемо суми рангів для кожного рядка. В результаті одержимо вектор із компонентами

.

Будемо розглядати величини як реалізації випадкової величини і знайдемо оцінку дисперсії. Як відомо [ 2 ], оптимальна за критерієм мінімуму середнього квадрата помилки оцінка дисперсії визначається за формулою

, (6.1)

де – оцінка математичного сподівання, яка дорівнює

. (6.2)

Дисперсійний коефіцієнт конкордації визначається як відношення оцінки дисперсії (6.1) до її максимального значення:

. (6.3)

Коефіцієнт конкордації змінюється від нуля до одиниці, оскільки .

Максимальне значення дисперсії дорівнює

. (6.4)

Уведемо позначення

. (6.5)

Використовуючи (6.5), запишемо оцінку дисперсії (11.1) у вигляді

. (6.6)

Підставляючи (6.4), (6.6) в (6.3) і скорочуючи на множник , запишемо остаточний вираз для коефіцієнта конкордації

. (6.7)

Одержана формула визначає коефіцієнт конкордації для випадку відсутності зв’язаних рангів.

Якщо у ранжуваннях присутні зв’язані ранги, то максимальне значення дисперсії в знаменнику формули (6.3) стає меншим, ніж для випадку відсутності зв’язаних рангів. Доведено [ 2 ], що при наявності зв’язаних рангів коефіцієнт конкордації обчислюється за формулою

, (6.8)

де

. (6.9)

У формулі (6.9) – показник зв’язаних рангів у -му ранжуванні, – число груп рівних рангів у -му ранжуванні, – число рівних рангів у -й групі зв’язаних рангів під час ранжування -м експертом. Якщо збіжних рангів немає, то і, отже, . У цьому випадку формула (6.8) збігається з формулою (11.7).

Коефіцієнт конкордації дорівнює 1, якщо всі ранжування експертів однакові, і дорівнює нулю, якщо всі ранжування різні. Коефіцієнт конкордації, обчислений за формулами (6.7) і (6.8), є оцінкою істинного значення коефіцієнта і, отже, є випадковою величиною. Для визначення значимості оцінки коефіцієнта конкордації необхідно знати розподіл частот для різних значень числа експертів d і кількості об’єктів m. Для числа об’єктів m>7 оцінка значимості коефіцієнта конкордації може бути визначена за критерієм . Величина d(m-1)W має -розподіл із ступенями вільності.

За наявності зв’язних рангів -розподіл із ступенями вільності має величину

. (6.10)

Приклад 1. Результати ранжування шести об’єктів (О₁, О₂, …, О₆) п’ятьма експертами (Е₁, Е₂, …, Е₅) зображені в таблиці 6.1.

Таблиця 6.1

	Е1	Е2	Е3	Е4	Е5
О1	1	2	1,5	1	2
О2	2,5	2	1,5	2,5	1
О3	2,5	2	3	2,5	3
О4	4	5	4,5	4,5	4
О5	5	4	4,5	4,5	5,5
О6	6	6	6	5	5,5

Обчислимо коефіцієнт конкордації та оцінку його значимості. Середнє значення за формулою (6.1) дорівнює

.

Величина S відповідно до формули (6.5) дорівнює

.

Оскільки в ранжуваннях присутні зв’язані ранги, то обчислення коефіцієнта конкордації виконаємо за формулою (6.8). Попередньо обчислимо величини T_s, використовуючи формулу (6.9). В даному прикладі з таблиці 1 випливає, що у ранжуванні експертом Е₁ є одна група зв’язаних рангів, тому H₁=1. У цій групі міститься два зв’язаних ранги, рівних 2,5, тому k=1 і h₁=2. Звідси T₁=2³-2=6.

Аналогічним способом обчислюємо T₂ - T₅ :

T₂=3³-3=24; T₄=2³-2+2³-2=12;

T₃=2³-2+2³-2=12; T₅=2³-2=6.

Підставляючи значення T_s , S і m=6, d=5 у формулу (6.8) і провівши обчислення, одержимо

.

Оцінимо значимість коефіцієнта конкордації. В даному випадку число ступеней вільності . Табличне значення для і 5 % від рівня значимості . Підставляючи значення величин у формулу (6.10), одержимо

Оскільки 11,07 < 21,8, то гіпотеза про узгодженість експертів у ранжуваннях приймається.