5. Оцінка погодженості експертів
При оцінці об'єктів експерти звичайно розходяться в думках по розв'язуваній проблемі. У зв'язку з цим виникає необхідність кількісної оцінки ступеня згоди експертів. Одержання кількісної міри погодженості дозволяє більш обґрунтовано інтерпретувати причини розбіжності думок.
Оцінка погодженості суджень експертів ґрунтується на використанні поняття компактності, наочне представлення про яке дає геометрична інтерпретація результатів експертизи. Оцінка кожного експерта представляється як точка в деякому просторі, у якому є поняття відстані. Якщо точки, що характеризують оцінки всіх експертів, розташовані на невеликій відстані один від одного, тобто утворять компактну групу, то, мабуть, можна це інтерпретувати як гарну погодженість думок експертів. Якщо ж точки в просторі розкидані на значні відстані, то погодженість думок експертів невисока. Можливо, що точки - оцінки експертів - розташовані в просторі так, що утворять дві чи кілька компактних груп. Це означає, що в експертній групі існують дві чи декілька точок зору на оцінку об'єктів, що істотно відрізняються.
Конкретизація викладеної ідеї оцінки погодженості думок експертів виробляється в залежності від використання кількісних чи якісних шкал виміру і вибору міри ступеня погодженості.
При використанні кількісних шкал виміру й оцінці всього одного параметра об'єкта всі думки експертів можна представити як точки на числовій осі. Ці точки можна розглядати як реалізації випадкової величини і тому для оцінки центра угруповання і розкиду точок використовувати добре розроблені методи математичної статистики. Центр угруповання точок можна визначити як математичне очікування (середнє значення) чи як медіану випадкової величини, а розкид кількісно оцінюється дисперсією випадкової величини. Мірою погодженості оцінок експертів, тобто компактності розташування точок на числовій осі, може служити відношення середньоквадратичного відхилення до математичного чекання випадкової величини.
Якщо об'єкт оцінюється декількома числовими параметрами, то думка кожного експерта представляється як точка в просторі параметрів. Центр угруповання точок знову обчислюється як математичне очікування вектора параметрів, а розкид точок - дисперсією вектора параметрів. Мірою погодженості суджень експертів може служити в цьому випадку сума відстаней оцінок від середнього значення, віднесена до відстані математичного очікування від початку координат. Мірою погодженості може також служити кількість точок, розташованих у радіусі середньоквадратичного відхилення від математичного очікування, до всієї кількості точок. Різні методи визначення погодженості кількісних оцінок на основі поняття компактності розглядаються в теорії угруповань і розпізнавання образів
При вимірі об'єктів у порядковій шкалі погодженість оцінок експертів у виді ранжувань чи парних порівнянь об'єктів також ґрунтується на понятті компактності.
При ранжуванні об'єктів використовується міра погодженості думок групи експертів - дисперсійний коефіцієнт конкордації (коефіцієнт згоди)]
Розглянемо матрицю результатів ранжуванні m об'єктів групою з d експертів ||rіs|| (s = l, d, і = l, m), де rіs - ранг, що привласнюється s-м експертом і-му об'єкту. Складемо суми рангів по кожнім рядку. У результаті одержимо вектор з компонентами
Будемо розглядати величини rі як реалізації випадкової величини і знайдемо оцінку дисперсії. Як відомо, оптимальна за критерієм мінімуму середнього квадрата помилки оцінка дисперсії визначається формулою [29]:
де r - оцінка математичного очікування, дорівнює
Дисперсійний коефіцієнт конкордації визначається як відношення оцінки дисперсії (6.1) до максимального значення цієї оцінки:
Коефіцієнт конкордації змінюється від нуля до одиниці, оскільки 0 D Dmax.
Максимальне значення дисперсії дорівнює
Уведемо позначення
Використовуючи (6.5), запишемо оцінку дисперсії (6.1) у вигляді
Підставляючи (6.4), (6.6) у (6.3) і скорочуючи на множник (m-1), запишемо остаточне вираження для коефіцієнта конкордації
Дана формула визначає коефіцієнт конкордації для випадку відсутності зв'язаних рангів.
Якщо в ранжуваннях маються зв'язані ранги, то максимальне значення дисперсії в знаменнику формули (6.13) стає менше, ніж при відсутності зв'язаних рангів. Можна показати [40], що при наявності зв'язаних рангів коефіцієнт конкордації обчислюється по формулі
де
У формулі (6.9) Ts - показник зв'язаних рангів у s-й ранжировці, Hs - число груп рівних рангів у s-й ранжировці, hk - число рівних рангів у k-й групі зв'язаних рангів при ранжуванні s-м експертом. Якщо співпадаючих рангів немає, то Hs = 0, hk = 0 і, отже, Ts = 0. У цьому випадку формула (6.8) збігається з формулою (6.7).
Коефіцієнт конкордації дорівнює 1, якщо всі ранжування експертів однакові, і дорівнює нулю, якщо всі ранжування різні. Коефіцієнт конкордації, що обчислюється по формулах (6.7) і (6.8), є оцінкою істинного значення коефіцієнта і, отже, являє собою випадкову величину. Для визначення залежності оцінки коефіцієнта конкордації необхідно знати розподіл частот для різних значень числа експертів d і кількості об'єктів m. Розподіл частот для W при 3 d 20 і 3 m 7 обчислено в роботі. Для великих значень m і d можна використовувати відомі статистичні таблиці. При числі об'єктів m > 7 оцінка значимості коефіцієнта конкордації може бути зроблена за критерієм 2. Величина d(m-l)W має 2 розподіл з v = m-l ступенями волі.
При наявності зв'язаних рангів 2 розподіл з v = m-l ступенями волі має величину
Поряд з дисперсійним коефіцієнтом конкордації використовується в якості міри погодженості суджень експертів ентропійний коефіцієнт конкордації.