4. Обробка експертних оцінок
Після проведення опитування групи експертів здійснюється обробка результатів. Вихідною інформацією для неї є числові дані, що виражають переваги експертів, і змістовне обґрунтування цих переваг. Метою обробки є одержання узагальнених даних і нової інформації, що міститься в схованій формі в експертних оцінках. На основі результатів обробки формується рішення проблеми.
Наявність як числових даних, так і змістовних висловлень експертів приводить до необхідності застосування якісних і кількісних методів обробки результатів групового експертного оцінювання. Питома вага цих методів істотно залежить від класу проблем, розв'язуваних експертним оцінюванням. У даному параграфі розглядаються методи обробки проблем першого класу, що характеризуються достатнім інформаційним потенціалом. Ці проблеми найбільш поширені в практиці прийняття рішень.
У залежності від цілей експертного оцінювання при обробці результатів опитування виникають наступні основні задачі: визначення погодженості думок експертів; побудова узагальнень оцінки об'єктів; визначення залежності між судженнями експертів; визначення відносних ваг об'єктів; оцінка надійності результатів експертизи.
Визначення погодженості оцінок експертів необхідно для підтвердження правильності гіпотези про те, що експерти є досить точними вимірниками, і виявлення можливих угруповань в експертній групі. Оцінка погодженості думок експертів виробляється шляхом обчислення кількісної міри, що характеризує ступінь близькості індивідуальних думок. Аналіз значень міри погодженості сприяє виробленню правильного судження про загальний рівень знань по розв'язуваній проблемі і виявленню угруповань думок експертів, обумовлених розходженням поглядів, концепцій, існуванням наукових шкіл, характером професійної діяльності і т.п.
Задача побудови узагальненої оцінки об'єктів за індивідуальними оцінками експертів виникає при груповому експертному оцінюванні. Якщо експерти робили оцінку об'єктів у кількісній шкалі, то задача побудови групової оцінки полягає у визначенні середнього значення чи медіани оцінки. При вимірі в порядковій шкалі методом ранжирування чи парного порівняння метою обробки індивідуальних оцінок експертів є побудова узагальненого упорядкування об'єктів на основі осереднення оцінок експертів.
Обробкою результатів експертного оцінювання можна визначати залежності між судженнями різних експертів. Виявлення цих залежностей дозволяє встановлювати ступінь близькості в думках експертів. Важливе значення має також визначення залежності між оцінками об'єктів, побудованими за різними показниками порівнянь. Це дає можливість визначити пов'язані між собою показники порівняння і здійснити їхнє угруповання по ступеню взаємозв'язку?
При рішенні багатьох задач недостатньо здійснити упорядкування об'єктів по одному чи по групі показників. Бажано також мати кількісні значення відносної важливості об'єктів.
Для рішення цієї задачі можна відразу застосувати метод безпосередньої оцінки (див. 3.2). Однак цю ж задачу за певних умов можна вирішити шляхом обробки результатів ранжувань чи парних порівнянь групи експертів.
Оцінки об'єктів, одержувані в результаті обробки, являють собою випадкові величини, тому однієї з важливих задач є визначення їхньої вірогідності.
Обробка результатів експертизи вручну пов'язана з великими трудовими витратами (навіть у випадку рішення простих задач упорядкування), тому її доцільно проводити на базі обчислювальної техніки. Застосування ЕОМ висуває проблему розробки машинних програм, що реалізують алгоритми обробки результатів експертного оцінювання. При організації обробки результатів опитування варто ретельно проаналізувати трудомісткості рішення задач з урахуванням розробки математичного забезпечення для ЕОМ.