Етапи проведення колективної експертної оцінки.
При використанні методу колективної експертної оцінки звичайно виділяють такі етапи проведення експертизи:
Формування цілей і питань експертизи.
Формування правил проведення чи опитування характеру взаємини експертів.
Формування групи експертів.
Вибір способу оцінки ступеня компетентності експертів.
Формування правил обробки думок експертів.
Обчислення експертних узагальнених оцінок і визначення ступеня погодженості експертів.
На першому етапі експертизи велике значення має чітке визначення її цілей. Наявність чітко сформульованих цілей і ясно зрозумілих потреб є обов'язковою умовою забезпечення надійного результату експертизи.
Корисним інструментом формулювання цілей є опис передісторії і поточного стану проблеми, що може бути основою для вибору цілей експертизи. Крім цього, при формуванні цілей важливо мати уявлення про специфічні особливості й інтереси можливих груп фахівців, що будуть брати участь в експертизі. Після збору цих даних можна приступати до постановки задачі експертизи і розробки основних правил її проведення.
Вибір цілей і характер процедури експертизи значною мірою визначається суттю проблеми, передбачуваними кінцевими результатами і можливими способами їх представлення. Рівень прийняття рішень (державний, галузевий, підприємства) визначає широту діапазону, кількість альтернатив і ступінь формалізації процедури. Вибір цілей і процедури експертизи залежить також від надійності й повноти наявних даних і від виду необхідної інформації.
Тому при формулюванні цілей експертизи насамперед необхідно чітко установити ознаки, за якими слід проводити оцінку, а також умови використання експертних оцінок. Якщо цілей небагато, то оцінки по різних шкалах потрібно намагатися звести до єдиної шкали, наприклад за рахунок установлення мети більш високого рівня.
Структурно-організаційний набір питань в анкеті повинен бути логічно пов'язаний з центральною задачею експертизи. Хоча форма і зміст питань визначається специфікою об'єкта прогнозування, можна установити загальні вимоги до них: питання повинні бути сформульовані в загальноприйнятих термінах, без змістовної невизначеності, усі питання мають логічно відповідати структурі об'єкта, забезпечувати єдине тлумачення.
За формою питання можуть бути відкритими і закритими, прямими і непрямими. Питання називається відкритим, якщо відповідь на нього не регламентована. Закритими вважають питання, у формулюванні яких містяться альтернативні варіанти відповідей, і експерт повинен зупинити свій вибір на одному (чи декількох) з них. Непрямі питання використовують у тих випадках, коли потрібно замаскувати мету експертизи. Подібні питання застосовують, коли не впевнені, що експерт, даючи інформацію, буде цілком щирий чи вільний від сторонніх впливів, що спотворюють об'єктивність відповіді. Розглянемо основні групи питань, використовуваних при проведенні колективної експертної оцінки.
Питання, що припускають відповіді у виді кількісної оцінки: про час, імовірність здійснення події, про оцінку відносного впливу факторів. При визначенні шкали значень кількісних характеристик доцільно користатися нерівномірною шкалою. Вибір конкретного масштабу нерівномірності визначається характером залежності помилки прогнозу від періоду попередження.
При формуванні групи експертів основним є визначення її якісного і кількісного складів. Добір експертів починається з визначення питань, що охоплюють рішення даної проблеми; потім складається список компетентних облич.
Для одержання якісного результату до учасників експертизи пред'являється ряд вимог, основні з який: високий рівень загальної ерудиції, глибокі спеціальні знання в оцінюваній області, здатність до адекватного відображення тенденції розвитку досліджуваного об'єкта, наявність психологічної установки на майбутнє, чисто науковий інтерес до оцінюваного питання при відсутності практичної зацікавленості в цій області, наявність виробничого і (чи) дослідницького досвіду в розглянутій області.
Існує кілька підходів до оцінки компетентності експертів. По-перше, організатори можуть з урахуванням участі експерта в експертизах дати оцінку його компетентності.
Іншим методом оцінки компетентності експертів є їх тестування. Для цього розробляється спеціальна тест-анкета, відповідаючи на питання якої експерт має показати знання об'єкта дослідження, свої аналітичні здібності. Слід зазначити, що розробка тест-анкети - складна і трудомістка процедура, тому цей метод оцінки компетентності виправданий тільки у випадках залучення для експертизи великого (> ЗО) числа експертів.