3. Загальна структура проведення експертиз

Організаторам проведення цільового аналізу на основі експертних методів доцільно керуватися класичною структурою експертного дослідження, основними складовими етапами якої є [19, 26]:

1. Прийняття рішення про необхідність проведення експертизи. Для успішного вирішення організаційних і фінансових проблем ініціатива стосовно проведення експертного опитування повинна надходити від керівництва. На цьому етапі потрібно чітко сформулювати мету експертизи та ідентифікувати її об’єкти.

2. Формування основного складу робочої групи, на яку покладатиметься організація експертизи. Особою, яка прийняла рішення про проведення експертизи, призначається науковий керівник та секретар робочої групи. Науковий керівник здебільшого стає керівником експертної комісії, а тому повинен бути висококваліфікованим фахівцем. На нього покладається організація та проведення експертизи загалом, а також формулювання висновку експертної комісії. Секретар відповідає за документаційне забезпечення експертизи та вирішення організаційних питань.

3. Розробка технічного завдання на проведення експертизи. У ньому визначаються терміни проведення експертизи, її фінансове, кадрове та матеріальне забезпечення. На цьому етапі остаточно формується робоча група, члени якої розбиваються на спеціальні підрозділи – організаційний, аналітичний, комп’ютерний, по роботі з експертами тощо. Склад робочої групи та технічне завдання затверджується особою, яка прийняла рішення про проведення експертизи.

4. Розробка сценарію проведення експертизи. Робочою групою визначаються система оцінювання, методи опитування, аналізу та обробки інформації, на основі чого розробляється програма обстеження, визначається методика отримання інформації від експертів, створюється відповідне забезпечення.

5. Підготовка необхідної інформації. На основі затвердженого сценарію проведення експертизи згідно зі спеціально розробленими формами збирається та систематизується інформація про об’єкти експертизи.

6. Формування експертної комісії. Оцінюючи ступінь придатності експертів для запланованої експертизи та враховуючи рівень їх компетентності, робоча група складає список можливих кандидатур. На підставі узгоджувальних процедур затверджується склад експертної комісії. Із кожним експертом укладається договір про умови та оплату праці.

7. Ознайомлення експертів зі сценарієм експертизи. Члени експертної комісії попередньо знайомляться з об’єктами та сценарієм експертизи. На підставі їх пропозицій та зауважень можливе уточнення процедури експертизи, системи оцінювання тощо.

8. Оцінка об’єктів експертизи членами експертної комісії. Відбувається згідно з прийнятою процедурою та системою оцінювання.

9. Аналіз та інтерпретація результатів експертизи. Визначається підсумкове ранжування об’єктів експертизи, аналізується степінь узгодженості думок експертів. Шляхом обговорення результатів експертизи приймається рішення про її об’єктивність. Якщо результати визнані непереконливими, проводиться повторна експертиза. Готується заключний документ експертної комісії.

10. Закінчення експертизи. Особою, яка прийняла рішення про проведення експертизи, затверджуються заключний документ експертної комісії, науковий та фінансовий звіти робочої групи. Відбувається оплата праці експертів і членів робочої групи та при потребі офіційно припиняється їх діяльність. На основі результатів експертизи приймаються відповідні управлінські рішення.

Типові проблеми

1. Проблема одновимірності. Ідеальним варіантом порівняння різних об’єктів виглядає оцінювання їх одним числом – певним узагальнюючим показником. Через складність та багатовимірність реальних об’єктів існує проблема ефективного вибору такого показника, оскільки оцінити внесок окремих чинників чи характеристик об’єктів в їх загальну оцінку надзвичайно складно.

2. Проблема вибору кількості турів експертизи. Експертизи можуть проводитись в декілька турів, при цьому зі збільшенням їх кількості об’єктивність зростає, та разом з тим зростають затрати на її проведення (як часові, так і матеріальні).

3. Проблема узгодженості думок експертів. Намагання забезпечити максимальну узгодженість думок членів експертної комісії інколи може спричинити, як це не дивно, необ’єктивність експертизи. У практиці проведення експертного оцінювання відомі випадки, коли з метою забезпечення узгодженості думок організатори експертизи свідомо підбирають “потрібних” експертів. Але також організаторам експертизи потрібно враховувати так звані групові точки зору, коли експерти діляться на групи, які мають різні (але однакові в межах групи) точки зору. Не потрібно робити завчасні висновки про необ’єктивність експертизи. Можливо, її результатом є відсутність єдиної точки зору, а це теж важливий результат. Доцільно також зважати на математичні та статистичні особливості методів встановлення рівня узгодженості думок експертів.

4. Проблема думок дисидентів [19]. Не потрібно безпідставно виключати з експертної комісії або ігнорувати (за допомогою стійких статистичних процедур) оцінки тих, чия думка відмінна від думки більшості – замість некваліфікованого експерта можна виключити фахівця, який найбільше проникнув у суть проблеми. Тому перед виключенням зі складу експертної групи чи ігнорування окремих суджень доцільно вислухати обґрунтування позицій експертів.

5. Проблема організації спілкування експертів. Заборона спілкування між експертами забезпечує незалежність їхніх думок. Але ж інколи, знаючи думки інших, експерт може глибше проникнути в суть проблеми, відсіяти свої помилкові судження тощо. Перевагами заочних експертиз є організаційні аспекти (відпадає необхідність збирати експертів разом), проте очні експертизи дають змогу за коротший термін зібрати більшу кількість інформації. Під час очної експертизи у формі вільної дискусії можливі соціально-психологічні проблеми, а також проблеми, пов’язані із професійними чи посадовими нерівностями членів комісій, їх особистісними стосунками тощо. Частково їх можна вирішити, заслуховуючи думки “від підлеглого до керівника”.

6. Проблема чисельності експертної комісії. Число експертів суттєво впливає на точність групової оцінки. Зменшення числа експертів веде до зниження точності, оскільки на кінцеві результати вагомо впливає кожен експерт. Збільшення числа експертів, хоча і підвищує, як правило, точність оцінки, однак ускладнює організацію проведення експертизи, розширює терміни її проведення. Отже, під час вибору числа експертів також потрібен компроміс між точністю та трудомісткістю проведення експертизи.

7. Проблема кількісно-якісного трансформування. Часто експерти виражають свою думку в якісній, а не кількісній формі. Проте оперувати числами зручніше, оскільки їх можна легко порівнювати, групувати, відсіювати і т.д. З іншого боку, люди мислять не числами, а словами та образами. Трансформацію кількісного в якісне (і навпаки) можна здійснити за допомогою спеціальних методик теорії репрезентативних вимірів, що входить до статистики об’єктів нечислової природи