2.4 Організація експертного оцінювання

Першим етапом організації робіт з використання експертного оцінювання є підготовка ти видання відповідного документу з управління, в якому сформульована мета роботи та основні положення з її досягнення. В цьому документі мають бути відображені наступні питання: постановка задачі-експеримента, мета експерименту, обумовлення необхідності експеримента, терміни виконання робіт, задачі та склад групи управління, обов’язки та права групи, фінансове та матеріальне забезпечення робіт.

Для підготовки цього документу, а також для управління всією роботою призначається керівник експертизи. На нього покладається формування групи управління та відповідальність за організацію її роботи.

Після формування група управління виконує роботу по підбору експертної групи приблизно в такій послідовності:

• уникнення в суть проблеми, що розв’язується;

• визначеня кола областей діяльності, пов’язанних з проблемою;

• визначення дольового складу експертів з кожного виду діяльності;

• визначення кількості експертів в групі;

• складання попереднього списку експертів з урахуванням їх місцязнаходження;

• аналіз якості експертів та уточнення списку експертів в групі;

• отримання згоди експертів на участь в роботі;

• складання кінцевого списку експертної групи.

Паралельно з процесом формування групи експертів група управління проводить розробку організації та методики опитування експертів. При цьму розв’язуються наступні питання:

• місце та час проведення опитування;

• кількість та задачі турів опитування;

• форма проведення опитування;

• порядок фіксації та збору результатів опитування;

• склад необхідних документів.

Наступним етапом роботи групи управління є визначення організації та методики обробки даних опитування. На даному етапі необхідно визначити задачі та строки обробки, процедури та алгоритми обробки, сили та засоби для проведення обробки.

В процесі безпосереднього проведення опитування експертів та обробки його результатів група управління виконує комплекс робіт у відповідності з розробленим планом, корегуючи його по мірі необхідності за змістом, термінам та забезпеченню ресурсами.

Останнім етапом робіт для групи управління є оформлення результатів роботи. На цьому етапі виконується аналіз результатів експертного оцінювання, складання звіту, обговорення та схвалення результатів, представлення результатів роботи на затвердження, ознайомлення з результатами експертизи організацій та осіб.

2.5 Відбір експертів

Для реалізації процедури експертного оцінювання необхідно сформувати групу експертів. Загальною вимогою при формуванні групи експертів є ефективне рішення проблеми експертизи. Ефективність рішення проблеми визначається характеристиками достовірності експертизи та витрат на її проведення.

Достовірність експертного оцінювання може бути визначена тільки на основі практичного рішення проблеми та аналізу її результатів. Використання експертів як раз і обумовлено тим, що відсутні інші способи отримання інформації. Тому оцінка достовірності експертизи може здійснюватись, як правило, тільки за апостеріорними (післядослідними) даними. Якщо експертиза проводиться систематично з приблизно одним і тим самим складом експертів, то з’являється можливість накопичення статистичних даних за достовірністю роботи групи експертів та отримання стійкої числової оцінки ефективності. Цю оцінку можна використати в якості апріорних даних про достовірність групи експертів для наступних експертиз.

Достовірність групового експертного оцінювання залежить від загального числа експертів в групі, дольового складу різних спеціалістів в групі, від характеристик експертів.

Визначення характеру залежності достовірності від перерахованих факторів є ще однією проблемою процедури відбору експертів.

Складною проблемою процедури відбору є формування системи характеристик експерта, що суттєво впливають на хід та результати експертизи. Ці характеристики мають описувати специфічні якості спеціаліста та можливі відносини між людьми, що впливають на експертизу. важливою вимогою до характеристик експерта є вимірюваність цих характеристик.

Ще однією проблемою є організація процедури відбору експертів, тобто визначення чіткої послідовності робіт, що виконуються в процесі відбору експертів та необхідних ресурсів для їх реалізації.

Максимальна кількість експертів в групі перевіряється на обмеження за фінансовими ресурсами. Визначивши залежність між достовірністю, кількістю експертів та витратами на оплату, група управління представляє керівництву цю інформацію та формулює можливі альтернативи рішень. Такими альтернативами можуть бути або зниження достовірності результатів експертного оцінювання до рівня, що забезпечує виконання обмеження за витратами на оплату експертів, чи збереження вихідної вимоги на достовірність експертизи та збільшення витрат на оплату експертів.

Наступним етапом роботи з відбору експертів є складання попереднього списку експертів. При складанні цього списку проводиться аналіз якостей експертів. Крім врахування якостей експертів, визначається їх місцезнаходження та можливості участі вибраних спеціалістів в експертизі. При оцінці якостей враховується думка людей, що добре знають кандидатів в експерти.

Після складання списку експертів їм направляються листи з запрошенням взяти участь в експертизі. В листах пояснюється мета проведення експертизи, її терміни, порядок проведення, обсяг роботи та умови оплати. До листів прикладаються анкети даних експерта та самооцінки компетентності. Отримавши відповіді експертів, група управління складає кінцевий список групи експертів.

Після складання та затвердження списку експертам відсилається повідомлення про включення їх в склад експертної групи. Якщо експертне оцінювання виконується методом анкетування, то одночасно з повідомленням про включення в експертну групу всім експертам висилається анкета з необхідними інструкціями для їх заповнення. Повідомленням експертам про включення їх в експертизу закінчується робота по відбору експертів.