Критерії оцінювання пропозицій експертів (за х. Лінстоном та м. Туроффом)

Критерій	Варіант оцінки	Приблизна характеристика пропозиції у відповідях
Ефективність	Дуже ефективно	Буде мати позитивний результат у разі використання її як самостійного рішення
	Ефективно	Буде мати позитивний результат у разі використання в сукупності з іншими пропозиціями
	Неефективно	Буде мати негативний результат
	Украй неефективно	Її реалізація призведе до досить небезпечних наслідків
Здійсненність	Повна здійсненність	Немає жодних перешкод для здійснення
	Можлива здійсненність	Вимагає доробки й більш ретельного прописування деталей
	Можлива нездійсненність	Ряд моментів не висвітлено, можливі певні труднощі в процесі реалізації
	Повна нездійсненність	Пропозиція працювати не буде
Ступінь причетності до проблеми	Дуже висока	Пропозиція допомагає виконати багато поставлених завдань
	Висока	Пропозиція стосується проблеми, але її реалізація набуває другорядного характеру
	Низька	Пропозиція частково стосується проблемної ситуації, пріоритетність її реалізації досить низька
	Украй низька	Пропозиція взагалі не стосується проблеми
Ступінь довіри до пропозиції	Повна	Малий ризик того, що пропозиція буде хибною, усі висновки, уміщені в ній, правильні. Остаточне рішення повинне будуватися на її основі
	Висока	Є деякий ризик того, що пропозиція буде хибною. Бажано, щоб остаточне рішення базувалося на цій пропозиції, але з деякими змінами й доробками
	Низька	Пропозиція ризикована. Небажано, щоб остаточне рішення будувалося на її основі, але ряд ідей з неї можна запозичити
	Украй низька	Величезна ймовірність того, що пропозиція є хибна, і тому вона повинна бути рішуче відхилена

Припустимо, що групі експертів було поставлене завдання розробити стратегію виборчої кампанії якого-небудь суспільного об’єднання. Відповідаючи на запитання «Як правильно організувати агітацію в ЗМІ?», один з експертів, зокрема, запропонував використати на загальнодержавних каналах тільки безкоштовно надаваний ефірний час, а основні фінанси спрямувати на купівлю ефірного часу в регіо-нальних телемереж і студій кабельного телебачення для прокату рекламних роликів, кожний з яких буде зроблений для певного окремого регіону з урахуванням його специфіки. Інші учасники заочної експертизи за методом Дельфі, що використали для оцінки всіх пропозицій названу систему критеріїв, здебільшого оцінили запропоновану ідею як ефективну, можливо, здійсненну, здатну виконати багато поставлених завдань, а також виразили високу довіру до даної пропозиції. Під час уважного аналізу опитувальників організаційна група виявила, що в розділі використання ЗМІ в передвиборній боротьбі ця пропозиція випередила інші, що одержали нижчі оцінки. Однак ряд експертів висловив свої зауваження. Наприклад, було рекомендовано не знімати спеціальні ролики для тих територій, де популярність партії, за наявною інформацією, була досить низькою, а фінанси, що звільнилися, спрямувати на купівлю невеликої кількості часу на державних каналах. Однак загальна концепція використання телебачення з рекламною метою дістала схвалення. Висловлені зауваження були внесені в третій варіант опитувальника, знову розісланий експертам. Більшість експертів погодилася із зауваженнями, що й знайшло відбиття в підсумковому документі. Подібну процедуру оцінювання застосовують до кожної пропозиції.

Даний приклад показує, що заочну експертизу за методом Дельфі проводять у кілька однотипних етапів, які повторюють доти, поки експерти не дійдуть згоди за всіма пунктами опитувальника. Потім організаційна група збирає всі висловлені пропозиції в єдиний документ, який також відправляють усім експертам на остаточне затвердження, після чого складений прогноз або рішення потрапляє до замовника. Не можна при цьому виключити варіант, коли окрема група експертів не по-годжується з більшістю й відстоює свою точку зору на аналізоване питання. На нашу думку, у цьому випадку їх міркування доцільно оформити як особливу думку й також включити в підсумковий документ.

Незважаючи на те, що метод Дельфі одержав значне поширення в процесі організації експертного знання, у нього досить багато критиків. Одне з основних звинувачень стосується порівняння якості групових очних і заочних дискусій – ряд учених вважає, що якість очних методів значно вища за якість заочних. Другим звинуваченням на адресу методу Дельфі є підвищений рівень конформізму. За методом Дельфі, організаційна група повертає експертам рішення, що одержали найбільше число позитивних оцінок, змушуючи всю групу погоджуватися з ними. Таким чином, метод Дельфі є спробою представити рішення, яке перемогло статистично, як загальну думку, у той час як справжній консенсус експертів – це рішення, прийняте в результаті взаємонавчання й підвищення рівня поінформованості експертів. Ще одним аргументом проти методу Дельфі є припущення, що на практиці підсумок роботи в невеликій мірі залежить від думки експертів, оскільки остаточне рішення представляє організаційна група, яка обробляє матеріал, тобто, виходить, вона може інтерпретувати відповіді експертів у вигідному їй ключі. Не виключена й можливість маніпулювання думками експертів з боку організаційної групи на більш ранніх етапах процедури. Справді, роль організаційної групи досить велика, і у зв’язку з цим певні деформації думки експертів цілком можливі. Але подібну проблему можна вирішити ретельним підбором організаційної групи. У ній, зокрема, повинно бути не менше двох осіб, які контролювали б одна одну. Крім того, якщо організаційна група безпосередньо зацікавлена в кінцевому успіху справи і якщо в ній відсутні підкуплені конкуруючими політичними організаціями люди (у політиці не можна виключати й таку ситуацію), то навряд чи вона піде на підробку під час подання остаточного рішення групі.

Різновидом заочних методик є PATTЕRN (від англ. Planning Assistance Through Technical Relevance Number – допомога плануванню шляхом використання відносних показників технічної оцінки). Даний метод був розроблений фірмою «Хондуелл Інкорпорейтед» наприкінці 1960-х рр. Як і у випадку з методом Дельфі, його апробація пройшла на завданнях Міністерства оборони США – у першу чергу метод PATTЕRN також створювався для виконання військово-політичних завдань. Його методика відрізняється тим, що поєднує кілька методів політичного аналізу, які можуть бути використані й самі по собі – ідеться про написання сценарію й побудову «дерева цілей». Написання сценарію – перший етап методу PATTЕRN – являє собою поєднання ситуаційного аналізу й нормативного прогнозу. Сценарій передбачає докладний опис проблемної ситуації, після чого встановлюють логічну послідовність подій з метою показати, як, виходячи з існуючого стану речей, буде поступово виявлятися майбутній стан об’єкта дослідження.

Основний принцип складання «дерева цілей» полягає в перетворенні будь-якої мети вищого ієрархічного рівня на сукупність підцілей нижчого рівня. Таким чином, усі цілі вибудовують у сувору логічну послідовність, причому кожну більшу мету розбивають на більш дрібні підцілі. Процес вичленовування підцілей триває доти, поки всі вони не зближуються з назвами засобів своєї реалізації. Потім експерти проводять ретельний аналіз усіх рівнів побудованого «дерева рішень». Це роблять для визначення ступеня важливості кожного з можливих варіантів виконання поставленого завдання. Кожному рішенню присвоюють коефіцієнт значимості. Тепер ясно видно, які рішення варто реалізувати в першу чергу і як оптимально розподілити наявні засоби. Присвоєння коефіцієнтів звичайно здійснюють методом анкетування: експертам видають бланки, у яких вони проставляють оцінки всім запропонованим діям.

Для аналізу рішень і присвоєння їм коефіцієнтів існує певний набір показників, за якими й оцінюють кожну мету або підціль. Серед них можна виділити такі рубрики: ступінь ефективності, взаємокорисність (показує ступінь зниження витрат на виконання інших рішень у разі реалізації оцінюваного рішення), часові й фінансові витрати, можливість використання партійних ресурсів, а також активістів і добровольців. Під час складання анкет варто враховувати, що значимість самих рубрик різна – скажімо, фінансові витрати будуть набагато більш важливим показником, ніж можливість використання добровольців. Тому необхідно присвоювати певні коефіцієнти вагомості й самим критеріям, що здійснюють на основі думок експертів щодо кожного критерію, які з’ясовують до проведення анкетування.

Для правильного складання анкети необхідно дотримуватися ще двох важливих правил. Перше з них можна сформулювати в такий спосіб: коефіцієнти вагомості критеріїв нараховують у частках одиниці таким чином, щоб їх сума дорівнювала одиниці. Друге правило схоже на перше, але стосується вже критеріїв оцінки заходу. Кожен захід щодо кожного критерію оцінюють у частках одиниці, але сума оцінки всіх заходів щодо кожного критерію також повинна становити одиницю.