5.3. Оцінні системи

Значна роль при проведенні процедур багатокритеріального експертного оцінювання належить оцінним системам.

Оцінна система, використовувана при багатокритеріальному експертному оцінюванні, включає такі важливі складові як:

• перелік критеріїв, що характеризують об'єкт ухвалення управлінського рішення;

• оцінка порівняльної важливості критеріїв;

• шкали для оцінки проектів за критеріями;

• формування принципу вибору.

Формування складової оцінної системи в різному ступені трудомістка, однак відсутність якої-небудь з перерахованих вище складових або недостатня якість якої-небудь з них унеможливлює одержання адекватної оцінки проекту і, як наслідок, утрудняє процес вироблення і прийняття ефективних рішень.

Перелік критеріїв, що характеризують порівняльну перевагу об'єктів ухвалення управлінського рішення, повинний задовольняти рядові природних вимог.

Як уже говорилося вище, саме поняття критерій тісно зв'язаний з таким поняттям як ціль. ЛПР звично міркує в термінах мет, що стоять перед ним. Наприклад, метою може бути підвищення прибутковості підприємства.

Однак ступінь досягнення мети може бути змінена лише за допомогою спеціальних критеріїв, Як такі критерії можуть бути використані економічні критерії: потік платежів, прибуток, строк окупності, внутрішня норма окупності і т.д.

Нерідко поряд із критеріями чисто економічного характеру приходиться враховувати і критерії іншої природи:

- критерії, що характеризують технічні можливості продукції, випуск якої стає можливий завдяки реалізації проекту;

- критерії, що характеризують екологічну безпеку виробництва;

- критерії, що характеризують ступінь ризику при реалізації проекту і т.д. Основна мета використання багатокритеріальної оцінки складається в переході від таких понять як корисність об'єкта ухвалення управлінського рішення, його цінність, важливість, що, як правило, досить складні при практичній роботі з ними, до більш зрозумілих критеріїв, що складають зазначені поняття, але набагато більш придатним для оцінки експертами.

Сформульована ЛПР ціль може виявитися не оцінюваної кількісно.

Як правило, ціль, що стоїть перед організацією, або те більш загальне поняття, що ми використовуємо для оцінки об'єкта ухвалення рішення, заміняється сукупністю критеріїв.

До цієї сукупності критеріїв пред'являється ряд вимог. Як уже говорилося вище, лише сукупність критеріїв, що задовольняє необхідним вимогам, може входити до складу оцінної системи.

До числа таких вимог відноситься повнота сукупності критеріїв, Іншими словами, сукупність критеріїв повинна всебічно характеризувати мета. Зокрема, при виборі проекту повинні оцінюватися такі критерії, як можливість успішної реалізації проекту, корисність проекту і т.д., тобто

адекватно характеризуватися об'єкт експертизи.

Так, наприклад, критерій «строк окупності» недостатньо повно характеризує економічну доцільність проекту.

Якщо ми його доповнимо критерієм «прибуток за розглянутий період», картина буде більш повною.

А, як ми пам'ятаємо, сукупність критеріїв повна, якщо по оцінках їхніх значень ЛПР може адекватно судити про ступінь досягнення мети.

З іншого боку, формована оцінна система повинна бути зручної для практичного використання, а, отже, не занадто громіздкої.

Тому сукупність критеріїв повинна визначати основні характеристики об'єкта експертизи.

Критерії, використовувані при формуванні оцінної системи, повинні бути вимірними. Тобто повинна матися можливість оцінки будь-якого розглянутого об'єкта експертизи по кожному з критеріїв.

Відзначимо, що не всі критерії можуть допускати об'єктивну оцінку, хоча всі критерії повинні бути вимірними.

У тих випадках, коли критерій, що характеризує об'єкт, не може бути обмірюваний об'єктивно, ми говоримо про суб'єктивні критерії, маючи у виді, насамперед, що для оцінки об'єктів за такими критеріями відсутні об'єктивні критерії і необхідний розробка спеціальних вербально-числових шкал.

Природно, що такі критерії, як «обсяг продукції», «собівартість виробництва», «строк окупності» можуть бути віднесені до об'єктивного. У той же час такі критерії як «гудвіл», зв'язаний з оцінкою інтелектуальної власності, «імідж фірми», «соціальна значимість проекту» і ін. можуть бути змінені лише суб'єктивно.

Відзначимо в той же час, що багато хто з об'єктивних критеріїв, що відносяться до майбутніх періодів часу нерідко також можуть бути оцінені лише суб'єктивно. Так, наприклад, очікувані обсяги виробництва продукції, що стануть можливими після реалізації проекту, очікувана ціна одиниці продукції й ін., часто багато в чому залежать від оцінок експертів, що є в строгому змісті слова суб'єктивними.

Тому так необхідний професіоналізм при організації і проведенні процесу експертного оцінювання, аналізі й обробці результатів експертних оцінок, використовуваних при виробленні і прийнятті управлінських рішень.

Але першим кроком у процесі експертного оцінювання є формування адекватної оцінної вартості.

Практичне формування переліку критеріїв також являє собою в значній мірі експертну процедуру. Це можуть бути 2-3 турові експертизи, коли попередньо сформульований перелік критеріїв

уточнюється експертами.

При формуванні сукупності критеріїв повинне бути звернена увага на такі моменти, як чітке розуміння змісту кожного з критеріїв ЛПР і експертами.

Іноді доцільно агрегування критеріїв. Цим може бути досягнуте як зниження надмірності критеріїв, особливо у випадку, коли мається часткове дублювання критеріїв, так і загальне зменшення кількості критеріїв, що важливо для зниження трудомісткості роботи з оцінною системою.

До цієї проблеми, що нерідко виникає при формуванні оцінної системи, примикає і проблема формування ієрархічно упорядкованої сукупності критеріїв. Ієрархічна структура критеріїв, відбиває, як правило, ієрархічну структуру цілей, що стоять перед ЛПР, методи, формування якої були обговорені нами раніше.

Звичайно, структурування цілей і критеріїв можна продовжувати, формуючи всі нові і нові більш низькі ієрархічні рівні, що відповідають більшого ступеня деталізації цілей і критеріїв.

Однак і тут варто пам'ятати, що, у кінцевому рахунку, формована оцінна система - лише зручний інструментарій, що дозволяє здійснювати оцінку корисності об'єктів за багатьма критеріями.

Тому надмірна деталізація може привести до протилежного результату - ускладнити процес оцінки, що, у свою чергу, не сприяє одержанню адекватної оцінки об'єкта.

У багатьох випадках доцільним при визначенні складу критеріїв є використання, поряд з методами експертного оцінювання, методів, що з'єднують можливості експертного оцінювання і формалізовані математико-статистичні підходи.

До числа таких математико-статистичних підходів можуть бути віднесені факторний і кореляційний аналіз.

Додаткові можливості при визначенні складу критеріїв, призначених для оцінки об'єктів, виникають при ефективному сполученні методів експертного оцінювання і багатомірного неметричного або метричного шкалювання.

Завершувати процедуру формування переліку критеріїв повинен змістовний аналіз отриманої сукупності критеріїв, призначених для формування оцінної системи об'єктів, що представляються експертові.

Коли альтернативи оцінюються не по одному, а по декількох факторах, ознакам, критеріям, складність аналізу й обробки експертиз істотно зростає.

Більш трудомістким стає визначення їхньої порівняльної переваги.

Для визначення порівняльної переваги необхідно знати, які критерії й у якому ступені впливають на оцінку альтернатив при виробленні і прийнятті управлінських рішень як при порівняльних оцінках альтернатив, що мають явно виражений кількісний характер, так і при їхніх якісних оцінках.