5.3. Експертні оцінки у виробленні управлінських рішень
Експертні методи дослідження систем керування грунтуються на ідеях, основу яких складає неформальний підхід до вирішення проблеми. Це розуміється так, тому що в багатьох практичних завданнях при системному підході до їхнього вирішення не вдається цілком формалізувати проблему таким чином, щоб застосувати відомі математичні моделі для її строгого, тобто формального розв'язання.
Подібні постановки завдань називаються також слабко структурованими. Характерні приклади таких завдань мають місце в різних класах соціотехнічних систем, що включають:
організаційні системи, що складаються в основному з людей;
автоматизовані системи, що складаються з людей і машин;
людино-машинні системи, що включають одну людину й одну машину.
Реальними системами, що входять у зазначені класи, є системи керування заводами, різними виробництвами, торговими комплексами, корпоративними системами, системами транспорту і зв'язку, екологічними системами і т.п.
В умовах слабко структурованих чи не цілком формалізованих завдань істотне значення починають здобувати чисто психологічні аспекти людських взаємин.
Подолання складності, що пояснюється неможливістю на даному етапі розвитку науки цілком формалізувати об'єкт дослідження, можливо на основі неформальних знань і розглянутих нижче експертних методів, що базуються на теорії і практиці, на здоровому глузді й абстрактній формалізації.
При використанні експертних методів для аналізу соціотехнічних систем передбачаються чотири групи осіб-учасників:
1) клієнт — той, хто ставить проблему, замовляє і фінансує дослідження системи керування;
2) особи, що приймають рішення, тобто керівники, від повноважень яких безпосередньо залежить рішення проблеми;
3) власне учасники, як активні (ті, чиї дії будуть потрібні при вирішенні проблеми), так і пасивні (ті, на кому позначаться позитивним чи негативним чином наслідки вирішення проблеми);
4) системний аналітик і його співробітники.
У загальному випадку при дослідженні систем керування проблематика, як правило, включає весь спектр проблем від добре структурованих сформульованих (у вигляді постановки математичних оптимізаційних завдань), до проблем слабко структурованих, несформульованих. описаних декларативно (дескриптивна модель). Представляється цілком очевидним, що ці проблеми варто розглядати адекватно до їхніх уявлень, тобто способом описів.
Індивідуальні експертні методи засновані на використанні думок експертів-фахівців відповідного профілю незалежно один від одного. Найчастіше застосовними є наступні два методи формування прогнозу:
1) інтерв'ю;
2) аналітичні експертні оцінки.
Метод інтерв'ю означає бесіду прогнозиста з експертом, у ході якої прогнозист відповідно до заздалегідь розробленої програми ставить перед експертом питання щодо перспектив розвитку прогнозованого об'єкта. Успіх такої оцінки в значній мірі залежить від здатності експерта, що дає інтерв'ю, експромтом робити висновки до самих фундаментальних різних питань.
Аналітичні експертні оцінки передбачають тривалу і ретельну самостійну роботу експерта над аналізом тенденцій, оцінкою стану і шляхів розвитку прогнозованого об'єкта. Цей метод дає можливість експерту використовувати всю необхідну йому інформацію про об'єкт аналізу. Свої роміння експерт оформляє у вигляді доповідної записки.
Основними перевагами розглянутих методів є можливість максимального використання індивідуальних здібностей експерта і обмеженість психологічного тиску, що робиться на окремого працівника. Однак ці методи мало придатні для прогнозування найбільш загальних стратегій через обмеженість знань одного фахівця-експерта про розвиток суміжних галузей науки.
Методи колективних експертних оцінок грунтуються на принципах виявлення колективної думки експертів про перспективи розвитку об'єкта аналізу.
В основі застосування цих методів лежить гіпотеза про наявність в експертів уміння з достатнім ступенем вірогідності оцінити важливість і значення досліджуваної проблеми, перспективність розвитку визначеного напрямку досліджень, часу здійснення тієї чи іншої події, доцільності вибору одного з альтернативних шляхів розвитку об'єкта прогнозу і т.д.
В даний час великого поширення набули експертні методи, засновані на роботі спеціальних комісій. коли групи експертів за "круглим столом" обговорюють ту чи іншу проблему з метою узгодження думок і вироблення єдиної думки. Цей метод має недолік, який полягає в тім, що група експертів у своїх судженнях керується в основному логікою компромісу. Усе різноманіття розв'язуваних завдань зводиться до трьох типів:
форму вання об'єктів;
оцінка характеристик;
формування й оцінка характеристик об'єктів.
Формування об'єктів включає визначення можливих подій і явищ, побудова гіпотез, формулювання цілей, обмежень, варіантів рішень, визначення ознак і показників для опису властивостей об'єктів і їхніх взаємозв'язків.
У завданні оцінки характеристик експерти роблять виміри вірогідності подій і гіпотез, важливості цілей, переваг і рішень. У завданні формування й оцінки характеристик здійснюється комплексне вирішення перших двох типів завдань. Таким чином, експерт може відігравати роль генератора об'єктів (ідей, подій, рішень) і вимірника їхніх характеристик.
При вирішенні розглянутих завдань усю безліч проблем можна розділити на два класи: з достатнім і недостатнім інформаційним матеріалом.
Це значить, що для проблем першого класу повинен бути необхідний обсяг знань і досвід їхнього вирішення. Тому стосовно цих проблем експерти є якісним джерелом і досить точними кількісними вимірниками інформації.
У відношенні проблем другого класу експерти вже не можуть розглядатися як досить точні вимірники. Думка одного експерта може виявитися правильною, хоча вона сильно відрізняється від думки інших експертів. Обробка результатів другого класу не може ґрунтуватися на методах осереднення.
Для кількісних методів дуже суттєвим є вибір шкали виміру. Відповідно до існуючої теорії вимірів можна виділити наступні види шкал:
шкала найменувань;
шкала порядку;
шкала відмінностей;
шкала відносин.
Шкала найменувань — це просте перерахування об'єктів, наприклад, перелік учасників експертної групи.
Шкала порядку — це послідовність об'єктів, упорядкована за яким-небудь критерієм. Наприклад, список фірм, складений за зростанням обсягу продажів чи за чисельністю зайнятих.
Шкала відмінностей визначає, наскільки один показник відрізняється від іншого. Наприклад, ціни товарів чи коливання біржових індексів.
Шкала відносин показує, у скільки разів показник на одному об'єкті відрізняється від іншого. Наприклад, показники ваги одного об'єкта (явища) у порівнянні з іншим чи співвідношення курсів різних валют стосовно долара.
Найбільш сильною є остання шкала відносин, тому що вона дає можливість повної кількісної зміни співвідношення об'єктів за якою-небудь якістю (вартості, надійності, ефективності і т.п ). Тому експертні оцінки, отримані при використанні кожної з перерахованих видів шкал, як правило, прагнуть привести до шкали відносин. Способи приведення залежать від використовуваної шкали, а також підходів і методів одержання експертних оцінок.
При формуванні групи експертів основними є питання визначення її якісного і кількісного складу. Добір експертів починається з визначення питань, що охоплюють вирішення даної проблеми; потім складається список осіб, компетентних у цих галузях. Для одержання якісного прогнозу до учасників експертизи пред'являється ряд вимог, основними з яких є:
високий рівень загальної ерудиції;
глибокі спеціальні знання в оцінюваній галузі;
здатність до адекватного відображення тенденції розвитку досліджуваного об'єкта;
наявність психологічної установки на майбутнє;
наявність виробничого і (чи) дослідницького досвіду в розглянутій галузі.
Для визначення відповідності потенційного експерта до перерахованих вимог використовується анкетне опитування. Додатково до цього часто використовують спосіб самооцінки компетентності експерта. При самооцінці експерт визначає ступінь своєї поінформованості в досліджуваному питанні також на підставі анкети. Обробка даних дає можливість одержати кількісну оцінку компетентності потенційного експерта.
Метою обробки є одержання узагальнених даних і нової інформації, що міститься у відкритій формі в експертних оцінках. На основі результатів обробки формується вирішення проблеми. В залежності від цілей експертного оцінювання при обробці результатів опитування виникають наступні основні завдання:
визначення погодженості думок експертів;
побудова узагальнень оцінки об'єкта;
визначення залежності між судженнями експертів;
визначення відносних видів об'єктів;
оцінка надійності резу льтатів експертизи.
Оцінки об'єктів, одержувані в результаті обробки, являють собою випадкові величини, тому одним з важливих завдань є визначення їхньої вірогідності. Ступінь вірогідності оцінок можна виразити за допомогою вагових коефіцієнтів, що характеризують компетентність кожного експерта з аналізованої проблеми. Усі відомі проблеми призначення вагових коефіцієнтів грунтуються на самооцінці експертів. При цьому з'ясовується ступінь знайомства кожного експерта з аналізованою проблемою Ка і ступінь впливу різних джерел в аргументації на формування думки кожного експерта Кз. В результаті ваговий коефіцієнт кожного і-го експерта визначиться як деяка функція:
.
(5.1)
Коефіцієнт знайомства може визначатися в результаті прямої самооцінки, коли кожен експерт, наприклад, по десятибальній шкалі оцінює ступінь свого знайомства з обговорюваною проблемою (інтегральна самооцінка). Коефіцієнт аргументованості Ка визначається за результатами непрямої самооцінки, що з'ясовує джерело аргументації і ступінь впливу його на формування думки експертів.
Для визначення Кз кожен експерт заповнює спеціальну (заздалегідь приготовлену) таблицю, відзначаючи хрестиком відповідну графу шкали. При цьому експерт не знає, яким саме балом буде оцінена його відповідь. Коефіцієнт аргументованості може бути отриманий з виразу:
.
(5.2)
де Кd – коефіцієнт довіри, що установлює відповідність між галуззю спеціалізації експерта, рівнем його спеціалізації і рівнем обговорюваної проблеми;
Кс — коефіцієнт відповідності експерта пропонованим до нього вимогам, що характеризує творчі можливості експерта, його практичної і науково-організаційної роботи.
Коефіцієнт відповідності Кс визначається шляхом підсумовування тих значень, що виявляться відзначеними хрестиком на відповідній таблиці, по яких підраховуються бали (бали проставляються при обробці таблиць).
Коефіцієнт довіри, що складається з двох співмножників К' і К", приймається рівним величині відповідно 0,5 і 1. Якщо рівень спеціалізації відповідає аналізованій проблемі, то К' = 1,0. якщо ні, то К' = 0,5. Аналогічно, якщо проблема відноситься до галузі безпосередньої наукової чи проектної роботи, то К" = 1.0, якщо до суміжного — К" = 0,5.
Результуючий коефіцієнт компетентності кожного експерта визначається за формулою:
.
(5.3)
Теоретичні основи методу експертних оцінок ще недостатньо розроблені, а існуючі підходи не повною мірою розкривають принципові сторони методу. Вважається доцільним розглядати застосування цього наукового методу з позиції системного підходу.
Системний підхід — це загальна система міркувань, шо дозволяє аналізувати й описувати явища різного характеру і різних рівнів. Він складає основу для установлення взаємозв'язку між окремими частинами явища й інтеграції результатів.
З цих позицій система експертних оцінок є сукупністю принципів і процедур, обов'язкових для побудови такої системи і спрямованих на досягнення визначених, заданих відповідно до плану цілей.
Підготовка до проведення експертного опитування включає розробку анкет, що містять набір питань про об'єкт аналізу. Структурно-організаційний набір питань в анкеті повинен бути логічно зв'язаний з центральним завданням експертизи. Хоча форма і місі питань визначаються специфікою об'єкта аналізу, можна встановити загальні вимоги до них:
питання повинні бути сформульовані в загальноприйнятих термінах;
їхнє формулювання повинне виключати всяку значеннєву невизначеність;
усі питання повинні логічно відповідати структурі об'єкта аналізу і забезпечувати єдине тлумачення.
За формою питання можуть бути: відкритими, закритими, прямими, непрямими.
Питання називають відкритим, якщо відповідь на нього не регламентована. Закритими вважаються питання, у формулюванні яких містяться альтернативні варіанти відповідей, і експерт повинен зупинити свій вибір на одному (чи декількох) з них. Непрямі питання використовують у тих випадках, коли потрібно замаскувати мету експертизи. До подібних питань звертаються тоді, коли не впевнені, що експерт, даючи інформацію, буде цілком щирий чи вільний від сторонніх впливів, що спотворюють об'єктивність відповіді.
Розглянемо основні групи питань, використовуваних при проведенні колективної експертної оцінки.
Процедура проведення експертизи може бути різною, однак тут також можна виділити три основних етапи:
1) на першому етапі експерти залучаються для уточнення формалізованої моделі об'єкта прогнозу, формулювання питань в анкетах, уточнення складу групи;
на другому етапі здійснюється безпосередня робота експертів над питаннями в анкетах;
на третьому етапі після попередньої обробки результатів експерти залучаються для консультацій за відсутньою інформацією, необхідної для остаточного формування оцінки.
За характером постановки питань і формою відповідей можна виділити наступні види експертних оцінок.
1. Метод одержання абсолютних оцінок експертів. Питання ставиться таким чином, щоб відповідь його була представлена в абсолютній величині у визначеній системі виміру. Наприклад, який обсяг виробництва може бути досягнутий фірмою через рік (два чи більше), вкажіть максимальний рівень середньої заробітної плати працівників фірми при виконанні стратегічного плану, назвіть найбільш ймовірний термін завоювання фірмою лідируючої позиції в галузі і т.п. Відповіді на такі питання маються на увазі у вигляді кількісних значень у гривнях, відсотках, роках, штуках, тоннах і інших одиницях виміру. По своїй сутності цей метод має на увазі використання в основному шкал і відносин.
2. Метод одержання часткових відносних оцінок. Експерт повинен дати відносну оцінку питомої ваги об'єкта в деякій сукупності порівнюваних об'єктів звичайно в частках одиниці. Найбільше часто він використовується при оцінці коефіцієнтів відносної важливості цілей на якому-небудь рівні цільової структури стратегії. Крім того, розповсюдженим застосуванням цього підходу є оцінка відносної важливості (вагових коефіцієнтів) окремих критеріїв у загальній (комплексній) оцінці об'єкта (цілей по сукупності критеріїв якості продукції чи технології з різних точок зору й ін.). Очевидно, що при цьому сума відносних оцінок усіх порівнюваних об'єктів (цілей, критеріїв) повинна складати одиницю, а шкала, використовувана при даному підході, відноситься до шкал відносин.
3. Метод бальних оцінок передбачає, що кожна мета оцінюється експертом визначеною кількістю балів, у 5-бальній шкалі чи в 10-бальній чи якій-небудь іншій шкалі відносин. Така шкала є шкалою відмінностей і не дає відповіді, у скільки разів одна ціль важливіше іншої як це відбувається в шкалі відносин. Для приведення бальних оцінок до шкали відносин використовується такий прийом. Бал, отриманий якою-небудь метою, поділяється на загальну суму балів усіх цілей, тобто виходить вага даної мети в загальній сукупності цілей.
4. Метод рангового порядку припускає, що експерт повинен упорядкувати мету за зростанням (чи зменшенням) якої-небудь властивості, наприклад за важливістю. Кожна мета одержує свій порядковий номер у цьому ряді. Цей номер і є рангом даної мети. Як очевидно, в даному випадку, ми маємо справу зі шкалою порядку. Для переходу до шкали відносин можна ранг кожної мети поділити на суму рангів усього ряду за аналогією з попередньою формулою приведення бальних оцінок.
З погляду простоти оцінок для експерта цей метод, природно, простіше попереднього. Однак з погляду точності одержуваних відносних оцінок, природно, трохи слабкіше.
5. Метод парних порівнянь будується на базі матриці парних порівнянь, по рядках і стовпцях якої перелічуються цілі, шо співставляються. Мета рядків і стовпців порівнюється попарно одна з одною. Якщо одна мета визнається експертом важливіше, ніж інша, то вона одержує більше очок, якщо мета однакова за важливістю, то обидві одержують однакове число очок. За аналогією до шахового турніру той, що виграв партію, одержує одне очко, що програв — нуль очок, при нічиїй кожний одержує по половині очка (у футбольних чемпіонатах відповідно три, одне і нуль очок). Підсумок підводиться в такий спосіб. Підсумовуються очки, набрані по рядку за кожною з цілей - учаснику порівняння. Поділивши очки, отримані кожною метою, на загальну суму очок, одержимо відносну важливість кожної мети.
При статистичній обробці результатів експертних оцінок у вигляді кількісних даних, що містяться в анкетах, визначаються статистичні оцінки прогнозованих характеристик і їхні довірчі границі, статистичні оцінки погодженості думок експертів. До статистичних оцінок, що обчислюються, відносяться:
середнє значення прогнозованої величини;
дисперсія;
довірчий інтервал;
довірчі границі для значення прогнозованої величини;
коефіцієнт варіації оцінок, даних експертами;
коефіцієнт конкордації;
коефіцієнти парної рангової кореляції.
Середнє значення прогнозованої величини визначається за формулою:
,
(5.4)
де Ві – значення прогнозованої величини, дане і-тим експертом.
п – число експертів у групі.
Дисперсія D визначається за формулою:
.
(5.5)
Найближче значення довірчого інтервалу визначається за формулою:
,
(5.6)
де t – параметр, обумовлений за таблицями Стьюдента для заданого рівня довірчої ймовірностей і числа ступенів волі k = (n – 2). Довірчі границі для значення прогнозованої величини обчислюються за формулами:
для верхньої границі – Аv = В + j,
для нижньої границі – Ан = У – j.
Коефіцієнт варіації оцінок, даних експертами, визначаються за формулою:
,
(5.7)
де σ – середньоквадратичне відхилення.
Коефіцієнт конкордації показує ступінь погодженості думок експертів за важливістю кожного з оцінюваних напрямків. Для цього обчислення виробляється ранжируванням оцінок важливості даних експертами. Кожна оцінка, дана і-тим експертом, виражається числом натурального ряду таким чином, що число 1 привласнюється максимальній оцінці, а число п – мінімальній. Якщо всі оцінки різні, то відповідні числа натурального ряду є ранги оцінок і-го експерта. Якщо серед оцінок, даних і-тим експертом, є однакові, то цим оцінкам призначається однаковий ранг, рівний середній арифметичній величині відповідних чисел натурального ряду. За формулою:
,
(5.8)
обчислюється сума рангів Si призначених екпертами напрямку. Тут j=1,…m. m – кількість досліджуаних напрямків.
Rij – ранг оцінки, даної і-тим експертом j-му напрямку. Середнє значення суми рангів оцінок в усіх напрямках дорівнює:
,
(5.9)
Відхилення суми рангів, отриманих j-м напрямком, від середнього значення суми рангів визначається за формулою:
.
(5.10)
Враховуючи викладене, коефіцієнт конкордації обумовлений по сукупності всіх напрямків, обчислюється за співвідношенням:
,
(5.11)
де величина Ti розраховуються за формулою:
,
(5.12)
при наявності рівних рангів (n – кількість груп рівних рангів, te – кількість рівних рангів у групі).
Коефіцієнт конкордації приймає значення в межах від 0 до 1. W=1 означає повну погодженість думок експертів, при W=0 – повну непогодженість. Коефіцієнт конкордації показує ступінь погодженості всієї експертної групи. Низьке значення цього коефіцієнта може бути отримане як при відсутності спільності думок експертів, так і через наявність протилежних думок між підгрупами експертів, хоча всередині підгрупи погодженість може бути високою.
Нарешті, для виявлення ступеня погодженості думок експертів визначається коефіцієнт парної рангової кореляції, що обчислюється за формулою:
,
(5.13)
де ψ – різниця (за модулем) величин рангів оцінок j-го напрямку, призначених експертами і та і+1. Величина ψ розраховується за формулою:
.
(5.14)
Коефіцієнт парної рангової кореляції може приймати значення від +1 до -1. Значення р=1 відповідає повній погодженості двох експертів. Значення р= -1 показує, що думка одного експерта протилежна думці іншого.
Для визначення рівня значимості значень коефіцієнтів W i p можна використати критерій х2. Для цього обчислюється величина:
.
…………………….(5.15)
Тут число ступенів волі розраховується за формулою: К=т-1.
На підставі розрахункових значень за відповідними таблицями визначається рівень значимості отриманих даних.
На обробці результатів експертних оцінок за відносною важливістю напрямків середнє значення, дисперсія і коефіцієнт варіації обчислюється для кожного оцінюваного напрямку. ОПР на снові експертного аналізу (його результати є ніби одним з вирішальних джерел інформації) й інших факторів соціально-психологічного плану приймає остаточне рішення за розглянутою проблематикою.