5.2. Загальна схема експертизи

Загальна схема експертних опитів включає наступні основні етапи:

- підбір експертів і формування експертних груп;

- формування питань і складання анкет;

- робота з експертами;

- формування правил визначення сумарних оцінок на основі оцінок окремих експертів;

- аналіз і обробка експертних оцінок.

Перш ніж приступити до розгляду змісту окремих етапів експертної процедури необхідно зробити наступне зауваження.

Проблема експертних оцінок має самостійне теоретичне і прикладне значення і далеко виходить за рамки проблем економічного ризику. Для її рішення використовуються спеціальні економіко-математичні методи і методи системного аналізу.

Тут не стоїть задача розкриття суті і змісту методів, що використовуються, оскільки вони досить повно відображені в обширній спеціальній літературі з проблеми. Тому представлена нижче коротка характеристика змісту окремих етапів носить ознайомлювально-описовий характер.

Для більш глибокого вивчення проблеми можна порекомендувати [8], де, на наш погляд, найбільш повно описується як зміст етапів, так і апарат, що використовується для їх реалізації.

Підбір експертів і формування експертних груп.

На цьому етапі, виходячи з цілей експертного опиту, вирішуються питання відносно структури експертної групи, кількості експертів і їх індивідуальних якостей, тобто визначаються вимоги до спеціалізації і кваліфікації експертів, необхідне число експертів кожної спеціалізації і загальна їх кількість в групі.

Оцінки чисельності групи експертів проводяться на основі наступних міркувань.

Чисельність групи не повинна бути малою, так як в цьому випадку буде втрачено сенс формування експертних оцінок, що визначаються групою фахівців. Крім того, на групові експертні оцінки значною мірою впливала б оцінка кожного експерта.

При збільшенні групи експертів, хоч і усуваються ці недоліки, але зате з'являється небезпека виникнення нових. Так, при дуже великій кількості експертів оцінка кожного з них окремо майже не впливає на групову оцінку. Причому, зростання чисельності експертної групи далеко не завжди приносить підвищення достовірності оцінок. Часто розширення групи експертів можливе лише за рахунок малокваліфікованих фахівців, що, в свою чергу, може привести до зменшення достовірності групових оцінок. Одночасно з ростом числа експертів збільшуються труднощі, пов'язані з координацією роботи групи і обробки результатів опиту.

Існуючі методи [ 8 ] дозволяють вибрати оптимальну в кожному конкретному випадку чисельність групи і її структуру - чисельність експертів необхідної спеціалізації і кваліфікації.

При підборі експертів повинно бути враховане обмеження, що стосується відповідності цілей експертів цілям експертного опиту. Тобто, необхідно встановити чи є тенденція у окремих експертів необ'єктивно оцінювати події, що розглядаються. Для цього бажано виявити потенційні можливі цілі експертів, що суперечать цілям отримання об'єктивних результатів.

Аналізуючи попередню діяльність експертів, необхідно з'ясувати наявність причин, які приводять до прагнення завищувати або занижувати оцінки так, щоб вплинути на групові в бажаному для себе, або для інших осіб, напрямі.

Формування питань і складання анкет.

Правила опиту експертів містять ряд положень, обов'язкових до виконання всіма. Ці правила повинні забезпечувати дотримання умов, що сприяють формуванню експертами об'єктивної думки. У число таких умов входять:

- незалежність формування експертами власної думки про події, що оцінюються;

- зручність роботи з передбачуваними анкетами (питання формулюються в загальноприйнятих термінах і повинні виключати всяку смислову неоднозначність і ін.);

- логічна відповідність питань структурі об'єкта опиту;

- прийнятні витрати часу на відповіді з питань анкети, зручний час отримання питань і видачі відповідей;

- збереження анонімності відповідей для членів експертної групи;

- надання експертам необхідної інформації.

Для забезпечення виконання цих умов повинні бути розроблені правила проведення опиту і організації роботи експертної групи.

Робота з експертами.

У залежності від характеру об'єкта, що досліджується, від міри його формалізації і можливості залучення необхідних експертів, порядок роботи з ними може бути різним, але в основному він містить наступні три стадії.

На першій стадії експерти притягуються в індивідуальному порядку з метою: уточнити модель об'єкта, її параметри і показники, що підлягають експертній оцінці; уточнити формулювання питань і термінологію в анкетах; погодити доцільність тієї або іншої форми представлення таблиць експертних оцінок; уточнити групи експертів.

На другій стадії експертам направляються анкети з пояснювальним листом, в якому описується мета роботи, структура і порядок побудови таблиць з прикладами.

Якщо є можливість зібрати експертів разом, то цілі і задачі анкетування, а також всі питання, пов'язані з анкетуванням, можуть бути викладені усно. Обов'язкова умова такої форми експертного опиту - наступне самостійне заповнення анкет, при дотриманні правил анкетування.

Третя стадія роботи з експертами здійснюється після отримання результатів опиту, в процесі обробки і аналізу отриманих результатів.

На цій стадії від експертів в формі консультації звичайно отримують всю необхідну інформацію, яка потрібна для уточнення даних і їх остаточного аналізу.

Формування правил визначення сумарних оцінок на основі оцінок окремих експертів.

Раціональне використання інформації, що отримується від експертів, можливе при умові перетворення її в форму, зручну для подальшого аналізу, направленого на підготовку і прийняття рішень.

Існує декілька способів використання групи експертів. Один з них (метод узгодження оцінок) полягає в тому, що кожний експерт дає оцінку незалежно від інших, а потім за допомогою певних прийомів ці оцінки об'єднуються в одну узагальнену (узгоджену).

Наприклад, якщо мова йде про імовірність настання ризикової події (р) і і-й експерт вказує для цієї імовірності число р_і, то найпростіший спосіб отримання узагальненої оцінки складається в обчисленні середньої імовірності:

_m

р =  р_i / m

ⁱ⁼¹

де m - число експертів, що беруть участь в експертизі.

У методі "Дельфі", як узагальнена думка, приймається медіана оцінок останнього туру опиту експертів.

Можна розрахувати і середньовиважене значення імовірності, якщо спробувати врахувати вагу (компетентність) самого експерта, яка визначається на основі попередньої діяльності (кількість вірних відповідей до загальної кількості), або на основі інших методів - "самооцінка" експертом своїх знань в області заданих питань, кваліфікація, посада, вчене звання і т.ін.

^m

 р_ih_i

p₁h₁+p₂h₂+....+p_mh_m i=1

р = =

h₁+h₂+....+h_m ^m

 h_i

i=1

де h_i - вага, що приписується і -му експерту.

Існують різні прийоми оцінки компетентності експерта, вибір яких визначається як характером задачі, що вирішується, так і можливостями проведення конкретного експертного опиту.

У загальному випадку значення ваги, що приписується і -му експерту інтерпретуються як імовірність завдання ним достовірної оцінки.

У цьому випадку: 0  h_i  1.

У залежності від специфіки експертного опиту, об'єкта дослідження і методики обробки експертних даних, що використовується, оцінки, що даються експертами, можуть мати різну шкалу вимірювання: від 0 до 1, від 0 до 10, від 0 до 100. Так, відома нам експертиза визначення індексу БЕРІ для оцінки ризику країни використовує шкалу від 0 до 100 балів. Разом з тим, принципової різниці в шкалах вимірювання немає, вибір тієї або іншої з них багато в чому визначається смаком дослідника, що проводить експертний опит. Прийнята шкала вимірювання може в деякій мірі вплинути на вибір методів аналізу і обробки думок експертів.

Аналіз і обробка експертних оцінок.

При проведенні аналізу зібраних експертних даних відповідно до цілей дослідження і прийнятих моделей, необхідно надати інформацію, отриману від експертів у вигляді зручному для прийняття рішень (упорядити об'єкти - варіанти, показники, чинники і т.ін.), а також визначити узгодженість дій експертів і вірогідність експертних оцінок.

Так, наприклад, виявлені в процесі якісного аналізу ризики необхідно подати в порядку їх важливості (міри можливого їх впливу на рівень втрат), або варіанти зниження ризику - в порядку їх переваги і т.ін.

Існує ряд методів упорядкування кожний з яких має свої переваги і недоліки, а також область ефективного застосування. Найбільш поширеними з них є: ранжирування, безпосередня оцінка, послідовне порівняння, парне порівняння.

Важливим моментом експертних процедур є оцінка узгодженості дій експертів і вірогідність експертних оцінок.

Як відмічалося, існуючі способи визначення вірогідності експертних оцінок засновані на припущенні, що у випадку узгодженості дій експертів вірогідність оцінок гарантується.

Найбільш часто для цих цілей використовують коефіцієнт конкордації (злагоди), величина якого дозволяє судити про міру узгодженості думок експертів і, як наслідок, вірогідність їх оцінок.

Коефіцієнт конкордації визначається з виразу:

²_ф

W = ,

²_max

де: : ²_ф - фактична дисперсія сумарних (впорядкованих)

оцінок, даних експертами;

² _max - дисперсія сумарних (впорядкованих) оцінок, в

випадку, коли думки експертів повністю співпадають.

Величина коефіцієнта конкордації може змінюватися в межах від 0 до 1. При W = 0 узгодженості немає, тобто зв'язок між оцінками різних експертів відсутній. При W = 1 - узгодженість думок експертів повна.

Для прийняття рішення про використання отриманих від експертів оцінок необхідно, щоб коефіцієнт конкордації був більше заданого (нормативного) значення W_н (W  W_н). Можна прийняти W_{н =} 0,5. Вважається, що при W  0,5 дії експертів в більшій мірі узгоджені, ніж не узгоджені.

Визначення коефіцієнта конкордації розглянемо на наступному спрощеному прикладі. Нехай в процесі якісного аналізу виявлені п'ять видів ризику, яким може підлягати проект в процесі його реалізації. Перед експертами стоїть задача проранжирувати ці ризики (представити в порядку їх важливості) по мірі можливого їх впливу на рівень втрат.

Результати оцінок цих ризиків чотирма експертами представлені в табл. 5.1.

Таблиця 5.1 Визначення рангів важливості ризиків

Ризики Эксперти	1	2	3	4	5
1	2	1	5	3	4
2	3	2	4	1	5
3	1	2	4	3	5
4	2	1	3	3	4
Сумарний ранг важності	8	6	16	11	19

При повністю узгодженій думці експертів кожний з них першому виду ризику дав два бали, другому - один, третьому - чотири, четвертому - три, п'ятому - п'ять. У цьому випадку сумарний ранг важливості ризиків склав би відповідно 8, 4, 16, 12 та 20 балів.

Відомо, що середнє значення сумарної оцінки для m об'єктів, що призначаються n експертами, складає ¹/₂  n (m +1) і в прикладі, що розглядається, середнє значення складає - 12.

Тоді:

²_ф = (8-12)² + (6-12)² + (16-12)² + (11-12)² + (19-12)² = 118

² _max = (8-12)² = (4-12)² + (16-12)² + (12-12)² + (20-12)^{2 =} 160

118

W = = 0,7375

160

Таким чином, думки експертів можна вважати в достатній мірі узгодженим.

У загальному випадку коефіцієнт конкордації визначається з виразу:

_{m n 2 m 2}

  a _ij - n( m+1) a _i - n (m+1)

²_ф ^{i=1 j=1 i=1}

W= = =

²_max n² m (m²-1) n² m (m²-1)

де: а _{ij -} оцінка, що привласнюється i -му об'єкту j- м експертом;

а _{i -} сумарна оцінка, отримана i - м об'єктом;

m - кількість об'єктів, що оцінюються;

n - кількість експертів.

Використовуються також критерії, які дозволяють оцінити імовірність того, що узгодженість експертів не була результатом випадкових варіацій їх думок.

Суть методів упорядкування, а також оцінки узгодженості думок експертів і міри їх вірогідності досить повно викладені в [ 8; 15 ].

Якщо відповідно до прийнятих критеріїв думки експертів можна вважати узгодженими, то дані ними оцінки приймаються і використовуються в процесі підготовки і реалізації управлінських рішень.

Якщо отримані оцінки не можна вважати достовірними, потрібно повторити опит наново. Якщо і це не дає бажаних результатів, потрібно уточнити початкові дані та (або) змінити склад групи експертів.

Тут потрібно відмітити важливу роль організаторів експертизи, в задачі яких входять: постановка проблеми, визначення цілей і задач експертизи, її границь і основних етапів; розробка процедур експертизи, в найбільшій мірі відповідної характеру проблеми, що вирішується; відбір експертів, перевірка їх компетентності і формування груп експертів; проведення опиту і узгодження оцінок; формалізація отриманої інформації, її обробка, аналіз і інтерпретація.

Від правильної організації експертизи значною мірою залежить ефективність результатів, отриманих за допомогою експертних оцінок, в т.ч. і вірогідність цих оцінок.

Розділ 6 УРАХУВАННЯ РИЗИКУ ПРИ ПРИЙНЯТТІ

УПРАВЛІНСЬКИХ РІШЕНЬ