4.7 Методи експертних оцінок

Ці методи використовуються в умовах невизначеності, коли деякі з факторів не піддаються вимірюванню, а також тоді, коли їх розрахунок пов”язаний з великими труднощами. Особливо це стосується якісної групи факторів, які неможливо формалізувати.

Суть цих методів полягає у застосуванні інформації, отриманої від спеціалістів у вигляді деяких суджень, та її подальшої обробки. Експерт або експерти повинні порівняти та оцінити варіанти дій (прийняття рішень), приписавши кожній дії якесь число. Така процедура приписування кожній дії деякого числа призводить до створення так званої системи переваг.

Система переваг використовує такі типи шкал:

Номінальна шкала побудована з використанням таких аксіом ідентифікації:

1. деяке і або є j або ж не є j;

2. якщо і є j , то j є і;

3. якщо і є j, а також j є k, то і є k;

У даному випадку фактори виступають як показники, що формалізовані у вигляді так званих булевих операторів, тобто бінарних оцінок двох рівнів: 1 – ідентичний; 0 – не ідентичний.

Якщо необхідно розмістити в деякій послідовності n об”єктів за якимось критерієм і це розміщення впорядковане у вигляді матриці А(a_ij), то величини a_ij , які встановлюють співвідношення між об”єктами можуть бути визначені експертами за порядковою шкалою

+1, якщо і переважає j;

a_ij = -1, якщо j переважає і;

0, якщо і та j рівноцінні.

Інтервальна шкала передбачає присвоєння тому чи іншому фактору балів оцінки, вибраних з деякої шкали чисел (цифр), наприклад, від 1 до 10. Інтервальні шкали передбачають можливість трансформації оцінок, отриманих на одній шкалі, в оцінки, отримані на іншій шкалі за допомогою рівняння x^ = ax + b, де a та b – розрахункові параметри рівняння.

Різниці між значеннями на шкалі інтервалів стають мірками на шкалі відношень. Такій шкалі властива так звана адитивність, яка виражена аксіомами

1. якщо j=a та і  0, то i+j  a;

2. i+j = j+i;

3. якщо j = a та і = b, то i+j = a+b;

4. (i+j) + k = i+(j+k).

Розміщення факторів у порядку підсилення чи послабшання деякої їх властивості називається ранжуванням. Ранжування дозволяє вибрати з досліджуваної сукупності факторів найбільш істотний (вагомий).

При оцінці k факторів або виборі управлінських рішень з k альтернатив найвищій оцінці присвоюється ранг 1, а найнижчій – ранг k.

Фактор, альтернатива	A	B	C	D	E	F	Q	H	K
Оцінка Ранг	40 7	30 8	80 3	90 2	20 9	100 1	60 5	70 4	50 6

Якщо оцінку дає не один експерт, а група експертів, які є спеціалістами в різних галузях, то їхні оцінки будуть мати різну вагу, а тому виникає необхідність у ранжуванні експертів і врахуванні їхнього рангу у сумарній оцінці альтернативи чи фактора.

Можна виділити такі основні етапи проведення експертизи.

1. Підготовка експертизи, що включає:

- формулювання цілі експертизи т а розробка процедури відповіді;

- формування групи організаторів експертизи;

- відбір і формування групи експертів.

2. Проведення опитування.

3. Аналіз та обробка інформації.

4. Синтез статистичної (об”єктивної) інформації та інформації, отриманої від експертів з метою прийняття управлінського рішення.

Вибір цілі та процедури опитування визначається суттю проблеми, остаточними результатами та можливими способами їх представлення. Необхідно встановити ознаку, яка буде підлягати оцінці, а також умови використання експертних оцінок.

Організатори експертизи – це спеціалісти-аналітики, найважливішими завданнями яких є розробка методів та моделей опитування, відбір експертів та проведення опитувань, аналіз та узагальнення результатів отриманої інформації. На даному етапі необхідно підготувати перелік (множину) оцінюваних подій та встановити сукупність стійких факторів, які характеризують ці події. В основі методів та моделей опитування лежить анкета або опитувальний листок, за допомогою яких здійснюється необхідний збір інформації.

Відбір експертів здійснюють за їх компетентністю в галузях наукових, технічних, адміністративних інтересів, яких торкається дана проблема опитування. Важливе значення має встановлення кількості експертів. Зменшення їх кількості призводить до зниження точності оцінювання, а занадто велика кількість експертів впливає на ступінь узгодженості їхніх суджень.

Проведення опитування може відбуватися в декілька етапів. Найбільш розповсюдженим методом опитування є метод Дельфи та численні його різновиди. Всі вони характеризується анонімністю, регульованим зворотним зв”язком та груповою оцінкою. В основу цих методів закладені такі вимоги:

1. поставлені питання повинні допускати можливість вираження відповіді у вигляді числа;

2. експерти повинні мати достатньо інформації, щоб дати оцінку;

3. оцінка, виставлена експертом повинна бути обґрунтована.

Декілька етапів (турів) опитування з анкетами різного ступеня деталізації питань підвищує точність та узгодженість оцінок експертів, що покращує середню оцінку експертизи загалом. Після першого туру опитування, як правило, обговорюють оцінку групи, і якщо вона не влаштовує, переходять до другого туру таємного опитування. Такі “ітерації” процесу можуть повторюватись, поки не буде вироблена остаточна оцінка. Метод Дельфи використовується при довгостроковому плануванні та прогнозуванні, розподілі бюджету, вивченні ряду економічних та соціальних проблем.

При аналізі інформації, отриманої від експертів, необхідно перевірити її на узгодженість відповідей. Для цього використовують такі статистичні показники.

1. Розмах варіації – різниця між максимальною та мінімальною оцінками

x_max – x_{min .} (4.7.1)

2. Середнє квадратичне відхилення – корінь квадратний із середнього квадрату відхилень окремих значень ознаки х_і від середнього арифметичного значення

, (4.7.2)

де m – число оцінок.

Якщо число оцінок не перевищує 30, то формула середнього квадратичного відхилення набуває вигляду

. (4.7.3)

3. Коефіцієнт варіації

. (4.7.4)

4. Коефіцієнт узгодженості, або загальний коефіцієнт рангової кореляції може бути розрахований як без врахування, так і з врахуванням ваги експерта. Якщо експерти присвоюють факторам оцінювання різні оцінки (ранги), то розрахунок коефіцієнта узгодженості базується на відхиленнях між сумою рангів по кожній факторній ознаці і середньою сумою рангів, котра рівна

,

де n - кількість факторів оцінювання; m – кількість експертів у групі.

Коефіцієнт узгодженості являє собою відношення фактичної суми вказаних відхилень S до максимально можливої S_max, котра має місце, коли всі експерти дають одинакові оцінки : .

Без врахування ваги експерта формула коефіцієнта узгодженості має вигляд

, (4.7.5)

де х_ij – оцінка j-го експерта, яка надається і-му фактору.

Якщо експерти присвоюють різним факторам одинакові оцінки, а також, враховуючи вагу експерта, тобто його досвід, компетентність, професійні якості і т.п. порівняно з іншими експертами, коефіцієнт узгодженості повинен розраховуватись за такою формулою:

, (4.7.6)

де _j – вага j-го експерта, розрахована таким чином, щоб ;

_,

де t_j – число однакових оцінок у j-го експерта. Т_j розраховується для кожного експерта, у якого виявилися співпадання в оцінках. Наприклад, від j-ого експерта отримані такі оцінки для 10- ти факторів: 2 1 4 4 4 4 7 7 7 10. Тоді Т_j = (4(4² – 1)+3(3² –1))/12 = 7.

Коефіцієнт узгодженості W змінюється в межах від 0 до 1. При відсутності узгодження в оцінках експертизи W=0. За повної узгодженості експертів W=1. Перевірка випадковості значень коефіцієнта узгодженості здійснюється на основі критеріїв математичної статистики, зокрема, z-розподілу Фішера або критерію ².

Розрахункове значення z-критерію можна отримати за формулою

, (4.7.7)

а числа ступенів вільностей для z : k1 = n – 1 - 2/m ; k2 = (m-1)k1.

Розрахункове значення z-критерію порівнюється із табличним (критичним). Якщо

z  z_табл , то робиться висновок, що зв”язок між судженнями експертів невипадковий.

Критичні значення z при рівні значущості  = 0,05 та залежно від значень k1, k2 наведені у табл.4.7.1.

Таблиця 4.7.1 – Критичні значення z на рівні значущості  = 0,05

к2	к1
	1	2	3	4	5	6
2	1,4592	1,4722	1,4765	1,4787	1,4800	1,4808
4	1,0212	0,9690	0,9429	0,9272	0,9168	0,9093
6	0,8948	0,8188	0,7798	0,7558	0,7394	0,7274
8	0,8355	0,7475	0,7014	0,6725	0,6525	0,6378
10	0,8012	0,7058	0,6553	0,6232	0,6009	0,5843
12	0,7788	0,6786	0,6250	0,5907	0,5666	0,5487
14	0,7630	0,6594	0,6036	0,5677	0,5423	0,5233
16	0,7514	0,6451	0,5876	0,5505	0,5241	0,5042
18	0,7424	0,6341	0,5753	0,5371	0,5099	0,4894
20	0,7352	0,6254	0,5654	0,5265	0,4986	0,4776
22	0,7294	0,6182	0,5574	0,5178	0,4894	0,4679
24	0,7246	0,6123	0,5508	0,5106	0,4817	0,4598
26	0,7205	0,6073	0,5451	0,5045	0,4752	0,4209
28	0,7171	0,6030	0,5403	0,4992	0,4696	0,4471
30	0,7141	0,5994	0,5262	0,4947	0,4648	0,4420

Методи експертних оцінок мають численні модифікації. Для соціально-економічних досліджень та деяких видів прогнозів соціально-економічного стану використовують метод аналізу ієрархій (МАІ). Суть методу аналізу ієрархій полягає в тому, щоб з множини декількох альтернатив вибрати найкращу для прийняття управлінського рішення за конкретної проблеми. Нижче наведений приклад для аналізу проблеми підвищення рівня зайнятості .

Приклад. В результаті зносу основних фондів типографії виникла необхідність в уточненні спеціалізації її поліграфічної продукції. Для планування майбутнього випуску було опитано 11 експертів. Результати опитування у вигляді розрахованих рангів для кожного виду продукції представлені в табл. 4.7.2. Необхідно перевірити судження експертів щодо їхньої узгодженості.

Таблиця 4.7.2 – Результати опитування експертів

Експерт	Оцінка випуску видів продукції
	газети	бланки	рекламки	продукція побутового призначення
1 2 3 4 5 6 7 8 9 10 11 Сума рангів	2 2 2 2 2 4 4 3 3 1 3 28	3 3 1 4 3 2 3 4 4 3 1 31	1 1 3 1 1 1 1 1 1 2 2 15	4 4 4 3 4 3 2 2 2 4 4 36

Судячи із суми рангів, найважливішими характеристиками спеціалізації є рекламна та газетна продукція (значення відповідно складають 15 та 28 балів).

Оцінку узгодженості за розрахунком відповідного коефіцієнта виконаємо в Mathcad 2001 Pro.

За даними табл.4.7.2 при к1=3 та к2=28 маємо z_табл = 0,54, що менше розрахункового. Отже, можна зробити висновок, що думка експертів відносно спеціалізації поліграфічної продукції не є випадковою, проте коефіцієнт узгодженості досить низький, що свідчить про необхідність повторного опитування з уточненням постановки задачі, або ж відкритого обговорення проблеми експертами.

Аналіз проблеми підвищення рівня зайнятості складається із декількох етапів.

Перший етап – побудова взаємозв”язку проблеми (фокусу) з факторами, які визначають проблему, задіяними у зацікавленні реалізації даної проблеми суб”єктами (акторами), їхніми цілями і, насамкінець, – альтернативами прийняття управлінського рішення (сценаріями)(див. рис. 4.7.1).

Другий етап – розробка форми опитувального листа та проведення опитування серед експертів. Щодо даного методу при розробці форми опитувального листа необхідно спочатку прорангувати фактори за ступенем їх впливу на зайнятість.

Таблиця 4.7.3 – Ранжування факторів

ФАКТОРИ	РАНГ
1. Економічний	1
2. Соціальний	3
3. Технологічний	2
4. Політичний	4
5.Демографічний	5

Після рангування необхідно чисельно оцінити перевагу більш істотного фактора над менш істотними.

Таблиця 4.7.4 – Оцінка переваги

Фактори у порядку важливості	Оцінка переваги над факторами
	1-им	2-им	3-ім	4-им	5-им
1.Економічні	1	3	4	5	6
2.Технологічні	-	1	2	2	4
3. Соціальні	-	-	1	3	4
4.Політичні	-	-	-	1	2
5.Демографічні	-	-	-	-	1

Де значення оцінок такі:

1 – однакова значущість факторів;

3 – деяка перевага одного фактора над іншими;

5 – суттєва значущість фактора;

7 – очевидна або сильна значущість;

9 – абсолютна перевага;

2,4,6,8 – проміжні значення оцінок.

Підвищення рівня зайнятості

Економічні

Соціальні

Політичні

Технологічні

Демографічні

Фокус(проблема):

Фактори:

А кто-

ри:

Населення працездатного віку

Підприємства

Інвестори

Державні установи

Центри зайнятості

Ц ілі

а кторів: матеріальне прибуток прибуток соціальне робочі

благополуччя технології стабільність благополуччя місця

соц.захист бюджет

проф.ріст стабільність передові порядок соц.

реалізація трудові технології трудові адаптація

творчих ресурси ресурси проф. ріст

Статус-кво

Повна зайнятість

Масове безробіття

Ринок кваліфікованих кадрів

Державний розподіл трудових ресурсів

можливостей соц.захист

Сценарії:

Рис. 4.7.1 – Побудова ієрархії визначення проблеми

Таблицю 4.7.5 для подальшого аналізу трансформують відповідно до симетричності матриці оцінок

Фактори у порядку важливості	Оцінка переваги над факторами
	1-им	2-им	3-ім	4-им	5-им
1.Економічні	1	3	4	5	6
2. Технологічні	1/3	1	2	2	4
3. Соціальні	¼	½	1	3	4
4.Політичні	1/5	½	1/3	1	2
5.Демографічні	1/6	¼	¼	½	1

На третьому етапі розраховують вектор пріоритетів W та індекс узгодженості ІУ суджень експертів.

Фактори у порядку важливості	Фактор					Результати розрахунків
	1-им	2-им	3- ім	4-им	5-им	середнє геометри-чне	W	власне зна-чення матриці
1.Економічні	1	3	4	5	6	3.25	0.5	5.08
2. Технологічні	1/3	1	2	2	4	1.4	0.22
3. Соціальні	¼	½	1	3	4	0.9	0.14
4.Політичні	1/5	½	1/3	1	2	0.58	0.09
5.Демографічні	1/6	¼	¼	½	1	0.35	0.05
Сума, Σ	1.95	5.25	7.58	11.5	17.0	6.48

Середнє геометричне значення для оцінок переваги економічного фактора

.

Вектор пріоритету для цього ж фактора .

Для інших факторів вектори пріоритетів розраховуються аналогічно.

Власне значення матриці .

Індекс узгодженості ІУ , де n – кількість факторів оцінювання.

ІУ = (5.08 – 5)/(5 – 1) = 0,02.

Відношення узгодженості ВУ = ІУ/В_табл = 0.02/1.12 = 0.018 < [0.1...0.2].

Отже, судження експертів можна вважати узгодженими.

На четвертому етапі розраховують ступінь впливу акторів на фактори. Розрахунок виконують аналогічно вищенаведеному для кожного фактора окремо.

Для економічного фактора	Актори						Результати розрахунків
	1-ий	2-ий	3-ій	4-ий	5-ий	середнє геометри-чне		W	власне значен-ня матриці
1.Державні установи	1	2	5	3	5	2.72		0.41	5.29
2. Підприємства	1/2	1	3	4	5	1.97		0.30
3. Населення	1/5	1/3	1	2	4	0.88		0.13
4. Інвестори	1/3	1/4	1/2	1	4	0.7		0.10
5. Центри зайнятості	1/5	1/5	¼	1/4	1	0.3		0.05
Сума	1.95	5.25	7.58	11.5	17.0	6.48

Результати розрахунків зведені в табл.4.7.6.

Таблиця 4.7.6 – Зведена таблиця векторів оцінки впливу (векторів пріоритетів) акторів на фактори

Актори	Фактори
	економічний	соціальний	технологічний	політичний	демогра-фічний
Населення	0.15	0.49	0.12	0.16	0.35
Організації	0.26	0.20	0.61	0.30	0.21
Інвестори	0.1	0.11	0.27	-	0.16
Державні установи	0.44	0.13	-	0.54	0.18
Центри зайнятості	0.05	0.07	-	-	0.10
	λmax=5.35 ВУ=0.08	λmax=5.35 ВУ=0.08	λmax=5.35 ВУ=0.08	λmax=5.35 ВУ=0.08	λmax=5.35 ВУ=0.08

Аналогічно визначаємо вектор пріоритетів для цілей акторів. Наприклад, для населення отримаємо

Для населення	Цілі				Результати розрахунків
	1-а	2-а	3-я	4-а	середнє геометри-чне	W	власне значення матриці
1. Благополуччя сімей	1	3	5	5	2.94	0.55	4.23
2. Соц.захист	1/3	1	3	3	1.32	0.25
3. Населення	1/5	1/3	1	4	0.72	0.13
4. Проф.ріст	1/5	1/3	1/4	1	0.36	0.07
Сума	1.95	5.25	7.58	11.5	5.34

Решту результатів розрахунків зводимо в табл.4.7.7.

Таблиця 4.7.7 – Зведена таблиця векторів пріоритетів для цілей акторів

Ціль	Актори
	населення	підприєм-ства	інвестори	держ.уста-нови	центри зайнятості
Сім.благополуччя	0.35
Соц.захист	0.29
Проф.ріст	0.12
Можливості	0.09
Трудові рес.		0.07		0.10
Технологія		0.12	0.11
Прибуток		0.56	0.62
Стабільність		0.25	0.27
Сусп.порядок				0.45
Соц.благополуччя				0.14
Держ.бюджет				0.31
Робота					0.61
Проф.ріст					0.27
Соц.адаптація					0.12

Визначаємо вплив факторів на майбутню зайнятість через акторів, як добуток матриці векторів пріоритетів по впливу акторів на фактори, на вектор пріоритетів впливу факторів на зайнятість

.

Із розрахунків можна зробити такий висновок. Щодо можливості впливу на зайнятість, актори розташовані в такому порядку :

1. підприємства (W=0.329);

2. державні установи (W=0.293);

3. населення (W=0.205);

4. інвестори (W=0.133);

5. центри зайнятості (W=0.04).

Виберемо для подальшого розгляду перші три, як найбільш впливові. Знаходимо, яка ціль для якого актора яке має значення вектора пріоритетів.

Д

• трудові ресурси

• технології

• прибуток

• стабільність

ля підприємств

Для державних установ

• трудові ресурси

• порядок

• соціальне благополуччя

• бюджет

Для населення

• матеріальне благополуччя

• соціальний захист

• професійний ріст

• реалізація можливостей

У результатах розрахунків підкреслено найголовніші цілі за вектором пріоритетів. Нормуємо ці результати, для чого спочатку розрахуємо суму векторів пріоритетів вибраних цілей, а відтак поділимо кожен результат вектора для вибраної цілі на розраховану суму 0.184 + 0.082 + 0.132 + 0.091 + 0.072 = 0.561.

• прибуток

• порядок

• бюджет

• стабільність

• матеріальне благополуччя сімей

Даний вектор пріоритетів застосуємо для розрахунку вектора пріоритетів сценаріїв (альтернатив).

Етап 5 : визначення впливу сценаріїв на цілі акторів

Для матеріального благополуччя сімей	Сценарії						Результати розрахунків
	1-ий	2-ий	3-ій	4-ий	5-ий	середнє геометри-чне		W	власне значен-ня матриці
1.Ринок кваліфікованих кадрів	1	1/5	5	5	5	1.90		0.27	5.08
2. Повна зайнятість	5	1	7	5	3	3.50		0.52
3. Масове безробіття	1/5	1/7	1	1/3	1/2	0.075		0.007
4. Статус-кво	1/5	1/5	3	1	1/2	0.57		0.08
5. Державна монополія	1/5	1/3	2	2	1	0.77		0.11
Сума	6.6	1.88	13.0	13.3	10.0	6.79

Оцінка узгодженості:

ІУ = ; ВУ = 0.02/1.12 = 0.018 < [0.1...0.2], а отже оцінки узгоджені.

Решту результатів розрахунків зведемо у табл.4.6.7 впливу сценаріїв на цілі акторів.

На шостому заключному етапі розраховується узагальнений сценарій (остаточне рішення) як добуток матриці пріоритетів сценаріїв на вектор пріоритетів цілей:

• статус-кво

• повна зайнятість

• масове безробіття

• ринок кваліфікованих кадрів

• державна монополія

Таблиця 4.7.8 – Зведена таблиця векторів оцінки впливу (векторів пріоритетів) сценаріїв на цілі акторів

Сценарій (альтернати-ва)	Ціль актора
	прибуток	стабільність	порядок	бюджет	матері-альне благопо-луччя
Статус-кво	0.17	0.12	0.12	0.09	0.08
Повна зайнятість	0.17	0.26	0.27	0.30	0.52
Масове безробіття	0.17	0.07	0.06	0.06	0.007
Ринок кваліфікованих кадрів	0.43	0.39	0.33	0.14	0.28
Державна монополія	0.06	0.16	0.22	0.41	0.11
	λmax=5.44 ВУ=0.1	λmax=5.22 ВУ=0.05	λmax=5.43 ВУ=0.1	λmax=5.19 ВУ=0.04	λmax=5.08 ВУ=0.02

Висновок : за максимальною величиною вектора пріоритетів перевагу слід надати розвиткові ринку кваліфікованих кадрів.

Запитання та завдання

1. Суть методів експертних оцінок.

2. Дайте коротку характеристику шкал оцінювання та суті ранжування ознак.

3. Дайте коротку характеристику основних етапів проведення експертизи.

4. Дайте коротку характеристику статистичних показників, яких використовують для оцінки узгодженості відповідей експертів.

5. Як поступити, коли оцінки, дані експертами, виявилися неузгодженими? Коротко охарактеризуйте метод Дельфи.

6. Суть методу аналізу ієрархій. Як графічно побудувати ієрархію визначення проблеми?

7. Суть методу аналізу ієрархій. Як розрахувати вектори пріоритетів при аналізі ієрархії визначення проблеми?