5. Экспертная оценка проекта

Представим, что 5 экспертов будут решать, стоит ли реорганизовывать бизнес-процесс предложенным способом.

1. Определяем уровни компетентности экспертов a_i(0,1], i=1..5. Оценка значимости (веса) мнения эксперта будет дана на основе специальной шкалы в группе, где каждый эксперт оценивает себя и других. Используется следующая десятибалльная шкала.

• 10 баллов – эксперт специализируется по данному вопросу, имеет по нему успешно завершенные и используемые на практике разработки и практический опыт.

• 8 баллов – в решении проблем по данному вопросу эксперт не участвует, но этот вопрос входит в сферу его узкой специализации.

• 5 баллов – вопрос входит в сферу, тесно связанную с узкой специализацией эксперта, но в работе по данному вопросу он не участвует.

• 3 балла – вопрос не входит в сферу, тесно связанную с узкой специализацией эксперта.

Результаты оценки уровня компетентности представлены в таблице 3. Весовой коэффициент эксперта равен среднему арифметическому значению полученных оценок.

Таблица 3. Оценки уровня компетентности экспертов.

Оценки	Эксперт 1	Эксперт 2	Эксперт 3	Эксперт 4	Эксперт 5
Эксперт 1	9	6	9	3	7
Эксперт 2	8	8	10	5	8
Эксперт 3	10	9	10	5	8
Эксперт 4	8	7	9	7	7
Эксперт 5	9	8	10	4	9
Вес, a	0,88	0,76	0,96	0,48	0,78

2. Выполнив задачу формирования множества показателей, эксперты определили 7 показателей прошедших установленный порог:

1. Затраты на внедрение (ЗнВ);

2. Затраты на сопровождение бизнес-процесса (ЗнС);

3. Лояльность клиентов (ЛК);

4. Управляемость бизнес-процессом (УБП);

5. Внутренняя согласованность специалистов (ВСС);

6. Качество документооборота (КДО);

7. Психологический климат коллектива исполнителей (ПКК).

Эксперты расставили приоритеты показателям: 1 – наивысший приоритет, 7 – наименьший. Результаты работы экспертов представлены в таблице 4.

Таблица 4. Оценка показателей экспертами.

	ЗнВ	ЗнС	ЛК	УБП	ВСС	КДО	ПКК
Эксперт 1	6	4	1	2	3	5	7
Эксперт 2	6	4	3	1	2	5	7
Эксперт 3	7	2	3	1	4	6	5
Эксперт 4	4	3	1	2	6	7	5
Эксперт 5	4	3	2	1	6	5	7

3. Определим согласованность мнений экспертов с помощью коэффициента конкордации Кендалла, рассчитывающегося по формуле:

W = 12 S/[N² (M³ - M)],

где S – сумма квадратов отклонений всех оценок рангов каждого объекта экспертизы от среднего арифметического.

Среднее арифметическое число рангов равно 20. Затем оценим сумму квадратов отклонений от среднего: S = 520. Далее определим величину коэффициента конкордации:

W = 12520/(5*5* (7*7*7-7) = 0,75.

Коэффициент конкордации изменяется в диапазоне от 0 до 1, причем 0 соответствует полной несогласованности мнений, а 1 – полной согласованности. Если значение W превышает 0,4-0,5, то качество оценки считается удовлетворительной; если W 0,7-0,8 – качество оценки считается высоким.

Полученный результат свидетельствует о том, что мнения экспертов очень хорошо согласованы.

Итоговые ранги показателей как средневзвешенные значения приведены ниже.

Показатель	УБП	ЛК	ЗнС	ВСС	КДО	ЗнВ	ПКК
Итоговый ранг	1,35	2,09	3,18	4,03	5,50	5,60	6,25

Результаты расчетов показали, что наибольший приоритет имеют 4 показателя:

• Управляемость бизнес-процессом;

• Лояльность клиентов;

• Затраты на сопровождение бизнес-процесса;

• Внутренняя согласованность специалистов.

4. Именно по этим показателям эксперты оценят две имеющиеся альтернативы: оставить имеющийся бизнес-процесс или внедрить проект нового бизнес-процесса. Оценка будет произведена методом ELECTRE II.

Дано 4 критерия со шкалами оценок (веса критериев, как и длины шкал оценок также определены).

Критерий	Шкала оценок	Вес критерия	Длина шкалы
Управляемость бизнес-процессом	1-10	4	10
Лояльность клиентов	1-5	3	5
Затраты на сопровождение бизнес-процесса	10 000-100 000	2	100 000
Внутренняя согласованность специалистов	1-5	1	5

Эксперты дали свои оценки по представленным критериям (таблица 5). Для оценки альтернатив методом ELECTRE II мы определили средневзвешенные оценки по таблице 5, так как для расчетов нам не важны сотые доли, мы округлим получившиеся величины до целых.

Таблица 5. Оценки экспертов по критериям.

Эксперты	1. Старый БП			2. Новый БП
	УБП	ЛК	ВСС	УБП	ЛК	ВСС
Эксперт 1	5	2	1	8	3	5
Эксперт 2	4	3	3	9	4	5
Эксперт 3	3	4	2	9	5	5
Эксперт 4	4	3	2	7	4	5
Эксперт 5	4	3	2	7	4	5
Взвешенные оценки
Эксперт 1	4,4	1,76	0,88	7,04	2,64	4,4
Эксперт 2	3,04	2,28	2,28	6,84	3,04	3,8
Эксперт 3	2,88	3,84	1,92	8,64	4,8	4,8
Эксперт 4	1,92	1,44	0,96	3,36	1,92	2,4
Эксперт 5	3,12	2,34	1,56	5,46	3,12	3,9
Средняя оценка	3,98	3,02	1,97	8,12	4,02	5,00

Эксперты оценили 3 из 4 критериев, критерий «Затраты на сопровождение БП» оценивается расчетным путем:

Расходы	Период	1. Старый БП			2. Новый БП
		За период		За 2 года		За период	За 2 года
Бумага	месяц	1000		24000		300	7200
Телефонная связь	месяц	2000		48000		200	4800
Простои	год	10000		20000		1000	2000
Внедрение ИС	единожды					60000	60000
Обучение работе с ИС	единожды					20000	20000
Сопровождение ИС	год					10000	20000
Доработка ИС	единожды					15000	15000
Итого			92000			129000

Для оценки мы имеем 2 альтернативы с оценками по 4 критериям:

Альтернатива	УБП	ЛК	ЗнС	ВСС
1. Старый БП	4	3	92000	2
2. Новый БП	8	4	129000	5

Построим индексы согласия и несогласия. Индекс согласия с гипотезой о превосходстве 1 альтернативы над 2:

Теперь вычислим индекс несогласия.

Получаем следующие матрицы согласия и несогласия:

Матрица индексов согласия
Альтернативы	1	2
1	*	0,2
2	0,8	*
Матрица индексов несогласия
Альтернативы	1	2
1	*	0,6
2	0,4	*

Устанавливаем уровень согласия 0,8 и уровень несогласия 0,4. Тогда видно, что альтернатива 2 превосходит альтернативу 1. Отсюда следует, что альтернатива 2 – лучшая [5].

Экспертная комиссия по итогам своей работы принимает решение о внедрении проекта нового бизнес-процесса.