Цель работы: научиться формировать экспертную комиссию, применять методы агрегирования экспертных оценок, проводить оценку согласованности мнений.
Задание:
Кратко опишите предметную область принятия решений, для которой необходимо сформировать экспертную комиссию. Предметная область должна быть связана с темой научных исследований магистранта.
Определите состав функциональных сфер в предметной области, подлежащих экспертизе (не менее трех).
Определите минимальный состав экспертов. Выберите экспертов из числа студентов вашей группы.
Определите набор критериев (не менее трех) и шкалы для оценки компетентности экспертов.
Оцените (условно) уровень компетентности экспертов по критериям и рассчитайте суммарные оценки уровня компетентности эксперта по функциональным блокам.
Составьте таблицу компетентности.
Рассчитайте веса важности экспертов при групповом экспертном оценивании и составьте таблицу весов компетентности экспертов.
Составьте вопрос для экспертной оценки по конкретной функциональной области. Узнайте (предложите самостоятельно) варианты ответов экспертов.
Рассчитайте групповую оценку
Оцените согласованность экспертов.
Ход работы:
Предметная область принятия решений: «Оценка эффективности использования облачных технологий в разработке программного обеспечения».
Актуальность темы обусловлена стремительным ростом применения облачных сервисов в IT-индустрии и необходимостью объективного анализа их влияния на процесс разработки.
Определим три функциональные сферы в предметной области, подлежащих экспертизе: а) Экономическая эффективность использования облачных технологий.;
б) Влияние облачных решений на производительность и гибкость разработки.;
в) Безопасность данных и соответствие требованиям регуляторов.
Определим минимальный состав экспертов по следующей формуле:
N 0,5( 3 5) ,
где 0 1 – параметр, задающий минимальный уровень ошибки экспертизы.
Примем
1, исходя из этого условия минимальное количество экспертов равно 4. В
качестве экспертов будут выступать одногруппники.
Определим набор критериев и шкалы для оценки компетентности экспертов:
а) Уровень образования: среднее (1 балл); среднее специальное (2–4 балла); высшее (5–8 баллов); наличие ученой степени (9–10 баллов).
б) Соответствие профиля образования / научной работы предметной области: не соответствует (1 балл); не очень соответствует (2–4 балла); более или менее соответствует (5–8 баллов); соответствует (9–10 баллов).
в) Опыт работы по профилю предметной области: отсутствует (1 балл); небольшой (2–4 балла); не очень большой (5–8 баллов); большой (9-10 баллов).
д) Навыки анализа и принятия решений: отсутствует (1 балл); низкая (2–4 балла); средняя (5–8 баллов); высокая (9–10 баллов).
Оценим (условно) уровень компетентности экспертов по критериям (таблицы 6.1-6.4).
Таблица 6.1
Оценка компетентности экспертов по критерию «Уровень образования»
-
Функциональные блоки
Эксперты
1
2
3
4
(Ихсанова Э.)
(Видманов А.)
(Мустафин А.)
(Тухбатуллина Д.)
Экономическая эффективность
8
7
9
6
Производительность и гибкость
7
8
7
8
Безопасность данных
6
7
8
7
Таблица 6.2
Оценка компетентности экспертов по критерию «Соответствие профиля образования / научной работы предметной области»
-
Функциональные блоки
Эксперты
1
2
3
4
(Ихсанова Э.)
(Видманов А.)
(Мустафин А.)
(Тухбатуллина Д.)
Экономическая эффективность
9
8
7
6
-
Производительность и гибкость
8
9
7
8
Безопасность данных
7
8
8
7
Таблица 6.3
Оценка компетентности экспертов по критерию «Опыт работы по профилю предметной области»
-
Функциональные блоки
Эксперты
1
2
3
4
(Ихсанова Э.)
(Видманов А.)
(Мустафин А.)
(Тухбатуллина Д.)
Экономическая эффективность
6
6
3
5
Производительность и гибкость
4
1
3
3
Безопасность данных
8
8
8
8
Таблица 6.4