3.4. Методика реализации и обработки результатов опроса экспертов
Существует множество разработанных методик опроса и обработки результатов, полученных от экспертной группы [66, 67]. Воспользуемся одной из них. При формировании группы экспертов на стадии выявления знаний необходимо учитывать такие характеристики экспертов как:
– компетентность – степень квалификации эксперта в данной области знаний;
– креативность – способность решать творческие задачи;
– отношение к экспертизе – негативное или пассивное отношение, или занятость существенно влияет на качество работы эксперта в группе;
– конформизм – подверженность влиянию авторитетов, при котором мнение авторитета может подавлять лиц, обладающих более высокой компетентностью;
– коллективизм и самокритичность.
Рассмотрим один из возможных путей количественного описания характеристик эксперта, основанный на вычислении относительных коэффициентов компетентности по результатам высказывания специалистов о составе экспертной группы.
Суть методики сводится к тому, что ряду специалистов предлагается высказать мнение о списочном составе экспертной группы. Если в этом списке появляются лица, не вошедшие в исходный список, им тоже предлагается назвать специалистов для участия в экспертизе. После нескольких этапов будет получен достаточно полный список кандидатов в группу.
По результатам опроса составляется матрица, по строкам и столбцам которой записываются фамилии экспертов, а элементами таблицы являются переменные:
При
этом эксперт может включить себя или
не включить в экспертную группу (то есть
=0
или
=1).
По данной таблице можно вычислить
относительные коэффициенты компетентности,
используя алгоритм решения задач о
лидере [66]. Введем относительные
коэффициенты компетентности h-порядка
для каждого эксперта:
,
(
)
(3.11)
где
m
– число экспертов в списке (размерность
матрицы
),
h
– номер порядка коэффициента
компетентности. Коэффициенты компетентности
нормированы так, что их сумма равна
единице:
,
(3.12)
Применяя формулу (3.12) можно вычислить значение компетентности для различных порядков. При h=1 выражение (3.11) будет иметь вид:
,
(3.13)
Смысл этой формулы в том, что подсчитывается число голосов, поданных за i-го эксперта, и делится на общее число голосов, поданных за всех экспертов. Таким образом, коэффициент компетентности первого порядка – это относительное число экспертов, высказавшихся за включение i-го эксперта в группу.
Относительный
коэффициент компетентности второго
порядка получают из (3.11) для h=2
при условии, что
(j=1,2
…,m)
определены по (3.13).
Коэффициенты второго порядка представляют собой относительное количество голосов, взвешенных коэффициентом компетентности первого порядка.
Последовательно вычисляя относительные коэффициенты компетентности более высокого порядка, можно убедиться, что процесс быстро сходится, то есть относительные коэффициенты быстро стабилизируются. В общем случае коэффициенты относительной компетентности определяются как:
,
.
Можно
показать, что предельные значения
коэффициентов компетентности представляют
собой компоненты собственного вектора
для максимального собственного числа
матрицы
.
собственные числа матрицы X
определяются
как корни алгебраического уравнения:
,
где
– вектор собственных чисел матрицы
голосования
,
E
– единичная матрица. собственный вектор
матрицы, соответствующий максимальному
собственному числу, вычисляется из
системы m+1
порядка линейных алгебраических
уравнений:
,
,
где
– вектор компетентности, являющийся
собственным вектором матрицы X
для максимального собственного числа.
При оценке показателей, необходимых для определения возможности реализации угрозы в работе предлагается метод, подобный методу непосредственного оценивания. Заключение о согласованности экспертов дается на основании коэффициента конкордации [64,67], рассчитываемом для каждого показателя и для каждой функции принадлежности по всем характерным точкам:
,
где n – количество оцениваемых угроз, m – число экспертов.
,
,
где
– значение показателя (функции
принадлежности).
,
где
– число повторений m-го
числа в оценке i-го
эксперта.
Если
,
то мнения экспертов не согласованы,
если
,
то мнения экспертов согласованы.
После
вычисления коэффициента конкордации
необходимо проверить
- гипотезу. Гипотеза принимается, а,
следовательно, мнения экспертов не
согласованы, если
,
где
– табличное значение критерия «хи-квадрат»
с уровнем значимости
количеством степеней свободы
,
а
.
Таким образом, оценку показателей для определения возможности реализации угроз безопасности сотовых сетей стандарта LTE с интегрированными фемтосотами необходимо осуществлять путем опроса группы экспертов из числа наиболее квалифицированных специалистов, обладающих необходимой информацией. Конечная группа экспертов должна насчитывать не менее четырех и не более 10 специалистов. При меньшем составе группы снижается точность оценки по причине недостаточной статистики, а при большей – из-за неоднородности группы и сложности интерпретации результатов. После проверки экспертных данных на согласованность результаты экспертного опроса обрабатываются следующим образом. На первом этапе для предварительной оценки отдельных показателей применяется метод анкетирования экспертов по специально составленным опросным листам, которые содержат несколько групп вопросов, каждая из которых позволяет определить критические параметры для оценки конкретного показателя, а также выявить основные уязвимости. После обработки заполненной экспертом анкеты становится возможным оценить необходимые в дальнейшем исследовании показатели для конкретной сотовой сети. Ответы по каждой группе вопросов позволяют определить основные уязвимости анализируемой сотовой сети и системы ее защиты, а также определить объем мероприятий, которые необходимо провести дополнительно.
На первом этапе обрабатываются специально составленные опросные листы по каждому классу значений оцениваемого параметра суммируются коэффициенты ответов, и рассчитывается частный показатель:
, (3.14)
где N – количество вопросов по каждому классу значений; K – коэффициент ответа на вопрос.
Далее по ответам всех экспертов результаты оценки усредняются, и результирующая оценка выводится в виде среднего значения.
Полученные на первом этапе опроса оценки показателей предлагаются экспертам на втором этапе в качестве предварительной оценки и могут быть использованы для формирования функций принадлежности соответствующих нечетких чисел. Эксперт вправе скорректировать это значение в соответствие с личным опытом, и задать интервал нечеткости функции принадлежности. Далее результирующая функция принадлежности определяется для каждого показателя путем усреднения частных оценок (рис. 3.2).
На заключительном этапе по формуле (3.1) и правилам мультипликации нечетких треугольных чисел (3.3) вычисляется функция принадлежности нечеткого числа характеризующего возможность реализации угрозы безопасности элементу анализируемой СС стандарта LTE с интегрированными фемтосотами.
Рис. 3.2. Усреднение экспертных данных
С помощью предложенной методики оценивается ущерб и польза в условиях реализации угроз безопасности, что в дальнейшем открывает возможность построения риск модели каждого элемента СС, а также системы в целом.
Таким образом, предлагаемую оригинальную экспертную систему целесообразно применять в случаях отсутствия статистических данных о частоте нанесения ущерба определенной величины, математических моделей функционирования информационной системы, а также в случаях, когда точность прямой качественной оценки показателей по тем или иным причинам не удовлетворяет требованиям системы принятия решений.