Неформальные методы оценивания
В процессе моделирования больших систем неизбежно приходится оценивать значения различных параметров этих систем. Значения некоторых параметров удается непосредственно измерить (например, геомет-
Глава 2
рические характеристики доступных предметов, отрезки времени и т.п.) или вычислить по известным аналитическим зависимостям (например, вероятность сложного события по вероятностям составляющих его событий, площади геометрических фигур по известным их размерам и т.п.). Если имеются данные о функционировании моделируемой системы или ее аналога за достаточно продолжительное время, то значения некоторых параметров можно определить путем статистической обработки их значений, зафиксированных в процессе наблюдения. Общеизвестные методы математической статистики позволяют не только определить текущее значение параметра, но и оценить достоверность такого определения в зависимости от продолжительности (числа) наблюдений и их совпадения (разброса), установить необходимое число наблюдений для определения значения параметра с заданной точностью.
Иногда значения интересующих параметров удается определить по аналогии со значениями других, схожих с определяемыми, значения которых известны.
Однако нередки случаи, когда значения параметров моделируемых систем не удается получить названными выше методами. Такая ситуация бывает особенно характерной для систем с высоким уровнем неопределенности и не имеющих достаточной предыстории функционирования. Именно такими являются рассматриваемые здесь системы защиты информации. Например, в настоящее время нет данных, необходимых для определения таких параметров, как вероятности проявления дестабилизирующих факторов в различных АСОД и различных условиях их функционирования, вероятности успешного использования злоумышленником проявившихся дестабилизирующих факторов, показатели эффективности функционирования различных средств защиты и многих других. В таких случаях неизбежно приходится пользоваться неформальными методами оценивания, основанными на оценках людей-специалистов в соответствующей сфере.
Из неформальных методов оценивания наиболее известными являются методы экспертных оценок. Экспертными оценками называются такие методы поиска решений сложных, не поддающихся формализации задач, которые основаны на суждениях (оценках, высказываниях) специально выбираемых (назначаемых) экспертов. Эти методы достаточно просты по своей сущности, они нашли широкое отражение в специальной литературе. Последовательность и содержание решения задач методами экспертных оценок в самом общем виде могут быть представлены следующим образом: разработка постановки задачи; обоснование перечня и содержания тех параметров задачи, для определения значений которых целесообразно использовать экспертные оценки; обоснование форм и
Основные положения теории защиты информации
способов экспертных оценок; разработка реквизитов (бланков, инструкций и т.п.), необходимых для проведения экспертных оценок; подбор и подготовка (обучение, инструктаж) экспертов, привлекаемых для решения задачи; организация и обеспечение работы экспертов; контроль и первичная обработка экспертных оценок; базовая обработка экспертных оценок.
По способам привлечения экспертов к решению задач различают: простые суждения, интервьюирование и анкетирование. При использовании метода простых суждений эксперт устно или письменно высказывается по поставленному вопросу, при интервьюировании каждый эксперт устно или письменно отвечает (в диалоговом режиме) на серию вопросов, которые ставит организатор экспертизы, при анкетировании каждый эксперт отвечает письменно на вопросы, содержащиеся в заблаговременно составляемых одной или нескольких анкетах.
Принципиально важным для методов экспертных оценок является получение такой выборки оценок экспертов, на которой статистически устойчиво проявилось бы их общее мнение по решаемой проблеме. Отсюда одно, из основных требований и одна из основных трудностей состоят в подборе такого количества компетентных экспертов, которого достаточно для получения статистически устойчивых решений. Однако при этом возникает серьезный вопрос о соизмерении компетентности различных экспертов по решаемой проблеме. Для решения этого вопроса в подавляющем большинстве существующих методик экспертных оценок вводится так называемый коэффициент компетентности, представляющий собою число в интервале от 0 до 1, причем оценке каждого эксперта присваивается вес, равный этому коэффициенту. Значение коэффициента компетентности определяется либо самим экспертом (самооценка) либо коллегами по экспертизе (взаимная оценка).В некоторых случаях используются одновременно обе оценки.
Технология использования методов экспертных оценок представляет собой последовательность следующих операций:
-
Формирование достаточно представительной группы компетент ных экспертов;
-
Выбор способа организации работы с экспертами;
-
Выбор метода формирования экспертами суждений (оценок) по решаемым вопросам и проведение экспертизы;
4. Выбор метода обработки оценок группы экспертов.
Ниже кратко излагаются возможные подходы к решению перечисленных задач.