Неформальные методы оценивания

В процессе моделирования больших систем неизбежно приходится оценивать значения различных параметров этих систем. Значения неко­торых параметров удается непосредственно измерить (например, геомет-

Глава 2

рические характеристики доступных предметов, отрезки времени и т.п.) или вычислить по известным аналитическим зависимостям (например, вероятность сложного события по вероятностям составляющих его собы­тий, площади геометрических фигур по известным их размерам и т.п.). Если имеются данные о функционировании моделируемой системы или ее аналога за достаточно продолжительное время, то значения некоторых параметров можно определить путем статистической обработки их зна­чений, зафиксированных в процессе наблюдения. Общеизвестные методы математической статистики позволяют не только определить текущее значение параметра, но и оценить достоверность такого определения в зависимости от продолжительности (числа) наблюдений и их совпадения (разброса), установить необходимое число наблюдений для определения значения параметра с заданной точностью.

Иногда значения интересующих параметров удается определить по аналогии со значениями других, схожих с определяемыми, значения ко­торых известны.

Однако нередки случаи, когда значения параметров моделируемых систем не удается получить названными выше методами. Такая ситуация бывает особенно характерной для систем с высоким уровнем неопреде­ленности и не имеющих достаточной предыстории функционирования. Именно такими являются рассматриваемые здесь системы защиты ин­формации. Например, в настоящее время нет данных, необходимых для определения таких параметров, как вероятности проявления дестабили­зирующих факторов в различных АСОД и различных условиях их функ­ционирования, вероятности успешного использования злоумышленником проявившихся дестабилизирующих факторов, показатели эффективности функционирования различных средств защиты и многих других. В таких случаях неизбежно приходится пользоваться неформальными методами оценивания, основанными на оценках людей-специалистов в соответ­ствующей сфере.

Из неформальных методов оценивания наиболее известными яв­ляются методы экспертных оценок. Экспертными оценками называются такие методы поиска решений сложных, не поддающихся формализации задач, которые основаны на суждениях (оценках, высказываниях) специ­ально выбираемых (назначаемых) экспертов. Эти методы достаточно просты по своей сущности, они нашли широкое отражение в специальной литературе. Последовательность и содержание решения задач методами экспертных оценок в самом общем виде могут быть представлены сле­дующим образом: разработка постановки задачи; обоснование перечня и содержания тех параметров задачи, для определения значений которых целесообразно использовать экспертные оценки; обоснование форм и

Основные положения теории защиты информации

способов экспертных оценок; разработка реквизитов (бланков, инструк­ций и т.п.), необходимых для проведения экспертных оценок; подбор и подготовка (обучение, инструктаж) экспертов, привлекаемых для реше­ния задачи; организация и обеспечение работы экспертов; контроль и первичная обработка экспертных оценок; базовая обработка экспертных оценок.

По способам привлечения экспертов к решению задач различают: простые суждения, интервьюирование и анкетирование. При использова­нии метода простых суждений эксперт устно или письменно высказы­вается по поставленному вопросу, при интервьюировании каждый экс­перт устно или письменно отвечает (в диалоговом режиме) на серию во­просов, которые ставит организатор экспертизы, при анкетировании каждый эксперт отвечает письменно на вопросы, содержащиеся в забла­говременно составляемых одной или нескольких анкетах.

Принципиально важным для методов экспертных оценок является получение такой выборки оценок экспертов, на которой статистически устойчиво проявилось бы их общее мнение по решаемой проблеме. От­сюда одно, из основных требований и одна из основных трудностей со­стоят в подборе такого количества компетентных экспертов, которого достаточно для получения статистически устойчивых решений. Однако при этом возникает серьезный вопрос о соизмерении компетентности различных экспертов по решаемой проблеме. Для решения этого вопроса в подавляющем большинстве существующих методик экспертных оценок вводится так называемый коэффициент компетентности, представляю­щий собою число в интервале от 0 до 1, причем оценке каждого эксперта присваивается вес, равный этому коэффициенту. Значение коэффициента компетентности определяется либо самим экспертом (самооценка) либо коллегами по экспертизе (взаимная оценка).В некоторых случаях исполь­зуются одновременно обе оценки.

Технология использования методов экспертных оценок представля­ет собой последовательность следующих операций:

1. Формирование достаточно представительной группы компетент­ ных экспертов;

1. Выбор способа организации работы с экспертами;

2. Выбор метода формирования экспертами суждений (оценок) по решаемым вопросам и проведение экспертизы;

4. Выбор метода обработки оценок группы экспертов.

Ниже кратко излагаются возможные подходы к решению перечис­ленных задач.