5. ФУНКЦИОНАЛЬНАЯ БЕЗОПАСНОСТЬ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА

31

исистемы управления УО и зависит от правильности функ-

ционирования систем, связанных с безопасностью, и других средств по снижению риска.

ФБ фокусируется на рисках, связанных с травмами

иущербом для здоровья людей или повреждением имущества и ущербом, нанесенным окружающей среде.

Цель управления рисками состоит в отсутствии недопустимых рисков ФБ.

Допустимый риск – это риск, приемлемый в данных обстоятельствах, исходя из текущих ценностей общества.

Врамках обеспечения ФБ применяется оценка рисков, после чего происходит снижение величины рисков до тех пор, пока они не станут допустимыми.

Для снижения риска ФБ применяется метод, включающий три этапа:

1) меры безопасного проектирования;

2) охранные и защитные меры, использующие средства для защиты людей от тех опасностей, которые не могут быть гарантировано устранены;

3) информация по применению мер из этапов 1 и 2.

На данный момент применяются четыре стратегии безопасного проектирования и применения защитных мер:

1) предотвращение небезопасных ситуаций;

2) защита с помощью обработки небезопасных ситуаций для предупреждения вредоносных воздействий;

3) управление опасными ситуациями путем восстановления до безопасного состояния, которое было до возникновения ущерба;

4) смягчение последствий путем сведения к минимуму величины ущерба (потерь).

32

ФБ реализуется с помощью различных электрических,

электронных, программируемых электронных средств, реализующих функцию безопасности.

Изначально функциональная безопасность была сфокусирована на технических способах снижения риска, т. е. на отсутствии критических с точки зрения надежности отказов оборудования за пределами определенного порога.

До появления программируемых систем ФБ была ограничена внедрением в аппаратное обеспечение. Внимание уделялось уменьшению последствий и вероятностей случайных сбоев аппаратной части. С возникновением программного обеспечения, реализующего функции безопасности, акцент сместился на систематические сбои, допущенные во время проектирования. Такие сбои могут быть вызваны ошибками калибровки, спецификации, программного обеспечения и др.

Функции, содержащие технологии ИИ, особенно технологии машинного обучения, следуют иной парадигме разработки. Они в меньшей степени зависят от спецификаций и в большей от наблюдения за данными, определяющими поведение системы. Данный факт предполагает увеличение списка доступных мер для борьбы с систематическими сбоями с учетом особенностей технологий ИИ. ФБ должна учитывать и другие аспекты помимо случайных аппаратных и систематических сбоев при разработке.

Особенности технологии ИИ и связанные с ними факторы риска

Технологии ИИ обладают рядом особенностей, которые связаны с дополнительными рисками. Из них выделяют:

1)комбинирование моделей и алгоритмов;

2)корректность работы алгоритмов;

33

3) сложность моделей для понимания;

4) трехкомпонентную структуру системы ИИ;

5)зависимые и независимые от конкретного применения технологические элементы;

6)модели, создающиеся вручную или с использованием алгоритмов машинного обучения;

7)технологические элементы для создания и исполнения модели.

Свойства систем ИИ и связанные с ними риски функциональной безопасности

Системы, использующие технологию ИИ, могут характеризоваться своими свойствами и связанными с ними факторами риска ФБ, которые могут создавать проблемы для обеспечения ФБ. Такие свойства включают в себя:

– уровень автоматизации и управления;

– степень прозрачности и объяснимости решений;

– сложность среды и неопределенность спецификаций;

– недостатки моделей ИИ;

– сбои аппаратного обеспечения системы;

– технологическую зрелость.

Уровень автоматизации (иногда называемый в литературе «уровнем автономии») описывает степень, в которой система ИИ функционирует независимо от наблюдения

иконтроля со стороны человека. Это свойство определяет не только объем информации о поведении системы, доступный оператору, но и возможности управления и вмешательства человека в функционирование системы.

Степень прозрачности. Часто аспекты отслеживаемости, объяснимости, воспроизводимости и общей прозрачности обобщаются термином «прозрачность». Важно понимать, что эти понятия не совсем идентичные. Так, объяс-

34

нимость описывает свойство системы ИИ подчеркивать

важные факторы, влияющие на результаты работы системы ИИ, в форме, понятной людям. В то время как прозрачность – лишь одно из условий для объяснимой системы.

Сложность среды и неопределенность спецификаций.

Данное свойство представляет собой плохую спецификацию и сложность внешней среды модели. Обычно условия внешней среды систем ИИ бывает сложно проанализировать и описать в полном объеме.

Создание нечетких спецификаций, что обычно происходит в самом начале жизненного цикла ИИ, может привести к проблемам при обеспечении свойств, относящихся к ФБ. В связи с плохой спецификацией и сложностью внешней среды могут возникнуть дополнительные факторы риска – дрейф данных и дрейф концепции.

Также к факторам риска относятся недостатки самих моделей ИИ. Такие недостатки связаны с подверженностью моделей специфичным угрозам таким, как:

1)взлом вознаграждения;

2)проблема безопасного обучения;

3)состязательное машинное обучение.

Далее рассмотрим аппаратные сбои в качестве фактора риска. Технология ИИ не может сама по себе принимать решения, она опирается на алгоритмы, программное обеспечение, реализующее алгоритмы, и аппаратное обеспечение, выполняющее алгоритмы. Сбои в оборудовании могут приводить к неправильному выполнению алгоритма, нарушая его поток управления, вызывать ошибки в памяти, искажать входные данные (такие как сигналы датчиков). Оборудование, используемое для выполнения технологии ИИ, также может страдать от случайного отказа оборудования.

35

Последний фактор риска – технологическая зрелость.

Технологическая зрелость описывает то, насколько зрелой и безошибочной является конкретная технология в конкретном контексте приложения. Если при разработке системы ИИ используются менее зрелые и передовые технологии, они могут создавать риски для безопасности, которые неизвестны или трудно поддаются оценке.

Техники верификации и валидации

Термины «валидация» и «верификация» несут разный смысл в зависимости от технологической области. В контексте машинного обучения под валидацией понимают этап проверки сходимости разрабатываемой модели ИИ для завершения ее обучения. Сходимость модели – важное предварительное условие для тестирования модели, но не гарантирующее качество ее финальной версии.

Следует отметить, что верификация и валидация включают в себя не только тестирование, но и обзоры проектных документов, анализ видов и последствий отказов (Failure Mode and Effect Analysis), статический анализ кода и т.п.

В начале процесса верификации и валидации разрабатывается верхнеуровневый план верификации и валидации.

Отличия верификации и валидации в системах ИИ от обычных систем:

1)обычно отсутствует заранее определенная специфи-

кация;

2)может не быть понимания, почему система ведет себя определенным образом;

3)существуют ограничения возможностей охвата тестовых данных;

4)выходные данные системы ИИ часто носят непредсказуемый характер.

36

Меры контроля и смягчения последствий

Меры контроля и смягчения последствий включают

всебя:

−применение функции наблюдения для управления поведением системы в безопасных пределах;

−применение избыточности и ансамблевых концепций;

−мониторинг поведения нейронов или аномальных входных данных;

−использование разнообразия;

−повышение надежности компонентов, использующих технологию ИИ.

Применение функции наблюдения для управления поведением системы в безопасных пределах. Система ИИ может использоваться как часть интеллектуальной системы управления для обеспечения оптимального решения. Обычная функция проверки безопасности проверяет ФБ выхода, обеспечиваемого функцией интеллектуального управления, соответствующего заданному входу (включая внешние условия).

Что касается второй группы мер, то отметим, что избыточность может быть разных видов: структурная (пространственная), временная (частотная), функциональная (информационная) или комбинированная.

Например, при использовании нейронных сетей избыточность для технологий ИИ включает:

–использование аналитической избыточности;

–многократные вычисления с избыточностью по времени;

–многоверсионное программирование;

–использование избыточных глубоких архитектур;

–использование ансамблей нейронных сетей для создания надежных классификаторов;

–использование алгоритмической отказоустойчивости для нейронных сетей.

37

Третья группа мер – мониторинг поведения нейронов

или аномальных входных данных. Механизмы обнаружения аномального поведения нейронов или аномальных входных данных могут использоваться для выявления ситуаций возможного сбоя. К примеру, мониторинг может позволить обнаружить момент, когда технология ИИ производит потенциально опасные действия либо из-за функциональных недостатков, либо из-за неисправности, после чего могут быть предприняты некоторые действия для поддержания системы в безопасном состоянии. Мониторинг обычно работает параллельно с технологией ИИ, которая используется для обеспечения функциональной безопасности. Он может быть разработан как с использованием методов, не связанных с ИИ, так и с использованием методов ИИ.

При разработке агентов мониторинга учитываются четыре момента:

–типы неисправностей технологии ИИ, которые можно обнаружить;

–способы выявления неисправностей технологии ИИ во время работы ИИ;

–тесты производительности разных агентов мониторинга работы ИИ;

–типы воздействий, которые можно использовать для устранения неисправности после ее обнаружения.

Следующая группа мер – разнообразие. Данные меры могут снизить риск систематических проблем безопасности во время разработки. Это связано с несколькими технологиями ИИ, демонстрирующими одинаковое поведение, но реализованными:

–разными командами;

–с использованием разных правил разметки;

38

–с применением разных формулировок задач;

–при выполнении на различном оборудовании (также применимо для неисправностей, не специфичных для технологий ИИ);

–с разнообразием использованных методов самоконтроля или самопроверки;

–с разнообразием самих использованных технологий ИИ.

Один из возможных подходов на основе разнообразия заключается в выявлении и устранении ложных срабатываний путем сравнения решений по ключевым точкам для разных нейронных сетей. Такой подход часто сочетается

смониторингом.

Последняя группа мер смягчения последствий – повышение надежности компонентов, использующих технологию ИИ. Эти меры реализуются с помощью:

1)технологии оптимизации и сжатия – квантование параметров и вычислений, отсечение и аппаратно-зависимое ускорение вычислений;

2)оценки уязвимости к аппаратным случайным отказам: оценка доли сбоев, ведущих к безопасному поведению (в отличие от небезопасного поведения), полезна для определенных типов сетей;

3)анализа режимов и последствий сбоев процесса

(PFMEA, Process Failure Mode Effects Analysis): можно ис-

пользовать для анализа и устранения возможных источников систематической ошибки и ограничений в процессе обучения в автономном режиме;

4)защиты параметров, используемых для онлайнрасчетов: применяется в ситуациях, когда требуется защита

39