УДК 004.8(075) ББК 32.813я73 Б40

Авторы:

П. С. Ложников, А. Е. Самотуга, С. С. Жумажанова, А. Е. Сулавко

Рецензенты:

А. А. Сычугов, д-р техн. наук, доцент, зав. кафедрой информационной безопасности ФГБОУ ВО «Тульский государственный университет»;

А. В. Иванов, канд. техн. наук, доцент, зав. кафедрой защиты информации ФГБОУ ВО «Новосибирский государственный технический университет»

Безопасность систем искусственного интеллекта : учеб. пособие / П. С. Лож-

ников, А. Е. Самотуга, С. С. Жумажанова, А. Е. Сулавко ; Минобрнауки России, Ом. гос. техн. ун-т. – Омск : Изд-во ОмГТУ, 2023. – Систем. требования: процессор с частотой 800 МГц и выше ; 128 Мб RAM и более ; Linux / Windows XP и выше / MacOS X 10.4 и выше ; DVD-ROM-дисковод ; ПО для просмотра pdf- и mp4файлов. – Загл. с титул. экрана. – ISBN 978-5-8149-3614-1.

Ч. 2 : Доверенный искусственный интеллект. – 1 DVD-ROM (4,7 Гб). – ISBN 978-5-8149-3731-5.

Пособие по структуре, содержанию и методике ориентировано на изучение дисциплины «Доверенный искусственный интеллект» и аналогичных дисциплин согласно действующим стандартам. Содержит видеолекции, а также проверочные вопросы по теме каждой лекции.

Вторая часть пособия посвящена проблеме обеспечения доверия в системах, приложениях искусственного интеллекта.

Предназначено для магистрантов очной и очно-заочной форм обучения по направлениям «Информатика и вычислительная техника», «Информационная безопасность» и другим смежным направлениям.

Редактор О. В. Маер Компьютерная верстка Л. Ю. Бутаковой

Для дизайна этикетки использованы материалы из открытых интернет-источников

——————————————––––––––––––—————————————————

2

Учебное пособие «Безопасность систем искусственного интеллекта» в двух частях подготовлено авторским коллективом омской научной школы «Нейросетевые алгоритмы искусственного интеллекта в защищенном исполнении». Здесь собран многолетний опыт работы авторов в области создания наукоемких и практически направленных решений с использованием технологий ИИ. Разработанные коллективом научной школы модели, методы и алгоритмы ИИ успешно применяются в приложениях биометрической идентификации и аутентификации, построения нейроинтерфейсов, распознавания психического, физиологического и эмоционального состояния человека, при идентификации медицинских данных.

Вторая часть пособия «Безопасность систем искусственного интеллекта» посвящена изучению такой области знаний, как «Доверенный искусственный интеллект», а также основных направлений обеспечения доверия к системам ИИ. Акторы ИИ должны знать, какие проблемы существуют при обеспечении доверия ИИ, из каких основных элементов состоит доверие к системам ИИ. Эти проблемы различны: новые угрозы безопасности и уязвимости, связанные с использованием ИИ; обеспечение безопасности ИИ в критических системах и ряд других. Помимо проблем приводятся меры их смягчения. Кроме того, в пособии рассматриваются действующие и разрабатываемые на данный момент нормативно-право- вые акты, международные договоры и соглашения, применимые в вопросах обеспечения доверия в контексте использования ИИ.

4

1.ПРОБЛЕМЫ ДОВЕРИЯ

КИСКУССТВЕННОМУ ИНТЕЛЛЕКТУ

КОНСПЕКТ Доверие к системам искусственного интеллекта – важнейшее условие, определяющее возможность применения этих систем при решении ответственных задач обработки данных. Примерами таких задач являются поддержка принятия врачебных решений, беспилотное управление транспортными средствами и некоторые другие. Особенность таких задач в том, что ошибки при их решении могут привести к тяжким последствиям, связанным с угрозой жизни и здоровью людей, серьезным экономическим и экологическим ущербом.

Понятие доверенного искусственного интеллекта

В общем случае доверие – степень уверенности пользователя или другого заинтересованного лица в том, что продукт или система будут вести себя так, как предполагалось.

Под доверием к системе ИИ понимают уверенность потребителя, при необходимости, организаций, ответственных за регулирование вопросов создания и применения систем ИИ, и иных заинтересованных сторон в том, что

5

система способна выполнять возложенные на нее задачи

с требуемым качеством.

Доверенная система ИИ – система ИИ, в отношении которой потребитель и, при необходимости, организации, ответственные за регулирование вопросов создания и применения систем ИИ, проявляют доверие.

Под заинтересованными сторонами понимается лицо или организация, имеющая права, долю, требования или интересы относительно системы или ее свойств, удовлетворяющих их потребностям и ожиданиям.

Обеспечение доверия – это непрерывный организационный процесс.

Доверие к ИИ основано на трехключевых направлениях. Первое направление состоит из подходов, которые устанавливают доверие к ИИ через такие его свойства, как

объяснимость, прозрачность, контролируемость.

Второе направление предполагает применение техник

иметодов смягчения угроз и рисков, связанных с инженерными ловушками (рассматривается в направлении «Функциональная безопасность»).

Третье направление включает в себя подходы к оценке

идостижению таких важных характеристик системы, как доступность, отказоустойчивость, надежность, точность, безопасность, защищенность, конфиденциальность, ремонтопригодность и долговечность.

Компоненты доверия искусственного интеллекта

Доверие к ИИ складывается из применения следующих компонентов:

–выделенные уровни доверия;

–стандарты качества программного обеспечения;

6

–управление рисками;

–подходы с аппаратной поддержкой.

В системах ИИ выделяют три уровня архитектуры, которым соответствуют следующие уровни доверия: физический; инфраструктурный (уровень информационной инфраструктуры); прикладной.

Доверие на физическом уровне, как правило, основывается на комбинации требований к надежности, безопасности и функциональности, так как на данном уровне (сенсоров и исполнительных устройств) оно определяется физическими измерениями или тестами.

На инфраструктурном уровне доверие заключается в выполнении требований безопасности ИТ-инфраструк- туры (контроль целостности и доступности).

На прикладном уровне доверие обеспечивается подтверждением надежности и безопасности программного обеспечения, взаимодействующего с ИИ.

Принципы доверенного искусственного интеллекта

Доверенный ИИ основывается на следующих принципах:

–правомерность;

–объясняемость и отслеживаемость;

–надежность;

–управляемость;

–снижение предвзятости.

Для систем ИИ потребность в безопасности можно объяснить защитой клиентов, конечных пользователей и социальной защитой.

Безопасность ИИ зависит:

–от предвзятости ИИ;

–новых угроз безопасности ИИ;

7