3. ОБЪЯСНИМОСТЬ МОДЕЛЕЙ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА

КОНСПЕКТ Понятие объяснимости и прозрачности ИИ

Модели глубокого обучения и нейронные сети работают на основе скрытых слоев (т.е. между входными данными и выходным результатом существует несколько уровней математической обработки и принятия решений). Использование таких моделей в сферах с повышенным уровнем ответственности за принятые решения привело к созданию концепции объяснимого искусственного интеллекта, в рамках которой исследуются методы анализа или дополнения моделей ИИ, позволяющие сделать внутреннюю логику и выходные данные алгоритмов прозрачными и интерпретируемыми для человека.

Объяснимость (explainability) – свойство системы ИИ, заключающееся в возможности представления причин, приводящих к тому или иному решению системы, в виде, понятном человеку.

Прозрачность – объяснимость работы ИИ и процесса достижения им результатов, а также недискриминационный

18

доступ пользователей продуктов, которые созданы свключе-

нием технологий ИИ, к информации о применяемых в этих продуктах алгоритмах работыИИ.

Достижение прозрачности системы ИИ включает доступ к элементам, специфичным для систем ИИ. К ним относятся информация о моделях машинного обучения и обучающие данные. Более того, прозрачность системы ИИ требует акцентирования внимания на аспектах, связанных с различными этическими и социальными проблемами.

Основная цель объяснимого ИИ – подробно описать то,

как модели ИИ строят свои прогнозы. Это важно для понимания поведения модели, прохождения валидации перед использованием в производстве, повышения доверия к модели акторов.

Объяснимость ИИ включает в себя три составляющие:

симулируемость, разложимость и алгоритмическую прозрачность.

Симулируемость означает возможность анализа модели человеком; разложимость – способность объяснить каждую из частей модели (входные данные, параметры и выходные данные); алгоритмическая прозрачность – способность пользователя понять процесс, которому следует модель ИИ, чтобы сделать любой заданный вывод из ее входных данных.

Объяснимость данных. Методы отбора признаков

Часто наборы данных содержат большое количество признаков. Из-за сложности и многообразия исходных данных применение простых моделей машинного обучения не позволяет достигнуть необходимых результатов, поэтому в реальных практических задачах прибегают к сложным, нелинейным моделям.

19

У таких моделей есть существенный недостаток: из-за

их сложности практически невозможно увидеть логику, по которой модель присвоила входные данные именно этому классу.

Модель ИИ перед внедрением в систему или приложение должна быть представлена ее заказчику, которому нужно понимать, на основе каких критериев модель принимает решение. Для выделения таких критериев нужно рассмотреть вопросы влияния признаков на результат анализа, объяснимости причинно-следственных связей на разных этапах жизненного цикла (ЖЦ).

Задача оценки влияния признаков на результат анализа тесно связана с разделением признаков на те, которые являются важными для качества работы модели (информативные), и на избыточные (шумовые).

Удаление избыточных признаков позволяет лучше понять данные, а также сократить время настройки модели, улучшить ее точность и облегчить интерпретируемость.

Выделяют три группы методов отбора признаков:

–методы фильтрации;

–методы обертки;

–встроенные методы.

Методы фильтрации применяются до обучения модели и, как правило, имеют низкую стоимость вычислений.

Кданным методам относятся:

–визуальный анализ;

–оценка признаков с помощью статистического критерия;

–экспертная оценка.

Примером метода фильтрации может послужить разведочный анализ данных.

20

Особенность методов обертки состоит в поиске всех

возможных подмножеств признаков и оценке их качества путем «прогонки» через модель. Среди данных методов выделяют:

–прямой отбор признаков;

–последовательный отбор признаков;

–исчерпывающий выбор признаков;

–рекурсивное исключение признаков.

Встроенные методы выполняют отбор признаков во время обучения модели, оптимизируя их набор для достижения лучшей точности. К этим методам относится регуляризация в линейных моделях (обычно L1) и расчет важности признаков в алгоритмах с деревьями.

Объяснимость на разных этапах ЖЦ, методы объяснимости

Перечисленные методы позволяют выбрать те признаки, которые являются информативными, но не дают ответа на вопрос, насколько сильно и какие из них влияют на решение модели.

Нередко в машинном обучении наряду с объяснимостью звучит термин интерпретируемость. Есть несколько его определений:

–это степень, в которой человек может понять причину решения;

–это способность объяснить действие модели или показать ее в понятном человеку виде.

Для интерпретируемости моделей была открыта возможность применять вектор Шепли.

Вектор Шепли (Shapely values) – это распределение выигрышей, соответствующее среднему маржинальному вкладу каждого игрока во всех возможных коалициях с его участием.

21

Данный вектор можно применить в машинном обуче-

нии, если игроками считать отдельные признаки и рассматривать игру как получение моделью результата на основе заданного примера. Тогда выигрыш рассчитывается как разница между математическим ожиданием результата на всех имеющихся примерах и результатом конкретного примера.

Объяснимость может быть рассмотрена на всех этапах разработки ИИ: перед моделированием, в процессе разработки модели и после моделирования.

Таким образом, можно выделить объяснимость перед моделированием, объяснимость в процессе моделирования и объяснимость после моделирования.

Самый простой способ добиться интерпретируемости – использовать только подмножество алгоритмов, создающих интерпретируемые модели ИИ.

Этапы модели жизненного цикла ИИ определяют цели

иподходы к объяснимости моделей машинного обучения

исистем ИИ. Жизненный цикл модели состоит из следующих этапов:

1)начало;

2)дизайн и развитие;

3)верификация и валидация;

4)развертывание;

5)эксплуатация и мониторинг;

6)непрерывная проверка;

7)переоценка;

8)вывод из эксплуатации.

Если модели машинного обучения не соответствуют ни одному из критериев, налагаемых для объявления их прозрачными, то применяются апостериорные методы объ-

22