4. РОБАСТНОСТЬ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА
|
|
ВИДЕОЛЕКЦИЯ |
Определение робастности |
Методы оценки робастности
Метрики робастности
Типичный алгоритм для оценки робастности. Устойчивость обучения
КОНСПЕКТ Определение робастности
Робастность является одним из важнейших свойств, которое ставит новые задачи в сфере безопасности систем ИИ. Существуют некоторые риски, конкретно связанные с робастностью систем ИИ. Понимание этих рисков необходимо для внедрения ИИ во многих сферах.
Робастность (англ. robustness, от robust – «крепкий», «сильный», «устойчивый»), как отмечено в ГОСТ Р 70462.1- 2022/ISO/IEC TR 24029-1-2021 «Информационные техноло-
гии. Интеллект искусственный. Оценка робастности нейронных сетей. Часть 1. Обзор», представляет собой способность системы ИИ поддерживать качество работы алгоритмов машинного обучения при любых условиях.
Главный принцип робастности заключается в том, что система ИИ должна быть способна работать с данными, которые не известны заранее, и в условиях, которые могут значительно меняться. В зависимости от типа системы ИИ для оценки устойчивости системы необходимо использовать
24
различные метрики робастности. От цели создания системы
ИИзависит и то, как меняется трактовка ее робастности. Цели обеспечения робастности направлены на то, чтобы
ответить на вопросы: «Какая степень робастности требуется системе?» или «Какие свойства робастности представляют интерес?». Свойства робастности показывают, насколько четко система обрабатывает новые данные по сравнению с результатами, ожидаемыми в типовых операциях.
Методы оценки робастности
Среди методов оценки робастности нейронных сетей выделяют следующие три группы:
1)статистические;
2)формальные;
3)эмпирические.
Статистические методы обычно основываются на процессе математического тестирования некоторых наборов данных и помогают обеспечить определенный уровень достоверности результатов. Формальные методы полагаются на надежное формальное доказательство, чтобы продемонстрировать математическое свойство в заданнойпредметной области. Эмпирические методы базируются на экспериментах, наблюдениях и экспертных оценках.
При рассмотрении робастности модели методы наблюдения делят на статистические и эмпирические. Статистические методы генерируют воспроизводимые показатели устойчивости на основе заданных наборов данных. Эмпирические методы дают данные, которые можно анализировать статистическими методами, но они не обязательно воспроизводимы из-за наличия субъективной оценки. Упомянутые методы используются совместно.
25
Наиболее распространены статистические методы,
в рамках таких методов применяют тестирование с использованием математических метрик. Далее для оценки робастности применяются методы формального доказательства и, наконец, эмпирические методы на основе субъективных наблюдений, которые позволяют дополнить оценку робастности, если первые два метода недостаточны или нецелесообразны.
Описанные методы не используются для непосредственной оценки робастности в целом, но применяются для исследования различных аспектов робастности. Они позволяют получить ряд частичных показателей, по сочетанию которых оценивается устойчивость.
Принцип применения таких методов к оценке робастности заключается в том, чтобы оценить степень сохранения этих свойств при изменении условий:
–при использовании статистических методов: как изменение условий влияет на измеренные рабочие характеристики?
–в случае формальных методов: сохраняются ли необходимые свойства при расширении границ области условий (входных данных)?
–при применении эмпирических методов: сохраняются ли свойства в других сценариях?
Метрики робастности
В зависимости от задачи, решаемой системой ИИ (классификация, интерполяция/регрессия), возможны различные статистические метрики. Кроме того, выделяют множество метрик, специфичных для конкретной задачи.
26
В качестве примера метрик эффективности для интер-
поляции можно привести следующие: среднеквадратичная ошибка (RMSE), максимальная ошибка, фактическая и прогнозируемая корреляции.
Примером метрик эффективности для классификации выступают: доля истинно положительных результатов (true positive rate, TPR), доля истинно отрицательных результа-
тов (true negative rate, TNR), достоверность (accuracy, ACC), кривая ROC (Receiver operating characteristic) и множество других.
Типичный алгоритм для оценки робастности. Устойчивость обучения
Существуют различные способы оценки робастности нейронных сетей с использованием объективной информации. Типичный рабочий процесс для определения робастности нейронной сети (или другого модели) показан на рис. 2.
Процесс начинается с формулирования целей обеспечения робастности. Идентифицируются объекты тестирования, подлежащие верификации на робастность. С их учетом впоследствии определяют количественные метрики оценки тех элементов, которые показывают достижение робастности. Все это образует набор критериев для принятия решений о свойствах робастности, которые утверждаются соответствующими заинтересованными сторонами.
Следующий шаг – планирование эксперимента (тестирования). Этот шаг заключается в планировании экспериментов, которые демонстрируют робастность. На данном шаге используют комбинацию статистических, формальных или эмпирических методов. В процессе планирования эксперимента определяют настройки среды и характери-
27
стики данных, предусматривают сбор этих данных. Резуль-
татом второго шага является протокол тестирования, содержащий смысл, цели, дизайн и предлагаемый анализ, методологию, мониторинг, проведение эксперимента, а также хранение его результатов.
Рис. 2. Рабочий процесс для определения робастности нейронной сети
28
Далее эксперимент осуществляется согласно состав-
ленному протоколу эксперимента и выполняется сбор результатов. После завершения эксперимента результаты подлежат анализу и сверке с метриками, выбранными на первом шаге. Результаты анализа затем интерпретируются для принятия обоснованного решения.
Решение по робастности системы формулируется по определенным ранее критериям и полученной интерпретации результатов анализа.
Если цели тестирования не достигнуты, проводится анализ процесса, и процесс возвращается к соответствующему предыдущему шагу, чтобы устранить недостатки, например, добавить цели робастности, изменить метрики, включить рассмотрение различных аспектов для измерения, изменить планы тестов и т.д.
В настоящее время для оценки робастности модели используется тестирование точности при состязательных атаках. Однако на нее сильно влияют спецификации атаки, и она не может в полной мере отразить фактическую надежность относительно внутренних свойств модели.
Для повышения устойчивости обучения применяются техники аугментации входных данных при обучении.
К другим способам решения проблемы повышения устойчивости относятся:
‒исправления, связанные с архитектурой;
‒исправления, связанные с увеличением данных;
‒тренировка стабильности;
‒ограничения увеличения данных;
‒самоконтролируемое обучение.
Результат принятия решений ИИ значительно зависит от качества поступающих данных на вход модели. При этом
29