2.3 Методы сбора, обработки и визуализации метрик обучения (cumulative reward, loss, entropy) для анализа поведения и эффективности агента

Для объективной оценки процесса обучения и итоговой эффективности разработанного интеллектуального агента применялся систематический сбор и анализ метрик с использованием инструментария TensorBoard [39].

В процессе обучения симулятор Unity (компонент Academy) непрерывно генерировал сырые данные (взаимодействия со средой, полученные штрафы и награды), которые посредством протокола gRPC передавались во внешнее Python-окружение для агрегации и вычисления градиентов. Анализ динамики обучения проводился на основе визуализированных графиков скалярных величин.

Выбор внутренних компонентов нейронной сети был обусловлен теоретическим анализом свойств функций активации и методов стохастической оптимизации.

В скрытых слоях перцептрона использовалась функция активации Swish, определяемая формулой:

(2.3.1)

где σ — сигмоидальная функция, а β — обучаемый или фиксированный параметр.

В отличие от традиционной функции ReLU (max(0, x)), Swish является гладкой и немонотонной функцией. Она не имеет "мертвых зон" (областей с нулевой производной при отрицательных значениях аргумента), что критически важно для глубокого обучения с подкреплением. В задачах RL градиенты часто бывают зашумленными и нестабильными; использование ReLU может привести к проблеме "умирающих нейронов", когда часть сети перестает обновляться. Swish позволяет сохранять небольшой отрицательный градиент, обеспечивая более стабильный поток информации через сеть при обратном распространении ошибки.

В качестве алгоритма оптимизации весов нейронной сети использовался Adam (Adaptive Moment Estimation). Этот метод сочетает в себе преимущества двух других популярных расширений стохастического градиентного спуска: AdaGrad и RMSProp. Adam вычисляет индивидуальные адаптивные скорости обучения для различных параметров на основе оценок первого и второго моментов градиентов.

Формально правило обновления параметров θ на шаге t выглядит следующим образом:

(2.3.2)

где η — начальная скорость обучения (learning rate), m̂_t — скорректированная оценка первого момента (среднего) градиента, v̂_t — скорректированная оценка второго момента (нецентрированной дисперсии).

Применение Adam обосновано тем, что в задачах навигации ландшафт функции потерь часто имеет сложную форму с множеством локальных минимумов и "седел". Способность Adam адаптировать шаг обучения для каждого веса позволяет алгоритму быстрее преодолевать плоские участки поверхности ошибок и эффективнее сходиться к оптимуму по сравнению с классическим SGD.

Ключевой метрикой, отражающей успешность обучения, выступало среднее кумулятивное вознаграждение (Environment/Cumulative Reward). На начальных этапах обучения данный показатель имел резко отрицательные значения из-за экзистенциальных штрафов и частых падений агентов за пределы платформы в процессе хаотичного исследования (exploration). По мере стабилизации политики график продемонстрировал логарифмический рост, выйдя на асимптоту (плато) со значением 0.95 - 0.98, что близко к максимально возможной награде (1.0). График Environment/Cumulative Reward изображен на рисунке 2.2.

Рисунок 2.2 - График Environment/Cumulative Reward

Важным индикатором баланса между исследованием и эксплуатацией (exploitation) служила метрика энтропии политики (Policy/Entropy). Высокое начальное значение энтропии свидетельствовало о стохастическом поиске пути в лабиринте. По мере прохождения шагов обучения значение энтропии закономерно и плавно снижалось, что подтверждало формирование детерминированной и уверенной стратегии навигации агента.

Дополнительно отслеживалась метрика длины эпизода (Environment/Episode Length). Зафиксированное на графиках снижение данного показателя напрямую коррелировало с ростом кумулятивной награды. Это свидетельствует о том, что интеллектуальный агент научился находить кратчайший пространственный маршрут до целевого объекта, минимизируя временные затраты и, соответственно, избегая накопления отрицательного подкрепления. График Policy/Entropy изображен на рисунке 2.3.

Рисунок 2.3 - График Policy/Entropy

Комплексный анализ визуализированных метрик позволил научно подтвердить корректность выбранной архитектуры нейронной сети, функции вознаграждений и констатировать успешное завершение процесса обучения модели. Итоговая обученная политика была экспортирована в кроссплатформенный формат .onnx для последующего внедрения (инференса) в среду Unity в качестве полностью автономного контроллера поведения агента.