2.2 Обзор и сравнительный анализ алгоритмов обучения с подкреплением, методов предобработки данных и техник ускорения обучения
Процесс обучения агента в симуляции формализуется через Марковский процесс принятия решений (MDP). Одной из наиболее критичных задач при проектировании MDP в средах со сложной геометрией (лабиринтах) является формирование функции вознаграждения (Reward Shaping).
На начальном этапе исследований была выявлена фундаментальная проблема машинного обучения — проблема разреженного вознаграждения (Sparse Reward) [30]. При случайной инициализации весов нейронной сети агент совершал стохастические движения. Вероятность того, что агент в результате броуновского движения преодолеет все коридоры лабиринта и коснется цели, стремилась к нулю. Как следствие, алгоритм не получал положительного градиента для обучения, и сходимость модели не наступала.
Для преодоления данной проблемы, помимо бинарных наград (положительное подкрепление +1.0 за достижение цели и отрицательное -1.0 за падение с платформы), была внедрена техника экзистенциального штрафа (existential penalty). В метод OnActionReceived, вызываемый на каждом шаге симуляции, была добавлена функция постоянного отрицательного подкрепления, рассчитываемая по формуле:
|
(2.2.1) |
где MaxSteps — предельно допустимое количество шагов в одном эпизоде. Данная модификация функции полезности заставила алгоритм максимизировать не только саму вероятность достижения цели, но и скорость ее нахождения, минимизируя время пребывания в лабиринте.
Дополнительным вызовом стала проблема переобучения модели (overfitting). Если бы целевой объект и агент инициализировались в фиксированных точках пространства, нейронная сеть аппроксимировала бы жесткую последовательность действий (зазубривание маршрута), полностью утратив обобщающую способность (generalization).
В рамках исследования был разработан и реализован алгоритм динамической стохастической инициализации GetRandomSafePosition(). В начале каждого эпизода координаты агента и цели генерируются случайным образом. Для предотвращения коллизий с геометрией уровня (спавн внутри стен), алгоритм использует метод математического зондирования пространства Physics.OverlapSphere. Генератор случайных чисел ищет координаты до тех пор, пока сфера заданного радиуса не подтвердит отсутствие пересечений с коллайдерами объектов, имеющих тег Wall. Фрагмент кода метода GetRandomSafePosition приведу ниже:
private Vector3 GetRandomSafePosition()
{
Vector3 randomPos = Vector3.zero;
bool foundSafeSpot = false;
int attempts = 0;
int maxAttempts = 15;
while (!foundSafeSpot && attempts < maxAttempts)
{
randomPos = new Vector3(Random.Range(minBoundary, maxBoundary), 0.5f, Random.Range(minBoundary, maxBoundary));
Vector3 worldPos = transform.parent.TransformPoint(randomPos);
Collider[] colliders = Physics.OverlapSphere(worldPos, 0.4f);
bool hitWall = false;
foreach (Collider col in colliders)
{
if (col.CompareTag("Wall"))
{
hitWall = true;
break;
}
}
if (!hitWall) foundSafeSpot = true;
attempts++;
}
// Если за 15 попыток не нашли пустое место, просто ставим в центр (чтобы код не вис)
if (!foundSafeSpot)
{
randomPos = new Vector3(0, 0.5f, 0);
}
return randomPos;
}
Внедрение данного алгоритма в связке с технологией мультиагентного обучения (параллельный запуск 20 изолированных арен в едином пространстве симуляции) позволило колоссально ускорить сбор качественного опыта (experience replay) и сформировать у агента универсальную политику обхода препятствий, независимую от конкретных стартовых координат.
В рамках исследования был проведен экспериментальный сравнительный анализ двух передовых алгоритмов глубокого обучения с подкреплением: Proximal Policy Optimization (PPO) и Soft Actor-Critic (SAC). Оба алгоритма решали идентичную задачу навигации в мультиагентной среде лабиринта.
Алгоритм PPO, относящийся к семейству методов on-policy, осуществляет сбор больших пакетов данных (trajectory) и производит обновление весов нейронной сети дискретно. В конфигурации гиперпараметров был задан размер буфера (buffer_size) 2048 шагов при размере пакета (batch_size) 128. Данный подход обеспечил стабильную и плавную работу симулятора среды в Unity без падения частоты кадров, так как вычислительная нагрузка распределялась равномерно.
В свою очередь, алгоритм SAC, являясь off-policy методом, использует буфер воспроизведения опыта (Replay Buffer) и максимизирует энтропию для более активного исследования среды. Особенностью SAC является то, что он производит обновление функции ценности и политики на каждом шаге среды. При масштабировании среды до 20 параллельно работающих агентов использование SAC привело к эффекту вычислительного «бутылочного горлышка» (bottleneck) на стороне процесса-тренера (Python). Вычислительная сложность (time complexity) одного шага обновления у SAC оказалась кратно выше, что вызывало периодические паузы (зависания) в симуляции среды Unity.
Несмотря на высокие требования к аппаратному обеспечению в реальном времени, алгоритм SAC продемонстрировал значительно большую эффективность использования выборки (sample efficiency). Оптимальная политика обхода препятствий была найдена им менее чем за 5 000 шагов среды, в то время как PPO потребовалось более 60 000 шагов для достижения аналогичных показателей метрик.
На основе проведенного анализа, для итоговой компиляции автономного агента в рамках данного проекта был выбран алгоритм PPO. Он обеспечил оптимальный баланс между временем сходимости, стабильностью обучения и потреблением аппаратных ресурсов в процессе симуляции.