Исследователь Михаил Кочеров разрабатывает RL-агента для обучения игре Atari Frostbite. Цель проекта — изучение механизмов работы мозга через создание автономной системы, которая адаптируется к среде, вырабатывает стратегию поведения и оптимизирует действия на основе системы поощрений.
В качестве среды для экспериментов выбраны Atari Learning Environment (ALE) и Gymnasium. Игра Frostbite выбрана из-за нестационарности, разреженной системы наград и необходимости иерархического целеполагания. Агент должен научиться управлять персонажем, собирать иглу и избегать врагов, стремясь превзойти показатели модели MEME.
Для обучения используется алгоритм Proximal Policy Optimization (PPO), выбранный за возможность массовой параллелизации. Модель включает энкодер для обработки кадров 210x160, а также блоки Action Head и Value Head. Система собирает траектории из 32 одновременных игровых окружений, на основе которых происходит итеративная оптимизация политики агента.
В процессе обучения агент преобразует визуальные данные в латентные векторы размерностью 384. Изначально случайные действия постепенно заменяются на эффективные стратегии благодаря подкреплению удачных ходов. Модель балансирует между вычислительными ресурсами и способностью распознавать динамические изменения в игровом процессе.
