Unity HEX BattleGame: Reinforcement Learning con Unity ML-Agents para entornos multi-agente y toma de decisiones bajo demanda

Abstract

Este proyecto pretende ser pionero en la utilizaci´on de agentes entrenados con Aprendizaje por Refuerzo como parte de la IA de videojuegos. M´as concretamente, su meta es estudiar su viabilidad y desempe˜no en Unity HEX BattleGame, dise˜nado por el autor con un sistema de batalla t´actico por turnos donde tanto el jugador como los NPC se baten en duelo por la supervivencia de su especie. Este trabajo incluye los resultados del entrenamiento de agentes como dichos NPC para este tipo de entornos, usando t´ecnicas modernas de Curriculum Learning y el framework de Unity ML Agents para adquirir los mejores resultados posibles con toma de decisiones bajo demanda en entornos multi-agente. Los resultados observados exponen estrategias prometedoras para escenarios simples, con un buen ritmo de aprendizaje en los agentes, que adem´as han desarrollado tendencias que no solo est´an a la par con su contrapartida heur´ıstica, sino que ocasionalmente demuestran ser m´as org´anicas. T´ecnicas de Curriculum Learning tambi´en han demostrado ser ´utiles para el entrenamiento de tareas m´as complicadas (como por ejemplo, el movimiento y la adaptabilidad al terreno), y por tanto, ser´ıa beneficioso abordar diferentes maneras de mejorar el comportamiento de los agentes, para el futuro de este y de otros juegos similares.

This project pretends to be a step forward towards the utilization of agents trained with Reinforcement Learning on real-life videogame AI scenarios. Specifically, it aims to study their viability and performance in the Unity HEX BattleGame, designed by the author as a turn-based, tactical, battle system where both player and NPCs clash and fight for the survival of their species. The study includes the results of training agents as the NPCs for said environments, using state of the art techniques from Curriculum Learning and the Unity ML Agents framework to accquire the best possible results with on-demand decision making in multi-agent environments. Results show promising behaviors in simple scenarios, with agents learning steadily across the board and developing tendencies not only equal to their heuristic counterpart, but ocassionally more organic and measured. Curriculum Learning has also shown to be useful for the training of more difficult tasks (namely movement and terrain adaptability), and thus, it would be beneficial to expand on different approaches to further improve the agents’ performance for the future of this and other similar games.