Deep learning en videojuegos: aprendizaje por refuerzo en el entorno Unity

Abstract

Este trabajo de fin de grado se encuentra dentro de la línea de trabajos “Deep Learning en Videojuegos”, cuyo objetivo general es plantear soluciones a diversos problemas combinando herramientas para el desarrollo de videojuegos con técnicas de aprendizaje automático basadas en redes neuronales, más conocidas últimamente como Deep Learning. En esta ocasión, se pretende explorar el aprendizaje por refuerzo en un entorno realista provisto por el motor de videojuegos Unity, con ayuda del kit de herramientas de Machine Learning ML-Agents, publicado por el equipo de desarrollo de Unity en GitHub. Antes de entrar en profundidad en el trabajo, se analiza la historia de esta tecnología, términos y conceptos indispensables para comprender su funcionamiento, y su lugar en un mundo donde actualmente la Inteligencia Artificial tiene mucha fuerza. Una vez expuesto esto, se procede a los aspectos técnicos del proyecto, así como su planificación inicial y su avance a lo largo del desarrollo, mostrando las simulaciones desarrolladas y estudiando su funcionamiento. Como cierre a esta memoria, se discuten los resultados obtenidos a lo largo del proyecto y las posibles mejoras que podrían aplicarse en caso de continuar con esta línea de trabajo.

This project is one in the line of projects “Deep Learning in Video Games”, whose general goal is to present solutions to diverse problems combining tools for game development with automated learning techniques based on neural networks, known more lately as Deep Learning. In this occasion, the objective is to explore reinforcement learning in a realist environment provided by the Unity video game engine, with the help of the Machine Learning toolkit ML-Agents, published by Unity’s development team in GitHub. Before going deep into the project, the history of this technology is analysed, along with terms and concepts that are essential for the understanding of how it works, and its place in a world where nowadays Artificial Intelligence has a lot of strength. Once this is exposed, we proceed to the technical aspects of the project, as well as its initial planning and its progress throughout development, showing the developed simulations and studying how they work. As closure to this document, the results obtained throughout the project are discussed, along with the possible enhancements that could be applied in case of continuing with this line of work.