Diálogos generados por IA para personajes no jugables en entornos virtuales con caso de uso en la reconstrucción histórica de La Laguna en el s. XVI

Abstract

El objetivo de este trabajo es investigar sobre el uso de modelos de aprendizaje profundo generativos y otras tecnologías en el desarrollo de una interfaz multimodal para habilitar una comunicación natural entre usuario y personajes no jugables dentro de una experiencia virtual. La interfaz implementada permite a un usuario interactuar con un personaje virtual a través de lenguaje natural y un micrófono, recibiendo una respuesta coherente en un tiempo asequible, mejorando así los sistemas de conversación respecto de aquellos implementados dentro de experiencias virtuales comerciales. Se pretende estudiar la viabilidad de diversas alternativas a emplear en el desarrollo de los tres componentes principales de la interfaz: Traducción de voz a texto, generación de respuesta textual y traducción de texto a voz. Finalmente, se integra la interfaz desarrollada en un proyecto real: Reconstrucción virtual de la ciudad de La Laguna en el Siglo XVI. Con esto, se estudia el rendimiento del sistema, así como la calidad de la interacción implementada.

The aim of this work is to investigate the use of generative deep learning models and other technologies in the development of a multimodal interface to enable natural communication between users and non-playable characters within a virtual experience. The implemented interface allows a user to interact with a virtual character through natural language and a microphone, receiving a coherent response in a reasonable time, thus improving conversation systems compared to those implemented in commercial virtual experiences. The viability of various alternatives for the development of the three main components of the interface will be studied: voice-to-text translation, text response generation, and text-to-speech translation. Finally, the developed interface is integrated into a real project: the virtual reconstruction of the city of La Laguna in the 16th century. This allows studying the system's performance as well as the quality of the implemented interaction.