Algoritmo de toma de decisiones para la generación de historias en videojuegos usando técnicas de machine learning

Abstract

La presente propuesta “Algoritmo de toma de decisiones para la generación de historias en videojuegos usando técnicas de machine learning”, tiene como intención diseñar y desarrollar un videojuego que posea múltiples caminos argumentales sin necesidad de que los desarrolladores tengan que implementarlos de forma manual. Automatizar el desarrollo de la historia de un videojuego ayuda a reducir costos y tiempos de desarrollo, ya que disminuye el trabajo del equipo desarrollador, además de que permite desarrollar un videojuego con miles de caminos argumentales diferentes. A pesar de que se ha logrado crear métodos para automatizar la generación de diferentes contenidos de videojuegos como niveles, mapas, personajes, melodías, gráficos, entre otros, aun no existe una forma comercialmente viable para generar historias de videojuegos. Nosotros planteamos una solución que podría usarse comercialmente. Para lograr esto, descomponemos las acciones posibles en acciones atómicas, y dotamos a cada personaje no jugable (NPC) un modelo de machine learning, para que sea capaz de tomar sus propias decisiones en el mundo del juego, para que cada uno decida como actuar de forma procedural. Si los NPC se comportan de forma diferente, entonces los sucesos ocurrirán de forma distinta.

Para armar el modelo de machine learning con el que los NPCs tomaran decisiones hacemos uso de Q-Learning, un algoritmo perteneciente al paradigma de reinforcement learning. A diferencia de otros algoritmos, este es model-free, lo que significa que no requiere de un modelo del entorno para funcionar. Tampoco requiere que se le brinde de un dataset con anterioridad, solo necesita un conjunto de agentes (los NPCs), que estos puedan ejecutar acciones, y que reciban un feedback de su desempeño. Debido a todo esto, este algoritmo se adapta muy bien a nuestro caso.

The present proposal, “Decision-making algorithm for generating stories in video games using Machine Learning Techniques“, aims to design and develop a video game that has multiple story lines without the need for developers to implement them manually. Automating the development of the story of a video game helps reduce development costs and times, since it reduces the work of the developer team, in addition to allowing the development of a video game with thousands of different story lines. Although it has been possible to create methods to automate the generation of different video game content such as levels, maps, characters, melodies, graphics, among others, there is still no commercially viable way to generate video game stories. We proposed a solution that could be used commercially. To achieve this, we decompose the possible actions into atomic actions, and we endow each non-playable character (NPC) with a machine learning model, so that they are able to make their own decisions in the game world, so that each one decides how to act. procedurally. If NPCs behave differently, then events will happen differently.

To build the machine learning model with which the NPCs will make decisions, we use Q-Learning, an algorithm belonging to the reinforcement learning paradigm. Unlike other algorithms, this one is model-free, which means that it does not require a model of the environment to work. Nor does it require that a dataset be provided beforehand, it only needs a set of agents (the NPCs), that they can execute actions, and that they receive feedback on their performance. Due to all this, this algorithm is very well suited to our case.