Monte-Carlo tree search using expert knowledge: an application to computer go and human genetics

Abstract

Monte-Carlo Tree Search (MCTS la búsqueda en árbol mediante procesos estocásticos) se ha convertido en el algorítmo principal en muchos problemas de inteligencia artificial e informática. Esta tesis analiza la incorporación de conocimiento experto para mejorar la búsqueda. El trabajo describe dos aplicaciones: una en el 'juego del go' por el ordenador y otra en el campo de la genética humana. Es un hecho establecido que, en problemas complejos, MCTS requiere el apoyo de conocimiento específico o aprendido online para mejorar su rendimiento. Lo que este trabajo analiza son diferentes ideas de cómo hacerlo, sus resultados e implicaciones, mejorando así nuestra comprensión de MCTS. Las principales contribuciones al área son: un modelo analítico de las simulaciones que mejora la comprensión del papel de las simulaciones, un marco competitivo incluyendo código y datos para comparar métodos en etiología genética y tres aplicaciones con éxito: una en el campo de las aperturas en go de 19x19 llamada M-eval, otra sobre simulaciones que aprenden y una en etiología genética. Además, merece la pena destacar: un modelo para representar proporciones mediante estados llamado WLS con software libre, un resultado negativo sobre una idea para las simulaciones, el descubrimiento inesperado de un posible problema utilizando MCTS en optimización y un análisis original de las limitaciones.

During the years in which the research described in this PhD dissertation was done, Monte-Carlo Tree Search has become the preeminent algorithm in many AI and computer science fields. This dissertation analyzes how expert knowledge and also online learned knowledge can be used to enhance the search. The work describes two different implementations: as a two player search in computer go and as an optimization method in human genetics. It is established that in large problems MCTS has to be combined with domain specific or online learned knowledge to improve its strength. This work analyzes different successful ideas about how to do it, the resulting findings and their implications, hence improving our insight of MCTS. The main contributions to the field are: an analytical mathematical model improving the understanding of simulations, a problem definition and a framework including code and data to compare algorithms in human genetics and three successful implementations: in the field of 19x19 go openings named M-eval, in the field of learning playouts and in the field of genetic etiology. Also, an open source integer representation of proportions as Win/Loss States (WLS), a negative result in the field of playouts, an unexpected finding of a possible problem in optimization and further insight on the limitations of MCTS are worth mentioning. With the exception of some background materials introducing the game of go and MCTS, the dissertation is entirely written in English.