Transitions in Bayesian model selection problems: Network-based recommender system and symbolic regression

Abstract

En aquesta tesi hem fet un estudi del procés d'inferència Bayesiana aplicat als problemes de selecció de models. Aquests problemes consisteixen en donat un conjunt de models i unes dades observades, mirar quin és es model més plausible. Fent servir el teorema de Bayes en aquest tipus de problemes, ens permet no només valorar com un model s'ajusta a ses dades amb la funció de verosimilitud, sinó que també té en compte com sa informació que pensem que a priori pugui ser certa amb el prior. Açò fa que els tipus de prediccions que obtenim d'aquests processos puguin estar basats en ses dades, bé en ses hipòtesis que tenim, o bé per ambdues. S'objectiu d'aquesta tesi és veure com afecten els diferents tipus de models trobats ens ses prediccions, per açò hem decidit enfocar-nos en dos problemes: es problema d'es sistema de recomanacions i es problema de regressió simbòlica. Es sistema de recomanacions és un problema que consisteix en predir ses preferències d'un usuari donat ses que ja sabem. En aquest cas hem fet servir un mètode bayesià i hem posat com a prior que els usuaris amb atributs semblants tinguin gustos semblants. Es es cas de sa regressió simbòlica, es problema consisteix en trobar sa expressió matemàtica de entre tot s'espai d'expresions matemàtiques. Aquí hem fet servir es Bayesian machine scientists que fa servir es teorema de Bayes i té com a prior que ses expressions matemàtiques siguen semblants als que hi ha a sa Wikipèdia. Com a resultat, hem vist que en diferents situacions, el prior i les dades poden ajudar o no a fer prediccions donant a lloc transicions en la predictibilitat (en el cas del recomanador) i la detectabilitat (en el cas de la regressió simbòlica).

En esta tesis hemos hecho un estudio del proceso de inferencia Bayesiana aplicado a los problemas de selección de modelos. Estos problemas consisten en dado un conjunto de modelos y unos datos observados, mirar cuál es se modelo más plausible. Usando el teorema de Bayes en este tipo de problemas, nos permite no sólo valorar cómo un modelo se ajusta a sus datos con la función de verosimilitud, sino que también tiene en cuenta la información que pensamos a priori pueda ser cierta con el prior. Esto hace que los tipos de predicciones que obtenemos de estos procesos puedan estar basados en sus datos, bien en las hipótesis que tenemos a priori, o bien por ambas. El objetivo de esta tesis es ver cómo afectan los diferentes tipos de modelos encontrados en las predicciones, por esto hemos decidido enfocarnos en dos problemas: el problema del sistema de recomendaciones y el problema de regresión simbólica. El sistema de recomendaciones es un problema que consiste al predecir sus preferencias de un usuario dado sus que ya sabemos. En este caso hemos usado un método bayesiano y hemos puesto como prior que los usuarios con atributos parecidos tengan gustos parecidos. En el problema de su regresión simbólica, el problema consiste en encontrar la expresión matemática de entre todo un espacio de expresiones matemáticas. Aquí hemos usado el Bayesian machine scientists que usa el teorema de Bayes y tiene como prior que sus expresiones matemáticas sean parecidas a las que hay en la Wikipèdia. Como resultado, hemos visto que en diferentes situaciones, el prior y los datos pueden ayudar o no a hacer predicciones dando a lugar transiciones en la predictibilidad (en el caso del recomanador) y a la detectabilidad (en el caso de la regresión simbólica).

In this thesis we have done a study of the Bayesian inference process applied to model selection problems. These problems consist of a set of models and observed data, looking at which model is the most plausible. Using Bayes theorem in such problems, it allows us not only to value how a model fits in with the data with the likelihood, but also to consider the information that we think can be true a priori thanks to the prior. This makes that the models that we get from these processes can be data based, based in the hypotheses we have (prior), or on both. The aim of this thesis is to see how the different types of models found affect us in the predictions, so we have decided to focus on two problems: the problem of the recommender system and the problem of symbolic regression. The recommender system is a problem with predicting the preferences of a given user who we already know. In this case we have used a Bayesian method and have set as a prior to users with similar attributes having similar tastes. In the case of symbolic regression, the problem consists in finding the best mathematical expression from all the space of mathematical expressions. Here we have used the Bayesian machine scientists that he uses Bayes' theorem where its prior looks for mathematical expressions that are like those in the Wikipedia. As a result, we have seen that in different situations, the prior and data can or cannot help making predictions by giving rise to transitions in accuracy (in the case of the recommender) and detectability (in the case of symbolic regression).