Interpreting the learning dynamics of language models

Abstract

Language models (LMs) have evolved to become remarkably capable yet similarly complex and intransparant systems. Our ability to understand how they achieve their outstanding traits – i.e. making them interpretable – can be achieved from different angles. In this dissertation, I analyse the learning dynamics of LMs and seek to understand the relationship between the properties of training data and the models’ generalization behaviours. I introduce a framework that links generalisation with conceptual knowledge, specifically linguistic theory, which can be used for model analysis or model-driven hypothesis testing. This approach is applied to analyze the pre-training process of LMs. Furthermore, I delve into the dynamics of new learning paradigms, such as in-context learning, contributing to our understanding of their inconsistent prediction behaviour. Recognizing that the analysis of complex systems often demands holistic methods, this dissertation emphasizes and employs innovative and systematic methodologies for interpretability.

Els models de llenguatge (MLs) han evolucionat per esdevenir notablement capac¸os, però al mateix temps són sistemes complexos i poc transparents. La nostra capacitat per entendre com aconsegueixen aquestes característiques destacades – és a dir, fent-los interpretables – es pot aconseguir des de diferents punts de vista. En aquesta dissertació, analitzo la dinàmica d’aprenentatge dels MLs. Introdueixo un marc que enllaça la generalització amb el coneixement conceptual, específicament la teoria lingüística, que pot ser utilitzat per a l’anàlisi del model o per a la prova d’hipòtesis dirigida pel model. Aquest enfocament s’aplica per analitzar el procés de pre-entrenament dels MLs. A més, m’endinso en la dinàmica de nous paradigmes d’aprenentatge, com ara el in-context learning, il·luminant les raons del seu comportament de predicció inconsistent. Reconèixer que l’anàlisi de sistemes complexos sovint exigeix mètodes holístics, aquesta dissertació emfatitza i utilitza metodologies innovadores i sistemàtiques per a la interpretabilitat.