A deep learning perspective on linguistic ambiguity

Abstract

This thesis studies the information that an expression and its context contribute to ambiguity resolution, focusing on the syntactic, lexical, and referential levels, and on the English language. I adopt computational linguistics, in particular deep learning methods, as my research framework, by introducing methodologies to 1) analyze deep learning models, and 2) use them for linguistic analysis. In a subset of studies, I investigate how neural language models – trained from unlabeled text corpora – process ambiguities, analyzing both their internal representations and their predictions. Other experiments employ deep learning models to estimate different kinds of linguistic information, with the goal of scaling the testing of linguistic hypotheses. Concretely, I study how an expression and its context interact during both interpretation and production. The thesis provides a comprehensive perspective on linguistic ambiguity, contributing to the understanding of the mechanisms that humans and artificial systems adopt to deal with this phenomenon.

Aquesta tesi estudia la informació que una expressió i el seu context contribueixen a la resolució d’ambigüitats, centrant-se en els nivells sintàctic, lèxic i referencial, i en la llengua anglesa. Adopto la lingüística computacional, en particular els mètodes d’aprenentatge profund, com a marc de recerca, introduint metodologies per a 1) analitzar models d’aprenentatge profund i 2) utilitzar-los per a l’anàlisi lingüística. En un subconjunt d’estudis, investigo com els models neuronals del llenguatge, que aprenent a partir de corpus de text sense etiquetar, processen les ambigüitats, analitzant tant les seves representacions internes com les seves prediccions. Altres experiments fan servir models d’aprenentatge profund per estimar diferents tipus d’informació lingüística, amb l’objectiu d’escalar l’avaluació d’hipòtesis lingüístiques. Concretament, estudio com interactuen una expressió i el seu context tant durant la interpretació com durant la producció. La tesi proporciona una àmplia perspectiva sobre l’ambigüitat lingüística, contribuint a la comprensió dels mecanismes que els humans i els sistemes artificials adopten per respondre a aquest fenomen.

Esta tesis estudia la información que una expresión y su contexto contribuyen a la resolución de la ambigüedad, en los niveles sintáctico, léxico y referencial, y en inglés. Adopto la lingüística computacional, y en particular métodos de aprendizaje profundo, como mi marco de investigación, introduciendo metodologías para 1) analizar modelos de aprendizaje profundo y 2) usarlos para el análisis lingüístico. En algunos estudios, investigo cómo los modelos del lenguaje, entrenados a partir de corpus de texto sin etiquetar, procesan las ambigüedades, analizando tanto sus representaciones internas como sus predicciones. En otros experimentos, los uso para estimar diferentes tipos de información lingüística, con el objetivo de escalar la evaluación de hipótesis lingüísticas. En concreto, estudio cómo una expresión y su contexto interactúan tanto durante la interpretación como durante la producción. La tesis proporciona una perspectiva amplia sobre la ambigüedad lingüística, contribuyendo a la comprensión de los mecanismos que adoptan los seres humanos y los sistemas artificiales para responder a este fenómeno.