Large Language Models: Language abilities and limitations

Abstract

Els models de llenguatge massiu (LLM) s’utilitzen en aplicacions que generen cadenes de text molt semblants al llenguatge natural. Sobre aquesta base, s’ha dotat els LLM de capacitats similars a les humanes, com la comprensió, el raonament i la intel·ligència. A més a més, cada cop es reclama més la seva adopció com a teories cognitives capaces d’explicar el processament del llenguatge en humans. No obstant això, una mirada més atenta revela que els resultats lingüístics dels LLM estan plens d’inconsistències i continguts que cap humà neurotípic produiria, la qual cosa posa en dubte la similitud del coneixement lingüístic que codifiquen amb el llenguatge humà. En aquesta tesi, (1) es descriu de manera general el coneixement sobre morfosintaxi, semàntica i pragmàtica que s’atribueix als LLM; (2) es proporcionen proves experimentals que les similituds entre els resultats dels LLM i el llenguatge natural són només superficials i, per tant, no són qualitativament comparables; i (3) es planteja el debat sobre la tria dels mètodes utilitzats per avaluar les capacitats lingüístiques dels LLM.

Los modelos de lenguaje masivo (LLM) se utilizan en aplicaciones que generan cadenas de texto muy parecidas al lenguaje natural. Sobre esta base, se ha dotado a los LLM de capacidades similares a las humanas, como la comprensión, el razonamiento y la inteligencia. Además, cada vez se reclama más su adopción como teorías cognitivas capaces de explicar el procesamiento del lenguaje en humanos. Sin embargo, una mirada más atenta revela que los resultados lingüísticos de los LLMs están repletos de inconsistencias y contenidos que ningún humano neurotípico produciría, lo que pone en duda la semejanza del conocimiento lingüístico que codifican con el lenguaje humano. En esta tesis, (1) se describe de forma general el conocimiento sobre morfosintaxis, semántica y pragmática que se atribuye a los LLM; (2) se aportan pruebas experimentales de que las similitudes entre los resultados de los LLM y el lenguaje natural son sólo superficiales y, por lo tanto, no son cualitativamente comparables; y (3) se plantea el debate sobre la elección de los métodos utilizados para evaluar las capacidades lingüísticas de los LLM.

Large Language Models (LLMs) are recruited in applications that generate strings of text that closely resemble natural language. On this basis, LLMs have been invested with human-like capabilities such as understanding, reasoning, and intelligence. Additionally, their adoption as cognitive theories capable of explaining language processing in humans is increasingly called for. However, a closer look reveals that the language outputs of LLMs are replete with inconsistencies and content no neurotypical human would produce, casting doubt on the human-likeness of the linguistic knowledge they encode. In this thesis, (1) an outline is drawn of the knowledge over morphosyntax, semantics and pragmatics that LLMs are attributed with; (2) experimental evidence is provided that similarities between LLMs’ outputs and natural language hold only superficially and thus, the two are not qualitatively comparable; and (3) a discussion is offered on the choice of methods used to evaluate the linguistic abilities of LLMs.