Mining arguments in scientific abstracts: Application to argumentative quality assessment

Abstract

Argument mining consists in the automatic identification of argumentative structures in natural language, a task that has been recognized as particularly challenging in the scientific domain. In this work we propose SciARG, a new annotation scheme, and apply it to the identification of argumentative units and relations in abstracts in two scientific disciplines: computational linguistics and biomedicine, which allows us to assess the applicability of our scheme to different knowledge fields. We use our annotated corpus to train and evaluate argument mining models in various experimental settings, including single and multi-task learning. We investigate the possibility of leveraging existing annotations, including discourse relations and rhetorical roles of sentences, to improve the performance of argument mining models. In particular, we explore the potential offered by a sequential transfer-learning approach in which supplementary training tasks are used to fine-tune pre-trained parameter-rich language models. Finally, we analyze the practical usability of the automatically-extracted components and relations for the prediction of argumentative quality dimensions of scientific abstracts.

La mineria d’arguments consisteix en la identificació automàtica d’estructures argumentatives en el llenguatge natural, una tasca considerada com a especialment complexa en textos científics. En aquest treball proposem SciARG, un nou esquema d’anotació, i l’apliquem a la identificació d’unitats i relacions argumentatives en resums científics en dues disciplines: lingüística computacional i biomedicina, la qual cosa ens permet avaluar l’aplicabilitat del nostre esquema en diferents camps del coneixement. Utilitzem el nostre corpus per entrenar i avaluar models de mineria d’arguments en diversos contextos experimentals, entrenant cada tasca per separat i en un entorn multitasca. Investiguem la possibilitat d’aprofitar anotacions existents, incloent relacions de discurs i funcions retòriques d’oracions, per millorar el rendiment dels models de mineria de arguments. En particular, explorem el potencial que ofereix un enfocament d’aprenentatge per transferència en el qual s’utilitzen tasques d’entrenament suplementàries per afinar models lingüístics pre-entrenats. Finalment, analitzem l’´us pràctic dels components i relacions extretes automàticament dels textos per la predicció de diversos aspectes de la qualitat argumentativa de resums científics.