Post-editing effort and linguistically motivated evaluation of machine translation

Abstract

The recent improvements in neural MT (NMT) have driven a shift from statistical MT (SMT) to NMT, which has propelled the use of post-editing (PE) in translation workflows. However, many professional translators state that if the quality of the MT output is not good enough, they delete the remaining segments and translate everything from scratch. The problem is that usual automatic measurements do not always indicate the quality of theMT output, especially with high quality outputs, and there is still no clear correlation between PE effort and productivity scores. We combine quantitative and qualitative methods to study some of the usual automatic metrics used to evaluate the quality of MT output, and compare them to measures of post-editing effort. Then, we study in detail different direct and indirect measures of effort in order to establish a correlation among them. We complement this study with the analysis of translators’ perceptions of the task. Finally, we conduct a fine-grained analysis of MT errors based on postediting corrections and suggest an error-based approach to evaluate raw MT output which includes the use of challenge sets.

Les recents millores en traducció automàtica neuronal (TAN) han provocat un canvi de la traducció automàtica estadística (TAS) a la TAN, que ha incrementat l’ús de la postedició en els fluxos de treball industrials. Tanmateix, molts traductors professionals afirmen que si la qualitat de la TA no és prou bona, eliminen tot el segment i el tradueixen de cap i de nou. El problema és que les mesures automàtiques habituals no sempre indiquen la qualitat de la TA, especialment quan aquesta és bona, i no hi ha una correlació directa entre l’esforç de postedició i les mesures de productivitat. Combinem mètodes quantitatius i qualitatius per estudiar algunes de les mesures automàtiques més habituals utilitzades per evaluar la qualitat de la TA, i les comparem amb les mesures de l’esforç de postedició. A continuació, estudiem en detall diferent mesures directes i indirectes d’esforç per establir-hi una correlació. Complementem aquest estudi amb l’anàlisi de les percepcions dels traductors que duen a terme aquesta tasca. Finalment, fem una anàlisis detallada dels errors de TA a partir de les correccions fetes en la postedició i proposem un enfocament basat en errors per evaluar la TA que inclou l’ús d’un conjunt de frases de prova.