Weakly-supervised learning for automatic facial behaviour analysis

Abstract

In this Thesis we focus on Automatic Facial Behavior Analysis, which attempts to develop autonomous systems able to recognize and understand human facial expressions. Given the amount of information expressed by facial gestures, this type of systems has potential applications in multiple domains such as Human Computer Interaction, Marketing or Healthcare. For this reason, the topic has attracted a lot of attention in Computer Vision and Machine Learning communities during the past two decades. Despite the advances in the field, most of facial expression analysis problems can be considered far from being solved.

In this context, this dissertation is motivated by the observation that the vast majority of methods in the literature has followed the Supervised Learning paradigm, where models are trained by using data explicitly labelled according to the target problem. However, this approach presents some limitations given the difficult annotation process typically involved in facial expression analysis tasks. In order to address this challenge, we propose to pose Automatic Facial Behavior Analysis from a weakly-supervised perspective. Different from the fully-supervised strategy, weakly-supervised models are trained by using labels which are easy to collect but only provide partial information about the task that aims to be solved (i.e, weak-labels). Following this idea, we present different weakly-supervised methods to address standard problems in the field such as Action Unit Recognition, Expression Intensity Estimation or Affect Analysis. Our results obtained by evaluating the proposed approaches on these tasks, demonstrate that weakly-supervised learning may provide a potential solution to alleviate the need of annotated data in Automatic Facial Behavior Analysis. Moreover we also show how these approaches are able to facilitate the labelling process of databases designed for this purpose.

Aquesta tesi doctoral se centra en el problema de l'Anàlisi Automàtic del Comportament Facial, on l'objectiu és desenvolupar sistemes autònoms capaços de reconèixer i entendre les expressions facials humanes. Donada la quantitat d'informació que es pot extreure d'aquestes expressions, sistemes d'aquest tipus tenen multitud d'aplicacions en camps com la Interacció Home-Màquina, el Marketing o l'Assistència Clínica. Per aquesta raó, investigadors en Visió per Computador i Aprenentatge Automàtic han destinat molts esforços en les últimes dècades per tal d'aconseguir avenços en aquest sentit. Malgrat això, la majoria de problemes relacionats amb l'anàlisi automàtic d'expressions facials encara estan lluny de ser conisderats com a resolts.

En aquest context, aquesta tesi està motivada pel fet que la majoria de mètodes proposats fins ara han seguit el paradigma d'aprenentatge supervisat, on els models són entrenats mitjançant dades anotades explícitament en funció del problema a resoldre. Desafortunadament, aquesta estratègia té grans limitacions donat que l'anotació d'expressions en bases de dades és una tasca molt costosa i lenta. Per tal d'afrontar aquest repte, aquesta tesi proposa encarar l'Anàlisi Automàtic del Comportament Facial mitjançant el paradigma d'aprenentatge dèbilment supervisat. A diferència del cas anterior, aquests models poden ser entrenats utilitzant etiquetes que són fàcils d'anotar però que només donen informació parcial sobre la tasca que es vol aprendre. Seguint aquesta idea, desenvolupem un conjunt de mètodes per tal de resoldre problemes típics en el camp com el reconeixement d' "Action Units", l'Estimació d'Intensitat d'Expressions Facials o l'Anàlisi Emocional. Els resultats obtinguts avaluant els mètodes presentats en aquestes tasques, demostren que l'aprenentatge dèbilment supervisat pot ser una solució per tal de reduir l'esforç d'anotació en l'Anàlisi Automàtic del Comportament Facial. De la mateixa manera, aquests mètodes es mostren útils a l'hora de facilitar el procés d'etiquetatge de bases de dades creades per aquest propòsit.