Modeling of emotional subjectivity in affective-based predictive systems

Abstract

One of the goals of affective computing is to develop affective technologies that can understand humans emotionally and make their life better. Human emotions are highly subjective in nature. This is why systems that consider affective along with subjective information play a significant role not only in mimicking an individual's cognitive process but also in an individual's interaction with others. This thesis targets emotional subjectivity in affect-related tasks. In particular, this thesis studies subjectivity from two different perspectives: (I) subjectivity in the annotations, and (II) subjectivity according to personality traits. Regarding annotations, in supervised machine learning, affective systems are trained and tested on annotated datasets. Usually, these annotations are the aggregation of multiple subjective annotations which basically represent each annotator's subjective emotional perception. The common practice to get aggregated annotations is by computing the average score and majority voting of multiple subjective annotations. These aggregated labels lose subjective information. Systems that are trained and tested based on these aggregated annotations have poor generalization capabilities for predicting subjective emotional perception. To tackle this problem, we proposed a Multi-Task (MT) learning approach that has the capability to learn each subjective emotional perception available in the annotations separately. The results show that our MT approach (that considers all subjective annotations separately) has more generalization capabilities as compared to approaches that are trained only on aggregated annotations. The second part of the thesis presents the study in the context of dialogues. Concretely, we studied the problem of predicting subjective emotional responses for the upcoming utterance with respect to each speaker in the conversation. We developed a Multi-Task (MT) learning approach that has the capability to predict multiple subjective emotional responses in the conversation using the personality information of each speaker. The results show that separate modeling of each speaker's emotional responses using joint modeling (i.e. Multi-Task learning) is better than combined modeling of all speakers' emotional responses.

Uno de los objetivos de la computación afectiva es desarrollar tecnologías afectivas que puedan comprender emocionalmente a los humanos y mejorar su vida. Las emociones humanas son de naturaleza altamente subjetiva. Esta es la razón por la que los sistemas que consideran la información afectiva junto con la subjetiva tienen un papel importante no solo en la imitación del proceso cognitivo de un individuo, sino también en la interacción de un individuo con los demás. Esta tesis se enfoca en el estudio de la subjetividad emocional en tareas relacionadas con el afecto o las emociones. En particular, esta tesis estudia la subjetividad desde dos perspectivas diferentes: (I) subjetividad en las anotaciones, y (II) subjetividad según los rasgos de personalidad. Con respecto a las anotaciones, en el aprendizaje automático supervisado, los sistemas afectivos se entrenan y testean en conjuntos de datos anotados. Por lo general, estas anotaciones son la agregación de múltiples anotaciones subjetivas que básicamente representan la percepción emocional subjetiva de cada anotador. La práctica común para obtener anotaciones agregadas es calcular la puntuación media o la votación mayoritaria de múltiples anotaciones subjetivas. Estas etiquetas agregadas pierden información subjetiva. Los sistemas que se entrenan y testean en función de estas anotaciones agregadas tienen capacidades de generalización deficientes para predecir la percepción emocional subjetiva. Para abordar este problema, propusimos un enfoque de aprendizaje multitarea (MT) que tiene la capacidad de aprender cada percepción emocional subjetiva disponible en las anotaciones por separado. Los resultados muestran que nuestro enfoque MT (que considera todas las anotaciones subjetivas por separado) tiene más capacidades de generalización en comparación con los enfoques que se entrenan solo en anotaciones agregadas. La segunda parte de la tesis presenta un estudio en el contexto de los diálogos. Concretamente, estudiamos el problema de predecir respuestas emocionales subjetivas para el próximo enunciado con respecto a cada hablante en la conversación. Desarrollamos un enfoque de aprendizaje multitarea (MT) que tiene la capacidad de predecir múltiples respuestas emocionales subjetivas en la conversación utilizando la información de la personalidad de cada hablante. Los resultados muestran que el modelado separado de las respuestas emocionales de cada hablante mediante el modelado conjunto (es decir, el aprendizaje multitarea) es mejor que el modelado combinado de las respuestas emocionales de todos los hablantes.

Un dels objectius de la computació afectiva és desenvolupar tecnologies afectives que puguin entendre els humans emocionalment i millorar la seva vida. Les emocions humanes són de naturalesa altament subjectiva. És per això que els sistemes que consideren la informació afectiva juntament amb la subjectiva tenen un paper important no només a l'hora d'imitar el procés cognitiu d'un individu, sinó també en la interacció d'un individu amb els altres. Aquesta tesi té com a objectiu estudiar la subjectivitat emocional en tasques relacionades amb l'afecte o les emocions. En particular, aquesta tesi estudia la subjectivitat des de dues perspectives diferents: (I) subjectivitat en les anotacions, i (II) subjectivitat segons els trets de personalitat. Pel que fa a les anotacions, en l'aprenentatge automàtic supervisat, els sistemes afectius s'entrenen i es testen en conjunts de dades anotats. Normalment, aquestes anotacions són l'agregació de múltiples anotacions subjectives que representen bàsicament la percepció emocional subjectiva de cada anotador. La pràctica habitual per obtenir anotacions agregades és calcular la puntuació mitjana o la votació majoritària de múltiples anotacions subjectives. Aquestes etiquetes agregades perden informació subjectiva. Els sistemes entrenats i testats a partir d'aquestes anotacions agregades tenen capacitats de generalització deficients per predir la percepció emocional subjectiva. Per fer front a aquest problema, vam proposar un enfocament d'aprenentatge multitasca (MT) que té la capacitat d'aprendre cada percepció emocional subjectiva disponible a les anotacions per separat. Els resultats mostren que el nostre enfocament MT (que considera totes les anotacions subjectives per separat) té més capacitats de generalització en comparació amb els enfocaments que només s'entrenen en anotacions agregades. La segona part de la tesi presenta un estudi en el context dels diàlegs. Concretament, hem estudiat el problema de predir respostes emocionals subjectives per al pròxim enunciat respecte de cada participant de la conversa. Hem desenvolupat un enfocament d'aprenentatge multitasca (MT) que té la capacitat de predir múltiples respostes emocionals subjectives a la conversa utilitzant la informació de la personalitat de cada parlant. Els resultats mostren que el modelatge separat de les respostes emocionals de cada parlant mitjançant el modelatge conjunt (és a dir, l'aprenentatge multitasca) és millor que el modelatge combinat de les respostes emocionals de tots els parlants.