A journey in representation learning textual emotion detection and structural graph encodings

Abstract

Representation learning is the field of modern machine learning focused on automatically producing useful representations from data. This thesis studies the impact of data volumes, annotation perspectives, and structural properties on learnable representations for textual emotion detection and structural graph encodings. On emotion detection, we investigate how different text representations and model choices affect performance on two large emotion datasets. We assess the impact of different annotation approaches by studying differences between how writers express and readers perceive emotions. On graph representations, we propose two encodings of ego-network subgraphs and analyze their theoretical properties. Our encodings can act as input features or leveraged during learning, boosting the theoretical expressivity of message-passing and subgraph neural network architectures. On several large experimental benchmarks, we find they also improve the predictive performance and efficiency of popular graph models. Our work deepens the practical understanding of learnable representations on both domains.

El aprendizaje de representaciones estudia cómo producir representaciones útiles a partir de datos. Esta tesis estudia el impacto del volumen de datos, las perspectivas de anotación y las propiedades estructurales en representaciones para la detección textual de emociones y la representación de estructuras en grafos. En detección emocional, investigamos cómo las representaciones del texto y arquitecturas de modelado afectan al rendimiento predictivo en dos conjuntos de datos emocionales a gran escala. Evaluamos el impacto de diferentes enfoques de anotación estudiando diferencias entre cómo los autores expresan y los lectores perciben emociones. Para representar grafos, proponemos dos representaciones de redes 'ego' y analizamos sus propiedades teóricas. Nuestras representaciones pueden actuar como características de entrada o aprovecharse durante el aprendizaje, aumentando la expresividad de redes neuronales en grafos. Empiricamente, nuestras representaciones mejoran el rendimiento predictivo de modelos populares en grafos. En conjunto, nuestro trabajo profundiza el conocimiento práctico sobre las representaciones en ambos dominios.