A Multi-Scenario Approach to Continuously Learn and Understand the Evolution of Norm Violations

Abstract

Aquesta tesi aborda el repte d'identificar les violacions de les normes que evolucionen a les comunitats en línia i proposa un enfocament d'aprenentatge automàtic que dona suport als sistemes normatius per aprendre de manera contínua què constitueix una violació de les normes a partir de les interaccions i les respostes dels membres de la comunitat. Es centra en comunitats en línia de baix recurs o de nova creació amb dades d'entrenament limitades. La contribució principal resideix en la integració de l'aprenentatge incremental en tres marcs (FeDAL, LaMAL i CAL), abordant dades tabulars i de text amb característiques d'interpretabilitat. Es valoren aquests marcs en la detecció de violacions de normes amb dades desequilibrades i canvis de perspectives comunitàries, destacant que la incorporació de dades de diferents comunitats per part de CAL millora el rendiment en una nova comunitat objectiu. A més, un estudi d'usuaris explora l'impacte de la interpretabilitat de l'aprenentatge automàtic en les opinions dels usuaris quan avaluen frases que contenen discurs de l'odi, posant de manifest el seu paper potencial en desencadenar actualitzacions del model i proporcionar informació valuosa per a l'avaluació del model més enllà de les mètriques tradicionals.

Esta tesis aborda el desafío de identificar lo que constituye una violación de las normas establecidas en una comunidad en línea, al mismo tiempo que las perspectivas de la comunidad evolucionan. Para ello, proponemos un enfoque de aprendizaje automático para equipar a los sistemas normativos a aprender de manera continua a partir de las interacciones y las reacciones de los miembros. El enfoque se centra específicamente en comunidades en línea que cuentan con pocos recursos (dados limitados) o que han sido creadas recientemente. Además de detectar violaciones de normas, se enfatiza la importancia de explicar las diversas perspectivas en las comunidades (interpretabilidad de modelos de aprendizaje). La principal contribución de esta tesis es la integración del aprendizaje incremental en tres marcos (FeDAL, LaMAL y CAL), los cuales son evaluados en la detección de violaciones de normas y adaptación a nuevas comunidades. Se destaca la capacidad explicativa de los modelos, y un estudio de usuarios explora el impacto de diferentes diseños de interpretabilidad cuando las personas evalúan oraciones que contienen expresiones de odio, resaltando su papel potencial en desencadenar actualizaciones del modelo y proporcionar información valiosa más allá de las métricas de rendimiento tradicionales.

This thesis discusses the challenge of identifying evolving norm violations in online communities and proposes a Machine Learning (ML) approach that supports normative systems to continuously learn what constitutes a norm violation from interactions and community members' feedback. The focus is on low-resource or newly created online communities with limited training data. The main contribution lies in integrating incremental learning into three frameworks (FeDAL, LaMAL, and CAL), addressing tabular and text data with interpretability features. The frameworks are evaluated on detecting norm violations with imbalanced data and changing community views, and CAL's incorporation of data from different communities enhances performance in a new target community. Additionally, a user study explores the impact of ML interpretability on user views when evaluating sentences containing hate speech, highlighting its potential role in triggering model updates and providing valuable information for model evaluation beyond traditional metrics.