Universitat Pompeu Fabra. Departament de Tecnologies de la Informació i les Comunicacions
Programa de doctorat en Tecnologies de la Informació i les Comunicacions
Music streaming platforms nowadays play an important role in music consumption and have a big influence on the musical taste of the listeners. Machine learning-based recommender systems are a fundamental part of such streaming platforms defining what music people listen to and when. As for many applications of machine learning, there is an increasing debate in academia, industry and governments about the effects that the recommender systems have in society and the ethical implications of such systems. The bias in music recommender systems towards the more popular items has been studied extensively in the past. This bias affects both artists and listeners since it reduces the possibility of a large catalog's portion of getting any exposure. Recently, in the recommender systems community, it was raised the importance of considering the multiple stakeholders of a system when generating the recommendations. However, most of the research in the music domain has taken into account the users' perspective only. This thesis goes beyond the problem of popularity bias, it tries to uncover other dimensions in which the music recommender systems can affect the artists and propose alternatives to mitigate such problems. The contributions of this thesis are (i) identification of multiple aspects in which the current platforms and their recommender systems affect the music artists and concrete ways in which they could be more beneficial in the future, (ii) analysis of the algorithmic effect regarding gender imbalance in the recommendations and mitigation of such problem based on the output of artists' interview, (iii) analysis of the longitudinal effect of multiple state-of-the-art algorithms for session-based recommendations in users behavior negatively affecting the artists, (iv) publication of the first large-scale open dataset that contains audio and playlist information, (iv) novel contrastive learning approach proposed to combine multiple modalities (audio, genre and playlist information) beneficial for multiple tasks such as music recommendation, genre classification and automatic-tagging. It is necessary to improve recommender systems through multidisciplinary research. Contributions like the ones presented in this thesis allow us to move a step forward in that direction, making streaming platforms more beneficial for both the artists and users.
Actualment les plataformes que ofereixen serveis de música en línia juguen un paper important en el consum de música i tenen una gran influència en les preferències musicals de les persones. Els sistemes de recomanació basats en aprenentatge automàtic són una part fonamental de les plataformes de música en línia, definint la música que escolten les persones en cada moment i lloc. A l'igual que en altres aplicacions d’aprenentatge automàtic, cada vegada és més discutit tant a nivell acadèmic, industrial i governamental els efectes que els sistemes de recomanació poden tenir en la societat i les implicacions ètiques d'aquests sistemes. Els biaixos dels sistemes de recomanació musical cap als elements més populars han estat estudiats extensivament. Aquest biaix afecta tant a artistes com a usuaris ja que redueix la possibilitat d'aconseguir una mínima exposició a una gran proporció del catàleg musical. Recentment, a l'àrea de sistemes de recomanació, s'ha reconegut la importància de considerar els interessos de tots els grups de persones involucrats quan es generen recomanacions. No obstant això, la majoria de la recerca relacionada amb sistemes de recomanació en el domini de la música s'ha enfocat només en la perspectiva dels usuaris. Aquesta tesi no es limita als problemes de biaix de popularitat sinó que també intenta descobrir altres dimensions en què els sistemes de recomanació afecten als artistes musicals i proposa solucions per mitigar aquests problemes. Les contribucions d'aquesta tesi són: (I) la identificació de múltiples aspectes en què les plataformes musicals i els seus sistemes de recomanació afecten els artistes i de quina manera podrien ser més beneficiosos en el futur; (II) l'anàlisi dels efectes d'algorismes de recomanació pel que fa a el balanç de gènere i una possible forma de mitigar aquests efectes basat en l'opinió dels artistes; (III) l'anàlisi de la influència a llarg termini en els usuaris generada per diversos algoritmes de recomanació basats en sessions que afecta negativament els artistes; (IV) definició d'un nou mètode basat en \textit{contrastive learning} per combinar múltiples modalitats (àudio, gènere musical i informació de \textit{playlists}) que aconsegueix millorar els resultats de diferents tasques com la recomnanació musical, la classificació de gènere musical i l'anotació automàtica de música. Per millorar els sistemes de recomanació és important realitzar més recerca multidisciplinària. Contribucions com les presentades en aquesta tesi permeten moure'ns en aquesta direcció, fent possible que les plataformes de musica online siguin més beneficioses per als artistes i els usuaris.
Actualmente las plataformas que ofrecen servicios de música online juegan un rol importante en el consumo de música y tienen una gran influencia en el gusto musical de las personas. Los sistemas de recomendación basados en aprendizaje automático son una parte fundamental de las plataformas de música online, definiendo la música que escuchan las personas en cada momento y lugar. Al igual que en otras aplicación de aprendizaje automático, cada vez es más discutido tanto a nivel académico, industrial y gubernamental los efectos que los sistemas de recomendación pueden tener en la sociedad y las implicancias éticas de dichos sistemas. Los sesgos de los sistemas de recomendación musical hacia los elementos más populares ha sido estudiado extensivamente. Este sesgo afecta tanto a artistas como usuarios ya que reduce la posibilidad de lograr una mínima exposición a una gran proporción del catálogo musical. Recientemente, en el área de sistemas de recomendación, se ha reconocido la importancia de considerar los intereses de todos los grupos de personas involucrados en el sistema cuando se generan recomendaciones. Sin embargo, la mayoría de la investigación relacionada a sistemas de recomendación en el dominio de la música se ha enfocado solamente en la perspectiva de los usuarios. Esta tesis no se limita al problema del sesgo de popularidad sino que intenta descubrir otras dimensiones en las que los sistema de recomendación afectan a los artistas musicales y propone soluciones para mitigar dichos problemas. Esta tesis realiza las siguientes contribuciones: (i) identificación de múltiples aspectos en los que las plataformas musicales y sus sistemas de recomendación afectan a los artistas y de qué manera podrían ser más beneficiosos en el futuro; (ii) análisis de los efectos de algoritmos de recomendación con respecto al balance de género e investigación de una posible forma de mitigar dichos efectos basado en la opinión de los artistas; (iii) análisis de la influencia a largo plazo en los usuarios generada por varios algoritmos de recomendación basados en sesiones afectando negativamente a los artistas; (iv) definición de un nuevo método basado en \textit{contrastive learning} para combinar múltiples modalidades (audio, género y \textit{playlists}) logrando un mejor desempeño en diferentes tareas como recomendación musical, clasificación de género y anotación de música. Para mejorar los sistemas de recomendación es importante realizar más investigación multidisciplinaria. Contribuciones como las presentadas en esta tesis permiten movernos en dicha dirección, haciendo posible que las plataformas de música online sean más beneficiosas para los artistas y los usuarios.
Music recommender systems; Music information retrieval; Ethics; Bias; Music artists; Fairness; Gender balance; Sistemas de recomendación musical; Recuperación de información musical; Ética; Sesgos; Artistas musicales; Balance de género
62 - Engineering