Semantic annotation of music collections: A computational approach

Abstract

El consum de la música ha canviat dràsticament en els últims anys. Amb l’arribada de la música digital, el cost de producció s’ha reduït considerablement. L’expansió de la Web ha ajudat a promoure l’exploració de molt més contingut musical. Algunes botigues musicals on-line, com iTunes o Amazon, posseeixen milions de cançons a les seves col.leccions. No obstant, accedir a aquestes col.leccions d’una manera eficient és encara un gran repte. En aquesta tesis ens centrem en el problema d’anotar col.leccions musicals amb paraules semàntiques, també conegudes com tags. Els mètodes utilitzats en aquesta tesi estan fonamentats sobre els camps de recuperació de la informació, l’inteligència artificial, i el procesament del senyal. Proposem un algorisme per anotar música automàticament, utilitzant similitud d’audio a nivell de contingut per propagar tags entre cançons. L’algorisme s’avalua extensament utilitzant múltiples col.leccions musicals de diferent mida i qualitat de les dades, incloent una col.lecció de més de mig milió de cançons, anotades amb tags socials derivats d’una comunitat musical. Avaluem la qualitat del nostre algorisme mitjançant una comparació amb algorismes de l’estat de l’art. Addicionalment, discutim la importància d’utilitzar mesures de avaluació que cobreixen diferents dimensions, és a dir, avaluacions a nivell de cançó i a nivell de tag. El nostre algorisme ha estat avaluat i s’ha classificat en altes posicions en el concurs d’avaluació internacional MIREX 2011. Els resultats obtinguts també demostren algunes limitacions de l’anotació automàtica, relacionades amb les inconsistències en les dades, la correlació de conceptes i la dificultat de capturar alguns tags personals amb informació del contingut. Això és més evident en les comunitats musicals, on els usuaris poden anotar cançons amb qualsevol paraula, sigui aquesta contextual o no. Per tal d’abordar aquestes limitacions, presentem un ampli estudi sobre la naturalesa de les folksonomies musicals. Concretament, estudiem si les anotacions fetes per una gran comunitat d’usuaris coincideixen amb un vocabulari més controlat i estructurat per part d’experts en el camp. Els resultats revelen que alguns tags estan clarament definits i compresos tant des del punt de vista dels experts com el de la saviesa popular, mentre que n’hi ha d’altres sobre els quals és difícil trobar un consens. Finalment, estenem el nostre previ treball a un ampli ventall de conceptes semàntics. Presentem un nou métode per a descobrir conceptes semàntics implícits en els tags socials, i classificar aquests tags pel que fa als conceptes semàntics. Les darreres troballes poden ajudar a entendre la naturalesa dels tags socials, i per tant ser beneficials per a una addicional millora de la anotació automàtica de la música.

Music consumption has changed drastically in the last few years. With the arrival of digital music, the cost of production has substantially dropped. The expansion of the World Wide Web has helped to promote the exploration of many more music content. Online stores, such as iTunes or Amazon, own music collections in the order of millions of songs. Accessing these large collections in an effective manner is still a big challenge. In this dissertation we focus on the problem of annotating music collections with semantic words, also called tags. The foundations of all the methods used in this dissertation are based on techniques from the fields of information retrieval, machine learning, and signal processing. We propose an automatic music annotation algorithm that uses content-based audio similarity to propagate tags among songs. The algorithm is evaluated extensively using multiple music collections of varying size and quality of the data, including a large music collection of more than a half million songs, annotated with social tags derived from a music community. We assess the quality of our proposed algorithm by comparing it with several state of the art approaches. We also discuss the importance of using evaluation measures that cover different dimensions; per– song and per–tag evaluation. Our proposal achieves state of the art results, and has ranked high in the MIREX 2011 evaluation campaign. The obtained results also show some limitations of automatic tagging, related to data inconsistencies, correlation of concepts and the difficulty to capture some personal tags with content information. This is more evident in music communites, where users can annotate songs with any free text word. In order to tackle these issues, we present an in-depth study of the nature of music folksonomies. We concretely study whether tag annotations made by a large community (i.e. a folksonomy) correspond with a more controlled, structured vocabulary by experts in the music and the psychology fields. Results reveal that some tags are clearly defined and understood both by the experts and the wisdom of crowds, while it is difficult to achieve a common consensus on the meaning of other tags. Finally, we extend our previous work to a wide range of semantic concepts. We present a novel way to uncover facets implicit in social tagging, and classify the tags with respect to these semantic facets. The latter findings can help to understand the nature of social tags, and thus be beneficial for further improvement of semantic tagging of music. Our findings have significant implications for music information retrieval systems that assist users to explore large music collections, digging for content they might like.

El consumo de la música ha cambiado drásticamente en los últimos años. Con la llegada de la música digital, el coste de producción se ha reducido considerablemente. La expansión de la Web ha ayudado a promover la exploración de mucho más contenido musical. Algunas tiendas musicales on-line, como iTunes o Amazon, poseen millones de canciones en sus colecciones. Sin embargo, acceder a estas colecciones de una manera eficiente es todavía un gran reto. En esta tesis nos centramos en el problema de anotar colecciones musicales con palabras semánticas, también conocidas como tags. Los métodos utilizados en esta tesis están cimentados sobre los campos de recuperación de la información, la inteligencia artifical, y el procesamiento del señal. Proponemos un algoritmo para anotar música automáticamente, usando similitud de audio a nivel de contenido para propagar tags entre canciones. El algoritmo se evalúa extensamente usando múltiples colecciones musicales de distinto tamaño y calidad de los datos, incluyendo una colección de más de medio millón de canciones, anotadas con tags sociales derivados de una comunidad musical. Evaluamos la calidad de nuestro algoritmo mediante una comparación con algoritmos del estado del arte. Adicionalmente, discutimos la importancia de usar medidas de evaluación que cubren diferentes dimensiones; es decir, evaluaciones a nivel de canción y a nivel de tag. Nuestro algoritmo ha sido evaluado y se clasificado en altas posiciones en el concurso de evaluación internacional MIREX 2011. Los resultados obtenidos también demuestran algunas limitaciones de la anotación automática, relacionadas con las inconsistencias en los datos, la correlación de conceptos y la dificultad de capturar algunos tags personales con información del contenido. Esto es más evidente en las comunidades musicales, donde los usuarios pueden anotar canciones con cualquier palabra, sea esta contextual o no. Con el fin de abordar estas limitaciones, presentamos un amplio estudio sobre la naturaleza de las folksonomías musicales. Concretamente, estudiamos si las anotaciones hechas por una gran comunidad de usuarios concuerdan con un vocabulario más controlado y estructurado por parte de expertos en el campo. Los resultados revelan que algunos tags están claramente definidos y comprendidos tanto desde el punto de vista de los expertos como el de la sabiduría popular, mientras que hay otros tags sobre los cuales es difícil encontrar un consenso. Por último, extendemos nuestro previo trabajo a un amplio abanico de conceptos semánticos. Presentamos un método novedoso para descubrir conceptos semánticos implícitos en los tags sociales, y clasificar dichos tags con respecto a los conceptos semánticos. Los últimos hallazgos pueden ayudar a entender la naturaleza de los tags sociales, y por consiguiente ser beneficiales para una adicional mejora para la anotación automática de la música.