Computational modelling of expressive music performance in jazz guitar: a machine learning approach

Abstract

Computational modelling of expressive music performance deals with the analysis and characterization of performance deviations from the score that a musician may introduce when playing a piece in order to add expression. Most of the work in expressive performance analysis has focused on expressive duration and energy transformations, and has been mainly conducted in the context of classical piano music. However, relatively little work has been dedicated to study expression in popular music where expressive performance involves other kinds of transformations. For instance in jazz music, ornamentation is an important part of expressive performance but is seldom indicated in the score, i.e. it is up to the interpreter to decide how to ornament a piece based on the melodic, harmonic and rhythmic contexts, as well as on his/her musical background. In this dissertation we present an investigation in the computational modelling of expressive music performance in jazz music, using the guitar as a case study. High-level features are extracted from the scores, and performance data is obtained from the corresponding audio recordings from which a set of performance actions are obtained semi automatically (including timing/energy deviations, and ornamentations). After each note is characterized by its musical context description, several machine learning techniques are explored to, on one hand, induce regression models for timing, onset and dynamics transformations, and classification models for ornamentation to render expressive performances of new pieces, and, on the other hand, learn expressive performance rules to analyse its musical meaning. Finally. we report on the relative importance of the considered features, quantitatively evaluate the accuracy of the induced models, and discuss some of the learnt expressive performance rules. Moreover, we present different approaches for semi-automatic data extraction-analysis, as well as, some applications in other research fields. The findings, methods, data extracted, and libraries developed for this work are a contribution to expressive music performance field, as well to other related fields.

El modelado computacional de la expresividad en la interpretación musical trata sobre el análisis y la caracterización de las desviaciones que, con respecto a la partitura, los músicos introducen cuando interpretan una pieza musical para añadir expresividad. La mayoría del trabajo en análisis de la expresividad musical hace énfasis en la manipulación de la duración y el volumen de las notas, y ha sido principalmente estudiada en en el contexto de piano clásico. Sin embargo, muy poco esfuerzo ha sido dedicado al estudio de la expresividad en música popular. Concretamente, en música jazz acciones expresivas como los ornamentos son una parte importante de la expresividad musical ya que estos no están indicados en la partitura y es tarea del músico hacer uso de los mismos añadiendo o substituyendo notas en la partitura. Los músicos añaden ornamentos teniendo en cuenta el contexto melódico, armónico o rítmico del tema, o bien según su experiencia en el lenguaje jazzístico. En este trabajo, presentamos una investigación en el modelado computacional de la expresividad musical en música jazz, tomando la guitarra eléctrica como caso de estudio. En primer lugar, extraemos descriptores de alto nivel de las partituras y obtenemos datos de la ejecución a partir de las correspondientes grabaciones de audio, de donde obtenemos semiautomáticamente la desviaciones temporales y de energía de cada nota, así como la detección de ornamentos. Después de que cada nota ha sido caracterizada por su contexto musical, varios algoritmos de aprendizaje automático son explorados para, de un lado, inducir modelos de regresión para duración, comienzo de nota y volumen, y modelos de clasificación para ornamentos para, finalmente, renderizar ejecuciones musicales expresivas. Por otra parte, aplicamos técnicas de inducción automática de reglas al conjunto de descriptores obtenidos para obtener reglas de ejecución musical analizando su sentido musical. Por ultimo, analizamos la importancia relativa de los descriptores considerados, cuantitativamente evaluamos la exactitud de los modelos y discutimos acerca de las reglas obtenidas. Igualmente, reportamos métodos para la extracción-análisis semi-automático de datos, asi como aplicaciones en otros campos de investigación. Los resultados, los métodos presentados, así como los datos extraídos y las librerías de código generadas para llevar a cabo esta investigación constituyen un aporte relevante en el campo de estudio computacional de la expresividad musical, así como en otras áreas de investigación relacionadas.

El modelatge computacional de l'expressivitat en la interpretació musical, tracta sobre l'anàlisi i la caracterització de les desviacions que els músics introdueixen quan interpreten una peça musical, per afegir expressivitat, respecte la partitura. La major part del treball en anàlisi de l'expressivitat musical fa èmfasi en la manipulació de la durada i el volum de les notes. La majoria dels estudis s'han fet en el context de piano clàssic i molt poc esforç ha estat dedicat a la música popular. Concretament, en música jazz, accions expressives com els ornaments, són una part important de l'expressivitat musical; Tot i no estar indicats en la partitura, és tasca del músic fer ús dls ornaments, afegir o substituir notes en la partitura, tot tenint en compte el context melòdic, harmònic o rítmic del tema, o bé segons la seva experiència en el llenguatge jazzístic. En aquest treball, presentem una recerca en el modelatge computacional de l'expressivitat musical en música jazz, prenent la guitarra elèctrica com a cas d'estudi. En primer lloc, extraiem descriptors d'alt nivell de les partitures i obtenim dades de l'execució a partir dels corresponents enregistraments d'àudio, d'on també obtenim semiautomáticament les desviacions temporals i d'energia de cada nota així com la detecció d'ornaments. Després que cada nota hagi sigut caracteritzada pel seu context musical, diversos algoritmes d'aprenentatge automàtic són explorats per a diferents fins. D'un costat, induir models de regressió per a la durada, el començament de nota i el volum, i models de classificació per a ornaments per, finalment, renderitzar execucions musicals expressives. D'altra banda, apliquem tècniques d'inducció automàtica de regles al conjunt de descriptors obtinguts, per obtenir regles d'execució musical analitzant les seves implicacions musicals. Per últim, analitzem la importància relativa dels descriptors considerats, quantitativament avaluem l'exactitud dels models i discutim sobre les regles obtingudes. Igualment, reportem mètodes per a l'extracció-anàlisi semi-automàtic de dades, així com a aplicacions en altres camps de recerca. Els resultats, els mètodes presentats, així com les dades extretes i les llibreries de codi generades per dur a terme aquesta recerca, constitueixen una aportació rellevant en el camp d'estudi computacional de l'expressivitat musical i en altres àrees de recerca relacionades.