Connecting time and timbre: computational methods for generative rhythmic loops in symbolic and signal domains

Abstract

The practice of music composition often stems from a small idea or motif that blossoms into a complete work through careful application of repetition, variation and a dash of inspiration. In the highly rhythmic and repetitive strain of music that is electronic dance, this motif is the fundamental building block known as the loop, and is accorded greater importance than any other style. While other genres can depend upon long-established rules governing things like harmonic structure and form, many dance tracks do not stray far from its fundamental central theme in the traditional sense. Rather, the craft of this unique music is revealed through complex, layering arrangements of timbre and intensity arising from the liberal application of rhythmic activity and sonic effects.

This dissertation explores computational methods for generating and varying that rhythmic activity that is so pivotal in composing effective loops. We begin the journey in the symbolic domain, and draw upon a wealth of historical methods for algorithmic composition coupled with the state of the art in rhythmic similarity perception to build GenDrum, an intelligent drum machine using genetic algorithms. Our listener survey reveals the validity of the approach, but we question the general adroitness of purely symbolic means in capturing the acute essence of timbre.

Modern approaches to composing electronic music are distinguished by the liberal use of sampling and appropriation of existing sounds as well as the design of purely synthesised new sounds. Concatenative synthesis applies high-level rules and criteria that seek to combine phrases of sounds together in a more intelligent and systematic manner. It is a content-based approach that uses music information retrieval research to work directly with audio and its latent encoding of multidimensional spectral and timbral character.

In the second contribution of the thesis we examine the relevance and application of concatenative synthesis in the specific context of electronic dance music production. We present a comprehensive review of key works in the area of concatenative synthesis and summarise the algorithmic underpinnings that tend to drive these systems. PyConcat, a research oriented synthesis framework, is offered to encapsulate many of the key approaches along with some novel improvements to the field and state of the art in the area of timbral feature choice as well as unit selection with Hidden Markov Models.

But, above all, the concern remains with the implications of designing concatenative systems that consider the needs of the user and the place of such systems in their existing composition and production workflows. The final contribution of the thesis delivers RhythmCAT, a visually appealing virtual instrument plugin with a unique interaction metaphor for exploring concatenative synthesis in a practical, user-friendly manner. This focus on the user implications of concatenative synthesis leads naturally to the question of evaluation: not only in our system but also the wider ecosystem of generative and creative computational agents. Another evaluation methodology is proposed that expands on the one conducted in the symbolic domain and the results are presented and discussed in detail. The thesis concludes with our critical impressions of the work presented and the possible directions for future study

La práctica de la composición musical parte a menudo de una pequeña idea o motivo que florece en una obra completa mediante una cuidadosa aplicación de la repetición, variación y una pizca de inspiración. En música electrónica de baile (que es altamente repetitiva y basada en el ritmo), dicho motivo, conocido como loop es su componente fundamental, y adquiere una importancia mayor que en cualquier otro estilo. Mientras otros géneros pueden depender de reglas establecidas para regir la estructura armónica y la forma, las piezas de música electrónica de baile no se alejan mucho de su motivo central fundamental en un sentido tradicional. Esta característica música se elabora a través de complejos arreglos de capas de timbres e intensidad que surgen a partir de una aplicación libre de la actividad rítmica y de efectos de sonido.

Esta tesis explora métodos computacionales para la generación y variación de la actividad rítmica, que es un pieza clave en la composición de loops efectivos. Comenzamos en el dominio simbólico, basándonos en múltiples métodos clásicos de composición algorítmica y en el conocimiento más avanzado sobre percepción de similitud rítmica, para construir GenDrum, una caja de ritmos inteligente basada en algoritmos genéticos. Una evaluación con oyentes demuestra que es un enfoque válido, pero nos cuestionamos la habilidad de métodos puramente simbólicos para capturar la esencia del timbre.

Los métodos más modernos de composición de música electrónica se distinguen por un uso liberal del sampleado y de la apropiación de sonidos preexistentes, así como del diseño de nuevos sonidos puramente sintetizados. La síntesis concatenativa aplica reglas de alto nivel y criterios que intentan combinar frases de sonidos de una manera más inteligente y sistemática. Este enfoque basado en contenido utiliza la investigación en recuperación de información musical para trabajar directamente con audio y con una codificación latente y multidimensional del espectro y de las características tímbricos.

Como segunda contribución de esta tesis, examinamos la relevancia y aplicación de la síntesis concatenativa para producción de música electrónica de baile. Presentamos una revisión exhaustiva de trabajos clave en el área de la síntesis concatenativa y resumimos los fundamentos algorítmicos en los que se suelen basar estos sistemas. PyConcat, un entorno para síntesis orientado a la investigación, encapsula muchos de los métodos más importantes junto con algunas mejoras para la selección de características tímbricas, y para la selección de unidades con Modelos Ocultos de Markov.

Pero, especialmente, siguen siendo clave las implicaciones al considerar las necesidades de los usuarios en el diseño de sistemas concatenativos y el lugar que estos ocupan en sus procesos compositivos y de producción. La contribución final de la tesis es RhythmCAT, un instrumento virtual visualmente atractivo y con una metáfora de interacción única para la exploración de la síntesis concatenativa de una manera práctica y fácil de usar. Este énfasis en las implicaciones del usuario de la síntesis concatenativa lleva naturalmente a la cuestión de la evaluación, tanto en nuestro sistema como en el amplio ecosistema de agentes computacionales generativos y creativos. Proponemos otra metodología de evaluación que amplía la realizada en el dominio simbólico, y discutimos los resultados en detalle. Finalmente, presentamos las conclusiones sobre nuestro trabajo y posibles direcciones para trabajos futuros.