From heuristics-based to data-driven audio melody extraction

dc.contributor
Universitat Pompeu Fabra. Departament de Tecnologies de la Informació i les Comunicacions
dc.contributor.author
Bosch Vicente, Juan José
dc.date.accessioned
2017-07-18T10:57:22Z
dc.date.available
2017-07-18T10:57:22Z
dc.date.issued
2017-06-27
dc.identifier.uri
http://hdl.handle.net/10803/404678
dc.description.abstract
The identification of the melody from a music recording is a relatively easy task for humans, but very challenging for computational systems. This task is known as "audio melody extraction", more formally defined as the automatic estimation of the pitch sequence of the melody directly from the audio signal of a polyphonic music recording. This thesis investigates the benefits of exploiting knowledge automatically derived from data for audio melody extraction, by combining digital signal processing and machine learning methods. We extend the scope of melody extraction research by working with a varied dataset and multiple definitions of melody. We first present an overview of the state of the art, and perform an evaluation focused on a novel symphonic music dataset. We then propose melody extraction methods based on a source-filter model and pitch contour characterisation and evaluate them on a wide range of music genres. Finally, we explore novel timbre, tonal and spatial features for contour characterisation, and propose a method for estimating multiple melodic lines. The combination of supervised and unsupervised approaches leads to advancements on melody extraction and shows a promising path for future research and applications.
en_US
dc.description.abstract
La identificación de la melodía en una grabación musical es una tarea relativamente fácil para seres humanos, pero muy difícil para sistemas computacionales. Esta tarea se conoce como "extracción de melodía", más formalmente definida como la estimación automática de la secuencia de alturas correspondientes a la melodía de una grabación de música polifónica. Esta tesis investiga los beneficios de utilizar conocimiento derivado automáticamente de datos para extracción de melodía, combinando procesado digital de la señal y métodos de aprendizaje automático. Ampliamos el alcance de la investigación en este campo, al trabajar con un conjunto de datos variado y múltiples definiciones de melodía. En primer lugar presentamos un extenso análisis comparativo del estado de la cuestión y realizamos una evaluación en un contexto de música sinfónica. A continuación, proponemos métodos de extracción de melodía basados en modelos de fuente-filtro y la caracterización de contornos tonales, y los evaluamos en varios géneros musicales. Finalmente, investigamos la caracterización de contornos con información de timbre, tonalidad y posición espacial, y proponemos un método para la estimación de múltiples líneas melódicas. La combinación de enfoques supervisados y no supervisados lleva a mejoras en la extracción de melodía y muestra un camino prometedor para futuras investigaciones y aplicaciones.
en_US
dc.format.extent
181 p.
en_US
dc.format.mimetype
application/pdf
dc.language.iso
eng
en_US
dc.publisher
Universitat Pompeu Fabra
dc.rights.license
L'accés als continguts d'aquesta tesi queda condicionat a l'acceptació de les condicions d'ús establertes per la següent llicència Creative Commons: http://creativecommons.org/licenses/by-nc-sa/4.0/
dc.rights.uri
http://creativecommons.org/licenses/by-nc-sa/4.0/
*
dc.source
TDX (Tesis Doctorals en Xarxa)
dc.subject
Melody
en_US
dc.subject
Extraction
en_US
dc.subject
Automatic
en_US
dc.subject
MIR
en_US
dc.subject
Music
en_US
dc.subject
Retrieval
en_US
dc.subject
Symphonic
en_US
dc.subject
Instrument
en_US
dc.subject
Agreement
en_US
dc.subject
Tonality
en_US
dc.subject
Timbre
en_US
dc.subject
Stereo
en_US
dc.subject
Source-filter
en_US
dc.subject
Separation
en_US
dc.subject
NMF
en_US
dc.subject
Visualisation
en_US
dc.subject
Evaluation
en_US
dc.subject
Dataset
en_US
dc.subject
Contour
en_US
dc.subject
Salience
en_US
dc.subject
Pitch
en_US
dc.subject
Supervised
en_US
dc.subject
Melodía
en_US
dc.subject
Automático
en_US
dc.subject
Extracción
en_US
dc.subject
Música
en_US
dc.subject
Sinfónico
en_US
dc.subject
Instrumento
en_US
dc.subject
Tonalidad
en_US
dc.subject
Estéreo
en_US
dc.subject
Fuente-filtro
en_US
dc.subject
Separación
en_US
dc.subject
Visualización
en_US
dc.subject
Evaluación
en_US
dc.subject
Datos
en_US
dc.subject
Contorno
en_US
dc.subject
Saliencia
en_US
dc.subject
Tono
en_US
dc.subject
Supervisado
en_US
dc.title
From heuristics-based to data-driven audio melody extraction
en_US
dc.type
info:eu-repo/semantics/doctoralThesis
dc.type
info:eu-repo/semantics/publishedVersion
dc.subject.udc
62
en_US
dc.contributor.authoremail
juan.bosch@upf.edu
en_US
dc.contributor.director
Gómez Gutiérrez, Emilia
dc.embargo.terms
cap
en_US
dc.rights.accessLevel
info:eu-repo/semantics/openAccess
dc.description.degree
Programa de doctorat en Tecnologies de la Informació i les Comunicacions


Documents

tjjbv.pdf

9.583Mb PDF

Aquest element apareix en la col·lecció o col·leccions següent(s)