Towards efficient audio-visual source separation and synthesis

Author

Montesinos García, Juan Felipe

Director

Haro Ortega, Gloria

Date of defense

2023-03-31

Pages

135 p.



Department/Institute

Universitat Pompeu Fabra. Departament de Tecnologies de la Informació i les Comunicacions

Doctorate programs

Programa de doctorat en Tecnologies de la Informació i les Comunicacions

Abstract

Nuestro cerebro tiene la habilidad innata de aislar diferentes sonidos en ambientes ruidosos (Efecto de fiesta de coctel), así como de entender la relación entre aquello que vemos y oímos. Esta tesis tiene como objetivo trasladar estas habilidades cognitivas, características de los humanos, a los ordenadores. De esta forma, se busca contribuir a la mejora de, por un lado, la separación de sonidos tanto en el ámbito de los discursos hablados, como en el de la música y la voz cantada; y por otro a la reconstrucción contextual de discursos hablados. Para ello exploramos representaciones alternativas de video y su idoneidad para las tareas antes mencionadas. En concreto, usamos marcadores faciales para desarrollar sistemas de separación de sonidos en tiempo real, ligeros y eficientes. Asimismo, utilizamos representaciones extraídas con aprendizaje profundo para llevar a cabo reconstrucción audiovisual del discurso hablado.


Our brain has the innate capability of isolating different sounds in noisy environments (the cocktail party problem), as well as understanding the relationship between what we see and what we hear. This thesis aims to bring these human cognitive skills to computers by contributing to the improvement of speech, singing voice and music sound source separation as well as speech inpainting. To do so, we explore new video representations and their suitability for the aforementioned tasks. We used face landmarks to develop real-time, lightweight and efficient source separation systems. Likewise, we used deep-learning embeddings to carry out speech inpainting.

Keywords

Audio-visual; Audiovisual; Multimodal; Speech inpainting; Source separation; Speech enhancement; Speech

Subjects

62 - Engineering

Documents

tjfmg.pdf

6.238Mb

 

Rights

L'accés als continguts d'aquesta tesi queda condicionat a l'acceptació de les condicions d'ús establertes per la següent llicència Creative Commons: http://creativecommons.org/licenses/by-nc/4.0/
L'accés als continguts d'aquesta tesi queda condicionat a l'acceptació de les condicions d'ús establertes per la següent llicència Creative Commons: http://creativecommons.org/licenses/by-nc/4.0/

This item appears in the following Collection(s)