Towards efficient audio-visual source separation and synthesis

Abstract

Nuestro cerebro tiene la habilidad innata de aislar diferentes sonidos en ambientes ruidosos (Efecto de fiesta de coctel), así como de entender la relación entre aquello que vemos y oímos. Esta tesis tiene como objetivo trasladar estas habilidades cognitivas, características de los humanos, a los ordenadores. De esta forma, se busca contribuir a la mejora de, por un lado, la separación de sonidos tanto en el ámbito de los discursos hablados, como en el de la música y la voz cantada; y por otro a la reconstrucción contextual de discursos hablados. Para ello exploramos representaciones alternativas de video y su idoneidad para las tareas antes mencionadas. En concreto, usamos marcadores faciales para desarrollar sistemas de separación de sonidos en tiempo real, ligeros y eficientes. Asimismo, utilizamos representaciones extraídas con aprendizaje profundo para llevar a cabo reconstrucción audiovisual del discurso hablado.

Our brain has the innate capability of isolating different sounds in noisy environments (the cocktail party problem), as well as understanding the relationship between what we see and what we hear. This thesis aims to bring these human cognitive skills to computers by contributing to the improvement of speech, singing voice and music sound source separation as well as speech inpainting. To do so, we explore new video representations and their suitability for the aforementioned tasks. We used face landmarks to develop real-time, lightweight and efficient source separation systems. Likewise, we used deep-learning embeddings to carry out speech inpainting.