Towards Efficient and Realistic Animation of 3D Garments with Deep Learning

Abstract

[eng] Machine learning has experienced a soar thanks to the proliferation of deep learning based methodologies. 3D vision is one of the many fields that benefited from this trend. Within this domain, I focused my research on human-centric scenarios. As a starting point, I begin with a 3D human pose and shape reconstruction approach from still images. Relying on a powerful CNN and a novel inverse graphics solution, I define the steps to predict volumetric humans as 3D meshes. As a natural extension, I turn my attention to the modelling of 3D garments for complete human representation. Deep learning models require huge volumes of data. For this reason, next, I explain my work developing the biggest 3D garment dataset, CLOTH3D. This was motivated by the lack of such data for the study of cloth on humans. Additionally, in the same context, I describe a baseline model for 3D garment generation trained on CLOTH3D. After identification of the major drawbacks of the baseline model, I introduce a novel solution for the garment animation problem. Deep learning models usually require data with a fixed dimensionality. Related works proposed expensive data pre-processings to make data uniform, albeit diminishing the quality, among other issues. By focusing purely in garment animation, I designed a fully-convolutional model that does not suffer from the aforementioned problem. This new model can animate even completely unseen outfits. Nonetheless, cloth animation is a tremendously complex problem. In practice, deep models which encode multiple garments end up showing poor quality. Moreover, I noted significant drawbacks in supervised learning schemes for garments. Motivated by these observations, I devised a novel technique that allows unsupervised training for the 3D garment animation task. As a consequence, this methodology leads to smaller, more robust models that can be obtained in a matter of minutes. Furthermore, it shows an unprecedented level of performance. Because of this, it became the first viable option for deep-based real-time garment animation in real life applications. Nonetheless, it is a quasi-static approach. Cloth dynamics are crucial for proper garment animation. Finally, the last of my contributions describes how to learn cloth dynamics unsupervisedly, making the solution for garment animation complete. Additionally, I establish the bases of this new unsupervised neural garment animation framework.

[spa] El aprendizaje automático ha experimentado un auge gracias a el aprendizaje profundo. La visión 3D es uno de los muchos campos que se beneficiaron de esta tendencia. Como punto de partida, empiezo esta tesis en la reconstrucción de humanos en 3D a partir de imágenes fijas. Combinando una CNN y una novedosa solución de gráficos inversos, defino los pasos para predecir humanos volumétricos como mallas 3D. En el próximo paso, dirijo mi atención al modelado de prendas en 3D para una representación humana completa. Los modelos de aprendizaje profundo requieren grandes volúmenes de datos. Por esta razón, explico mi trabajo desarrollando el mayor conjunto de datos de prendas 3D, CLOTH3D. Además, describo un modelo de referencia para la generación de prendas 3D entrenado en CLOTH3D. Después de identificar los principales inconvenientes del modelo, presento una solución novedosa para el problema de la animación de prendas. Los modelos de aprendizaje profundo generalmente requieren datos con una dimensionalidad fija. Trabajos relacionados propusieron costosos preprocesamientos de datos para uniformizarlos, disminuyendo la calidad, entre otros inconvenientes. Centrándome únicamente en la animación de prendas, diseñé un modelo totalmente convolucional que no sufre el problema antes mencionado. Este nuevo modelo puede animar incluso atuendos completamente nuevos. No obstante, la animación de telas es un problema tremendamente complejo. Los modelos profundos que codifican múltiples prendas terminan mostrando una calidad inferior. Además, noté inconvenientes significativos en los esquemas de aprendizaje supervisado para prendas de vestir. Motivado por estas observaciones, ideé una técnica novedosa que permite el entrenamiento sin supervisión para la tarea de animación de prendas en 3D. Como consecuencia, esta metodología conduce a modelos más pequeños y robustos que se pueden obtener en cuestión de minutos. Además, muestra un nivel de rendimiento sin precedentes. Debido a esto, se convirtió en la primera opción viable para la animación profunda de prendas en aplicaciones reales. No obstante, es un enfoque estático. La dinámica de la tela es crucial para la animación adecuada de la prenda. Finalmente, la última de mis contribuciones describe cómo aprender dinámicas de telas sin supervisión, completando la solución para la animación de prendas.