Modeling and reconstruction of 3D humans

Abstract

(English) Understanding humans in images has been a long-standing goal in Computer Vision. Recently, modelling and generation of virtual humans has become a popular area of research spurred by the success of deep learning, and motivated by the wide range of applications they would enable in AR/VR, fashion or the movie industry. However, obtaining and realistically representing avatars is a complex task, due to the complexity of body articulation and variance in appearance and clothing. Moreover, humans constantly interact with the environment, and modelling humans in interaction is necessary to fully comprehend our motion and actions, or naturally represent avatars in virtual scenes.

This thesis explores the problem of 3D human modeling and reconstruction from monocular RGB images. First, we propose a method to recover human pose and shape given images or pointclouds with the goal of obtaining precise body measures. While accurate models of the body are essential to obtain reconstructions with similar characteristics, so far they lack hair, clothing, and personal details. Therefore, we next reconstruct these properties considering both full body humans or hands. We conceive methods that enable control over the 3D reconstruction, making it easy to animate the resulting avatars, perform cloth editing or human relighting, given just a monocular image. We next analyze the effect of the environment in human modelling tasks and show that contextual information enhances human motion forecasting methods. Finally, we propose a new task, dataset and method to generate realistic human-object interactions on multi-object scenes. All methods have been extensively evaluated with real data.

In summary, in this thesis we propose a collection of tools for modelling and reconstruction of 3D humans, providing a step forward in the direction of creating both realistic and controllable avatars of full-body humans or human hands.

(Català) Entendre els humans en imatges és un dels objectius principals del camp de visió per ordenador. Recentment, el modelatge i la generació d'humans virtuals s'han convertit en una àrea popular d'investigació, estimulada per l'èxit de l'aprenentatge profund i motivada per l'àmplia gamma d'aplicacions que permetrien en AR/VR, moda o la indústria del cinema. No obstant, obtenir i representar avatars de manera realista és una tasca complexa, a causa de les articulacions del cos i la variació en l'aparença i la roba. A més, els humans interactuen constantment amb l'entorn, i modelar els humans en interacció és necessari per comprendre completament el nostre moviment i accions, o representar avatars en escenes virtuals.

Aquesta tesi explora el problema del modelatge humà en 3D i la reconstrucció a partir d'imatges RGB monoculars. En primer lloc, proposem un mètode per recuperar la forma humana donades imatges o núvols de punts, amb l'objectiu d'obtenir mesures corporals precises. Si bé els models del cos són essencials per obtenir reconstruccions amb característiques similars, normalment no tenen cabell, roba i detalls personals. Per tant, a continuació reconstruirem aquestes propietats tenint en compte tant els humans de cos complet com les mans. Concebem mètodes que permeten controlar la reconstrucció 3D, facilitant l'animació d'avatars, l'edició de roba o la reil·luminació donada només una imatge monocular. A continuació, analitzem l'efecte de l'entorn en les tasques anteriors i mostrem que la informació contextual millora els mètodes de predicció del moviment humà. Finalment, proposem una nova tasca, base de dades i mètode per generar interaccions humà-objecte realistes en escenes amb multiples objectes. Tots els mètodes s'han avaluat àmpliament amb dades reals.

En resum, en aquesta tesi proposem una col·lecció d'eines per al modelatge i reconstrucció d'humans en 3D, donant un pas endavant en la creació d'avatars tant realistes com controlables d'humans o mans humanes.