Lifelike Humans: Detailed Reconstruction of Expressive Human Faces

Abstract

El desenvolupament de personatges digitals semblants a les persones és una

tasca difícil, ja que els humans estem acostumats a reconèixer-nos entre nosaltres i

trobar els CGI poc humanitzats. Per complir els estàndards de les produccions de

videojocs i pel·lícules digitals és necessari modelar i animar aquests personatges el

més proper als éssers humans. Tanmateix, és una tasca difícil i cara, ja que requereix

molts artistes i especialistes treballant en un sol personatge. Per tant, per complir

aquests requisits, trobem la creació automàtica de cares detallades mitjançant setups

de baix cost una opció interessant per estudiar. En aquest treball, desenvolupem

tècniques noves per aconseguir cares detallades combinant diferents aspectes que

destaquen a l’hora de desenvolupar personatges realistes, detalls de la pell, pèls i

expressions facials i microexpressions. Examinem cadascuna de les àrees esmentades

amb l’objectiu de recuperar-les automàticament sense interacció de l’usuari ni dades

de aprenentatge. Estudiem els problemes buscant la seva robustesa, però també la

simplicitat de la configuració, preferint solucions basades en una sola imatge amb

il·luminació incontrolada i mètodes que es poden calcular fàcilment amb un ordinador

portàtil estàndard. Una cara detallada amb arrugues i detalls de la pell és vital per

desenvolupar un personatge realista. En aquest treball, introduïm el nostre mètode

per descriure automàticament les arrugues facials de la imatge i transferir-les a la cara

base recuperada. A continuació, avancem a la recuperació del cabell facial mitjançant

la resolució d’un problema de parametrització amb un nou model de cabell facial.

Per últim, desenvolupem una funció de mapatge que permet transferir expressions i

microexpressions entre diferents malles facials, que proporciona animacions realistes a

la nostra cara detallada. Cobrim tots els punts esmentats parant atenció als aspectes clau

com (i) com descriure les arrugues facials d’una manera senzilla, (ii) com recuperar

3D a partir de deteccions 2D, (iii) com recuperar i modelar el cabell facial a partir de

2D a 3D, (iv) com transferir expressions entre models amb detalls de la pell i cabells

facials, (v) com realitzar totes les accions descrites sense dades d’aprenentatge ni

interacció de l’usuari. En aquest treball, presentem les nostres propostes per resoldre

aquests aspectes amb una configuració eficient i senzilla. Validem el nostre treball amb

diversos conjunts de dades tant sintètiques com reals, obtenint resultats remarcables

fins i tot en casos tan difícils com oclusions per ulleres, barbes denses, inclús treballant

amb diferents topologies facials com ciclops d’un sol ull.

Desarrollar personajes digitales similares a los humanos es un reto, ya que

los humanos estamos acostumbrados a reconocernos entre nosotros y a encontrar

a los CGI poco humanos. Para cumplir con los estándares de las producciones de

videojuegos y películas digitales, es necesario modelar y animar a estos personajes

de la manera más parecida posible a los humanos. Sin embargo, es una tarea ardua

y costosa, ya que se requiere a muchos artistas y especialistas trabajando en un solo

personaje. Por lo tanto, para cumplir con estos requisitos, encontramos la creación

automática de CGIs detallados a través de setups económicos una opción interesante

para estudiar. En este trabajo, desarrollamos técnicas novedosas para conseguir

personajes detallados combinando diferentes aspectos que se destacan al desarrollar

el realismo como detalles de la piel, pelos faciales, expresiones y microexpresiones.

Examinamos cada una de las áreas mencionadas con el objetivo de recuperar cada una

de las partes automáticamente sin interacción del usuario ni datos para el aprendizaje.

Estudiamos los problemas buscando su robustez, pero también la simplicidad de la

configuración, prefiriendo soluciones que requieren una sola imagen con iluminación

no controlada y cálculos que pueden obtenerse con la comodidad de un ordenador

portátil estándar. Una cara detallada con arrugas y detalles de la piel es vital para

desarrollar un personaje realista. En este trabajo, presentamos nuestro método para

describir automáticamente las arrugas faciales en la imagen y transferirlas a la cara

base recuperada. Luego proponemos la recuperación del vello facial resolviendo un

problema de ajuste de parámetros con un nuevo modelo de vello facial parametrizable.

Por último, introducimos una función de mapeo que permite transferir expresiones y

microexpresiones entre diferentes mallas, lo que proporciona animaciones realistas

a nuestra cara detallada. Cubrimos todos los puntos mencionados con el enfoque

puesto en aspectos clave como (i) cómo describir las arrugas faciales de una manera

simple y directa, (ii) cómo recuperar 3D a partir de las detecciones 2D, (iii) cómo

recuperar y modelar el vello facial de 2D a 3D, (iv) cómo transferir expresiones entre

modelos que contienen tanto el detalle de la piel como el vello facial, (v) cómo realizar

todas las acciones descritas sin datos de entrenamiento ni interacción del usuario.

En este trabajo, presentamos nuestras propuestas para resolver estos aspectos con

una configuración eficiente y simple. Validamos nuestro trabajo con varios conjuntos

de datos, tanto sintéticos como reales, demostrando resultados notables incluso en

casos desafiantes como oclusiones por gafas, barbas densas y, incluso, trabajando con

diferentes topologías faciales como cíclopes de un solo ojo.

Developing human-like digital characters is a challenging task since humans are used

to recognizing our fellows, and find the computed generated characters inadequately

humanized. To fulfill the standards of the videogame and digital film productions it is

necessary to model and animate these characters the most closely to human beings.

However, it is an arduous and expensive task, since many artists and specialists are

required to work in a single character. Therefore, to fulfill these requirements we found

an interesting option to study the automatic creation of detailed characters through

inexpensive setups. In this work, we develop novel techniques to bring detailed

characters by combining different aspects that stand out when developing realistic

characters, skin detail, facial hairs, expressions, and microexpressions. We examine

each of the mentioned areas with the aim of automatically recover each of the parts

without user interaction nor training data. We study the problems for their robustness

but also for the simplicity of the setup, preferring single-image with uncontrolled

illumination and methods that can be easily computed with the commodity of a

standard laptop. A detailed face with wrinkles and skin details is vital to develop a

realistic character. In this work, we introduce our method to automatically describe

facial wrinkles on the image and transfer to the recovered base face. Then we advance

to the facial hair recovery by resolving a fitting problem with a novel parametrization

model. As of last, we develop a mapping function that allows transfer expressions and

microexpressions between different meshes, which provides realistic animations to

our detailed mesh. We cover all the mentioned points with the focus on key aspects

as (i) how to describe skin wrinkles in a simple and straightforward manner, (ii) how

to recover 3D from 2D detections, (iii) how to recover and model facial hair from

2D to 3D, (iv) how to transfer expressions between models holding both skin detail

and facial hair, (v) how to perform all the described actions without training data

nor user interaction. In this work, we present our proposals to solve these aspects

with an efficient and simple setup. We validate our work with several datasets both

synthetic and real data, prooving remarkable results even in challenging cases as

occlusions as glasses, thick beards, and indeed working with different face topologies

like single-eyed cyclops.