Visualization of Affect in Faces based on Context Appraisal

Abstract

Virtual Characters are more than avatars capable of expressing emotions and interact with the users. Virtual Characters should be seen as a very reliable representation of a human being, capable of expressing all the possible affective traits after the appraisal and evaluation of what is happening around and inside them. They should feel and express what they are feeling; they should convince you they are “real”. To achieve this level of believability several researchers have proposed different computational and affective models, as well as graphical techniques to simulate expressions, gestures, behavior or voice. All this state of art has provided us with sufficient data and information to see what else needs to be done. As a result, we propose a contextual and affective framework that allows the generation of the context that surrounds the character as well as the simulation of its psychological characteristics like preferences, standards, personality, or admiration for other agents. Moreover, the framework proposes novel and implementation independent techniques for the visualization of emotions and mood. Through experimentation we come up with a set of head-position/eye-gaze configurations that are perceived as certain personality traits, we validate the generation of expressions for moods, and assessed the feasibility of the context generation through movie scenes, which translated into our system, triggered the same emotions and elicit the same facial expressions as in the movie. This research is a step forward in the creation of more believable virtual characters, by pointing out other elements that should be considered when creating characters that can be used in affective HCI applications, storytelling, or virtual worlds for entertainment (e.g. Videogames) or for therapies (e.g. in therapies with autistic children).

Hablar de personajes virtuales implica hablar de mucho más que avatares capaces de expresar emociones e interactuar con los usuarios. Los personajes virtuales deberían ser vistos como una representación fidedigna de los seres humanos, capaces de expresar un amplio rango de rasgos afectivos después de haber analizado y evaluado qué ocurre fuera y dentro de ellos. Deben sentir y expresar lo que sienten de tal forma que logren convencer que son reales. Para alcanzar este nivel de credibilidad gran cantidad de investigadores han propuesto diferentes modelos afectivos y computacionales, así como técnicas en gráficos para simular expresiones, gestos, comportamientos y voz. Todo este trabajo previo nos ha permitido obtener suficientes datos para analizar qué más se puede hacer en esta área. Como resultado, proponemos una metodología que permite la generación automática del contexto que rodea al personaje, así como la simulación de sus características psicológicas como preferencias, estándares, personalidad, o admiración por otros agentes. Más aún, se presentan novedosos algoritmos independientes de la implementación para la visualización de emociones y humor. Mediante experimentos y test que miden el grado de percepción en los usuarios asociamos un conjunto de configuraciones “orientación de la cabeza/dirección de la mirada” a rasgos de personalidad, y validamos el método para generar expresiones de humor. También evaluamos la habilidad de la generación de contexto usando escenas de películas, obteniendo el mismo set de emociones y expresiones faciales que en dichas películas. Finalmente, cabe destacar que este trabajo de investigación es un paso hacia adelante en la creación de personajes más creíbles, ya que indica qué elementos deberían tomarse en cuenta al momento de crear personajes virtuales que puedan ser usados en aplicaciones Interacción persona-ordenador, cuentacuentos, o mundos virtuales destinados al entretenimiento (videojuegos) o fines médicos (terapias con niños autistas)