Human Pose Analysis and Gesture Recognition from Depth Maps: Methods and Applications

Abstract

The visual analysis of humans is one of the most active research topics in Computer Vision. Several approaches for body pose recovery have been recently presented, allowing for better generalization of gesture recognition systems. The evaluation of human behaviour patterns in different environments has been a problem studied in social and cognitive sciences, but now it is raised as a challenging approach to computer science because of the complexity of data extraction and its analysis. The main difficulties of visual analysis in n RGB data is the discrimination of shapes, textures, background objects, changes in lighting conditions and viewpoint. In contrast to common RGB images used in Computer Vision, range images provide additional information about the 3-D world, allowing to capture the depth information of each pixel in the image. Furthermore, the use of depth maps is of increasing interest after the advent of cheap multisensor devices based on structured light, or Time of Flight (ToF) technology.

In this work we deal with the problem of analyzing human pose and motion in RGB-Depth images, and in particular: 1) human pose recovery, 2) hand pose description, and 3) gesture recognition. We will treated these three areas by using RGB-Depth data in order to take profit from visual representation and 3-D geometric information. Using both channels of information improves the efficiency of human pose and motion analysis methods. We also present efficient use of the proposed methods in real areas of application, such as eHealth and human computer interaction (HCI).

Principal objectives are establish the viability of depth map usage in human hand and body pose estimation and, in other hand, for gesture recognition. The presented research is also applied on real high impact applications

El análisis visual de personas es uno de los temas de investigación más activos en Visión Computacional. Varios enfoques para la recuperación de la postura corporal se han presentado recientemente, que permiten una mejor generalización de los sistemas de reconocimiento de gestos. La evaluación de los patrones de comportamiento humano en diferentes ambientes ha sido un problema de estudio en las ciencias sociales y cognitivas, pero actualmente se presenta como un reto para las ciencias informáticas, dada la complejidad de la extracción de datos y su análisis. Entre las principales dificultades del análisis visual de los datos n RGB está la discriminación de las formas, texturas, objetos de fondo, cambios en las condiciones de iluminación y puntos de vista. En contraste con las imágenes RGB comunes utilizadas en Visión Computacional, imágenes de rango aportan información adicional sobre mundo 3-D, lo que permite capturar la información de profundidad de cada pixel en la imagen.

Además, el uso de mapas de profundidad es de creciente interés después de la llegada de los dispositivos multisensor baratos basados en luz estructurada, o la tecnología de Tiempo de Vuelo (TOF, por sus siglas en inglés).

En este trabajo analizaremos el problema de la postura y el movimiento humano en imágenes RGB con profundidad, y en particular: 1) la actitud humana de recuperación de la postura, 2) descripción de posiciones de la mano, y 3) el reconocimiento de gestos. Vamos a tratar estas tres áreas mediante el uso de los datos RGB-Profundos con el fin de sacar provecho de la representación visual y la información geométrica en 3-D. El uso de los dos canales de información mejora la eficiencia de los métodos de análisis de movimiento y postura humanos. También presentamos un uso eficiente de los métodos propuestos en campos de aplicación real, como la salud y la interacción persona-ordenador (HCI).

Nuestros principales objetivos son establecer la viabilidad del uso de mapa de profundidad en la estimación de pose de la mano y el cuerpo humano y, por otro lado, para el reconocimiento de gestos. Adicionalmente se presenta el impacto de éstas en aplicaciones reales con alto impacto social.