Motion Priors for Efficient Bayesian Tracking In Iluman Sequence Evaluation

Abstract

La reconstrucció del moviment huma mitjançant l'analisi visual és una area de recerca de la visió per computador plena de reptes amb moltes aplicacions potencials. Els enfocs de seguiment basat en models, i en particular els fltres de partícules, formulen el problema com una tasca d'inferencia Bayesiana l'objectiu de la qual és estimar seqüencialment la distribució sobre els parametres d'un model del cos huma al llarg del temps. Aquests enfocs depenen en gran mesuta d'emprar bons models dinamics i d'observació per tal de predir i actualitzar les confguracions del cos huma en base a mesures extretes de les dades d'imatge. No obstant, resulta molt difícil dissenyar models d'observació, i en especial pel cas de seguiment a partir d'una sola vista, que siguin capaços d'extreure informació útil de les seqüencies d'imatges de manera robusta. Per tant, per tal de superar aquestes limitacions és necessari emprar un fort coneixement a priori sobre el moviment huma i guiar així l'exploració de l'espai d'estats. <br/>El treball presentat en aquesta Tesis esta enfocat a recuperar els parametres de moviment 3D d'un model del cos huma a partir de mesures incompletes i sorolloses d'una seqüencia d'imatges monocular. Aquestes mesures consisteixen en les posicions 2D d'un conjunt redult d'articulacions en el pla d'imatge. Amb aquesta fnalitat, proposem un nou model de moviment huma específc per cada acció, que és entrenat a partir de bases de dades de captures de moviment que contenen varies execucions d'una acció en particular, i que és utilitzat com a coneixement a priori en un esquema de fltratge de partícules. <br/>Les postures del cos es representen emprant un model articulat simple i compacte que fa ús dels cosinus directors per tal de representar la direcció de les parts del cos en l'espai Cartesia 3D. Llavors, donada una acció, s'aplica l'Analisis de Components Principals (PCA) sobre les dades d'entrenament per tal d'aplicar reducció de dimensionalitat sobre les dades d'entrada altament correlacionades. Previament al pas d'entrenament del model d'acció, les seqüencies de moviment d'entrada són sincronitzades mitjançant un nou algoritme d'adaptació dens basat en Programació Dinamica. L'algoritme sincronitza totes les seqüencies de moviment d'una mateixa classe d'acció i és capa¡ de trobar una solució óptima en temps real. <br/>Aleshores, s'apren un model d'acció probabilístic a partir dels exemples de movi¬ment sincronitzats que captura la variabilitat i l'evolució temporal del moviment del cos sencer durant una acció concreta. En particular, per cada acció, els parametres apresos són: una varietat representativa de l'acció que consisteix en l'execució mitjana de la mateixa, la desviació estandard de l'execució mitjana, els vectors de direcció mitjans de cada subseqüencia de moviment d'una llargada donada i l'error esperat en un instant de temps donat. <br/>A continuació, s'utilitza el model específc per cada acció com a coneixement a priori sobre moviment huma que millora l'efciencia i robustesa de tot l'enfoc de seguiment basat en fltratge de partícules. En primer lloc, el model dinamic guia les partícules segons situacions similars apreses previament. A continuació, es restringeix l'espai d'estats per tal que tan sols les postures humanes més factibles siguin acceptades com a solucions valides a cada instant de temps. En conseqüencia, l'espai d'estats és explorat de manera més efcient ja que el conjunt de partícules cobreix les postures del cos més probables. <br/>Finalment, es duen a terme experiments emprant seqüencies de test de varies bases de dades. Els resultats assenyalen que el nostre esquema de seguiment és capa d'estimar la confguració 3D aproximada d'un model de cos sencer, a partir tan sols de les posicions 2D d'un conjunt redult d'articulacions. També s'inclouen proves separades sobre el metode de sincronització de seqüencies i de la tecnica de comparació probabilística de les subseqüencies de moviment.

Recovering human motion by visual analysis is a challenging computer vision research area with a lot of potential applications. Model based tracking approaches, and in particular particle flters, formulate the problem as a Bayesian inference task whose aim is to sequentially estimate the distribution of the parameters of a human body model over time. These approaches strongly rely on good dynamical and observation models to predict and update confgurations of the human body according to mea surements from the image data. However, it is very difcult to design observation models which extract useful and reliable information from image sequences robustly. This results specially challenging in monocular tracking given that only one viewpoint from the scene is available. Therefore, to overcome these limitations strong motion priors are needed to guide the exploration of the state space. <br/>The work presented in this Thesis is aimed to retrieve the 3D motion parameters of a human body model from incomplete and noisy measurements of a monocular image sequence. These measurements consist of the 2D positions of a reduced set of joints in the image plane. Towards this end, we present a novel action specifc model of human motion which is trained from several databases of real motion captured performances of an action, and is used as a priori knowledge within a particle fltering scheme. <br/>Body postures are represented by means of a simple and compact stick fgure model which uses direction cosines to represent the direction of body limbs in the 3D Cartesian space. Then, for a given action, Principal Component Analysis is applied to the training data to perform dimensionality reduction over the highly correlated input data. Before the learning stage of the action model, the input motion performances are synchronized by means of a novel dense matching algorithm based on Dynamic Programming. The algorithm synchronizes all the motion sequences of the same action class, fnding an optimal solution in real time. <br/>Then, a probabilistic action model is learnt, based on the synchronized motion examples, which captures the variability and temporal evolution of full body motion within a specifc action. In particular, for each action, the parameters learnt are: a representative manifold for the action consisting of its mean performance, the stan dard deviation from the mean performance, the mean observed direction vectors from each motion subsequence of a given length and the expected error at a given time instant. <br/>Subsequently, the action specifc model is used as a priori knowledge on human motion which improves the efciency and robustness of the overall particle fltering tracking framework. First, the dynamic model guides the particles according to similar situations previously learnt. Then, the state space is constrained so only feasible human postures are accepted as valid solutions at each time step. As a result, the state space is explored more efciently as the particle set covers the most probable body postures. <br/>Finally, experiments are carried out using test sequences from several motion databases. Results point out that our tracker scheme is able to estimate the rough 3D confguration of a full body model providing only the 2D positions of a reduced set of joints. Separate tests on the sequence synchronization method and the subsequence probabilistic matching technique are also provided. <br/>Keywords: Human Motion Modeling; Particle fltering; Monocular Full Body 3D Tracking. <br/>Topics: Image Processing; Computer Vision; Scene Understanding; Machine Intelligence; Machine Vision Applications; Video-Sequence Evaluation