Scene modelling for vision-based interactive systems in rehabilitation contexts

Abstract

The aim of this thesis is to improve vision-based interaction in rehabilitation systems. We defined and evaluated a new method of modelling scenes in the RGBD space in order to generalize the use of this kind of systems in real environments. This process has been conducted through the design and development of a vision-based interactive system in a context of rehabilitation application. We first defined a vision-based interaction system, then we developed a motivational video game. After first testing, therapists concluded that the system implemented the balance rehabilitation therapy. Preliminary results showed that users performed the rehabilitation activity in 13.5 % less time. Using the presented video game, no users have abandoned and they showed interested in continuing the rehabilitation process. We also designed an experiment in order to test the feasibility and benefit of including the mirror feedback mechanism in vision-based rehabilitation systems, because during the system development we noticed that users could not match their movements with what they saw on the screen. We define mirror feedback as the visual representation of the users inside the application as the interaction feedback. Results confirmed that in case of people with disabilities the mirror feedback facilitates the interaction. Finally, we clinically evaluate the designed system. The evaluation consisted on a 24-week physiotherapy intervention program conducted with 9 adults from a cerebral palsy center who exercised weekly in 20-minute sessions. Findings demonstrated a significant increase in balance and gait function scores resulting in indicators of greater independence for our participating adults. Scores improved from 16 to 21 points in a scale of 28, according to the Tinetti Scale for risk of falls, moving from high fall risk to moderate fall risk. From obtained results we can conclude that our experimental system is feasible for balance rehabilitation therapy. During this process we noticed that environmental conditions had a big influence in the video game performance so we have developed a scene modelling algorithm using RGBD information in order to segment the user from scene. We constructed our background model using a Kernel Density Estimation (KDE) process with a Gaussian Kernel. We used a three dimensional kernel, one dimension to model depth information and two for normalised chromaticity coordinates. We modelled sensor absent depth observations using a probabilistic strategy in order to distinguish which belongs to the background model and which are provoked by foreground objects in order to detected those ones that are induced by foreground objects. That pixels cannot be classified as background or foreground so we used a third classification class, we called undefined, in order to classify that pixels. In addition, we developed an algorithm to detect changing background objects in the same frame they move based on the cdf of the pixel model. Two strategies are described in order to adapt the update phase to the different nature of the color and depth information, considering color information as short-term model and depth as long-term one. After evaluating the proposed scene modelling approach with two datasets, results showed that it can handle several practical situations and obtain good results in all cases.

L’objectiu d’aquesta tesi és millorar la interacció basada en visió en sistemes de rehabilitació. Per aquest motiu hem construït i avaluat un nou mètode de modelat d’escenes en l’espai RGBD, per tal de generalitzar l’ús d’aquests sistemes en entorns reals. Aquest procés s’ha dut a terme mitjançant el disseny i desenvolupament d’un sistema interactiu basat en visió per computador en el context d’una aplicació de rehabilitació. En primer lloc, hem definit un sistema d’interacció basat en visió, en segon lloc hem desenvolupat un videojoc motivacional. Després d’una primera fase de proves, els terapeutes varen concloure que el sistema implementa la teràpia de rehabilitació de l’equilibri que es volia transferir. Els resultats preliminars també varen mostrar que els usuaris duien a terme l’activitat de rehabilitació amb un 13,5 % menys de temps. Amb l’ús el videojoc presentat, cap dels usuaris va abandonar la teràpia i tots es mostraren interessats a continuar el procés de rehabilitació amb el nostre sistema. A continuació, es va dissenyar un experiment per posar a prova la viabilitat i el benefici d’incloure el mecanisme de retroalimentació de mirall en els sistemes de rehabilitació basats en visió. Aquest experiment, va ser motivat per què durant el desenvolupament del sistema abans descrit, ens adonarem que els usuaris no podien equiparar els seus moviments amb el que succeïa a la pantalla. Definim retroalimentació de mirall com la representació visual dels usuaris dins l’aplicació. Els resultats d’aquest experiment varen confirmar que en cas de persones amb discapacitat, la retroalimentació de mirall facilita la interacció. Finalment, es va avaluar clínicament el sistema proposat. L’avaluació va consistir en un programa d’intervenció de fisioteràpia durant 24 setmanes. Va ser realitzat amb 9 adults d’un centre de paràlisi cerebral, realitzant sessions setmanals de 20 minuts. Els resultats varen demostrar un augment significatiu en les puntuacions d’equilibri i funció de la marxa indicant una major independència per als pacients. Les puntuacions varen millorar de 16 a 21 punts en una escala de 28, d’acord amb l’Escala de Tinetti per al risc de caigudes, passant de risc alt de caiguda a risc moderat de caiguda. Dels resultats obtinguts es pot concloure que el nostre sistema experimental és viable per a la teràpia de rehabilitació de la marxa i l’equilibri. Durant el procés abans descrit, ens adonarem que les condicions ambientals tenen una gran influència en el rendiment del videojoc, per aquest motiu, hem desenvolupat un algoritme de modelatge d’escenes utilitzant informació RGBD per tal de segmentar l’usuari de l’escena. Hem desenvolupat un nou enfocament no paramètric que unifica els diversos canals d’informació del dispositiu. També s’ha desenvolupat un model probabilístic que permet manejar aquella informació inexistent en la imatge de profunditat. Finalment s’ha creat un algorisme per detectar aquelles zones de la imatge en les que un objecte de l’escena és mogut i d’aquesta manera evitar errors de classificació. Després d’avaluar l’algorisme proposat utilitzant dos conjunts de dades, els resultats mostraren que l’algorisme pot manejar un gran ventall de situacions pràctiques i obté bons resultats en tots els casos provats.