Foreground Object Segmentation and Shadow Detection for Video Sequences in Uncontrolled Environments

Abstract

Aquesta tesis esta dividida en dos parts principalment. A la primera, es presenta un estudi dels problemes que es poden trobar en la segmentació per moviment, basant-se en aquest estudi es presenta un algoritme genèric el qual es capaç de solucionar d'una forma acurada la majoria dels problemes que es poden trobar en aquest tipus de segmentació. En la segona part, es tracta el tema de les ombres en profunditat. Primer, es presenta un algoritme bottom-up basat en un detector de ombres cromàtiques el qual es capaç no només de solucionar les ombres que es troben a la penombra, sinó també les ombres que podem trobar a l'umbra. Segon, es presenta un sistema topdown basat en un sistema de tracking per tal de trackejar les ombres i d'aquesta manera millorar la detecció de les ombres cromàtiques. <br/>En la nostra primera contribució, presentem un anàlisis del possibles problemes que trobem en la segmentació per moviment quan utilitzem el color, els gradients, o la intensitat. La nostra segona aportació es una arquitectura hibrida la qual pot solucionar els principals problemes observats en l'anàlisi, mitjançant la fusió de (i) la informació obtinguda per aquestes tres cues, i (ii) un algoritme de diferencia temporal. Per un costat, em aconseguit millorat els models de color i de gradients per que puguin solucionar tant el problemes amb els canvis de il·luminació global i local (com les ombres no cromàtiques) i els camu&#64258;atges en intensitat. A més a més, la informació local es explotada per tal de solucionar el problema dels camu&#64258;atges en croma. Per una altra banda, la intensitat es aplicada quan el color i els gradients no estan disponibles degut a problemes en la obtenció d'aquests (es troben fora del rang dinàmic). Addicionalment, la diferencia temporal es inclosa en la segmentació per moviment en el moment en que cap de les cues estudiades no estan disponibles, com per exemple quan el fons de la imatge no es visible en el període de entrenament. Per últim en aquesta primera part, el nostre algoritme també ha de solucionar el problema de les segmentacions fantasma. Com a resultat, el nostre algoritme obté una segmentació robusta i acurada tant en escenaris d'interior com d'exterior, tal i com s'ha demostrat tant quantitativament com qualitativament en els resultats experimentals, mitjançant la comparació del nostre algoritme amb els més coneguts algoritmes de l'estat de l'art. <br/>La segmentació en moviment té que tenir en compte el problema de les ombres per tal de evitar distorsions quan intentem segmentar els objectes en moviment. Però molts dels algoritmes que son capaços de detectar les ombres solament son capaços de detectar les ombres a la penombra. En conseqüència, aquestes tècniques no son capaces de detectar les ombres a l'umbra les quals son normalment detectades com part dels objectes en moviment. <br/>En aquesta tesis presentem primer una innovadora tècnica que es basa en els models de gradients i de color per tal de separar aquestes ombres cromàtiques dels objectes en moviment. Primerament, construïm tant un model de color en forma de con, com també un model de gradient els quals son invariant a les cromaticitats per tal d'aconseguir fer una segmentació automàtica a la vegada que totes les possibles ombres son detectades. En un segon pas, les regions que poden ser ombres son agrupades considerant "l'efecte blau" i les particions obtingudes mitjançant els gradients. Finalment, analitzem (i) les similituds temporals entre els les estructures locals dels gradients i (ii) les similituds espacials entre els angles cromàtics i les distorsions de la lluminositat de totes les ombres potencials per tal d'identi&#64257;car les ombres a la umbra. <br/>Segon, en el procés top-down després de la detecció dels objectes i les ombres els dos son seguits usant un &#64257;ltre de Kalman, per d'aquesta manera millorar la detecció de lesombrescromàtiques. Primerament, l'algoritme fa una associacióentre elsblobs (foreground i ombres) i els &#64257;ltres de Kalman. Segon, es realitza un anàlisis dels possibles casos entre las associacions obtingudes anteriorment, i a més a més es tracten les oclusions mitjançant un Model Probabilístic d'Aparença. Basant-se en aquesta associació es busca la consistència temporal entre els foregrounds, les ombres, i els seus respectius &#64257;ltres de Kalman. A partir d'aquesta nova associació son estudiats diferents casos, com a resultat les ombres cromàtiques que s'havien perdut son detectades. Finalment, els resultats son utilitzats com a feedback per millorar la detecciódela ombra i del objecte. <br/>Pel contrari que altres algoritmes el nostre mètode no fa cap assumpcióapriori sobre la localitzaciódelacàmera, les geometries o les textures de les superfícies, les formes o els possibles tipus de ombres, objectes o de fons de la imatge. Els resultats experimentals mostren la performance i la precisió del nostre algoritme en la detecció de les ombres cromàtiques en diferents materials i amb diferents condicions de il·luminació.

This Thesis is mainly divided in two parts. The &#64257;rst one presents a study of motion segmentation problems. Based on this study, a novel algorithm for mobile-object segmentation from a static background scene is also presented. This approach is demonstrated robust and accurate under most of the common problems in motion segmentation. The second one tackles the problem of shadows in depth. Firstly, a bottom-up approach based on a chromatic shadow detector is presented to deal with umbra shadows. Secondly, a top-down approach based on a tracking system has been developed in order to enhance the chromatic shadow detection. <br/>In our &#64257;rst contribution, a case analysis of motion segmentation problems is presented by taking into account the problems associated with di&#64256;erent cues, namely colour, edge and intensity. Our second contribution is a hybrid architecture which handles the main problems observed in such a case analysis, by fusing (i) the knowledge from these three cues and (ii) a temporal di&#64256;erence algorithm. On the one hand, we enhance the colour and edge models to solve both global/local illumination changes (shadows and highlights) and camou&#64258;age in intensity. In addition, local information is exploited to cope with a very challenging problem such as the camou&#64258;age in chroma. On the other hand, the intensity cue is also applied when colour and edge cues are not available, such as when beyond the dynamic range. Additionally, temporal di&#64256;erence is included to segment motion when these three cues are not available, such as that background not visible during the training period. Lastly, the approach is enhanced for allowing ghost detection. As a result, our approach obtains very accurate and ro¬bust motion segmentation in both indoor and outdoor scenarios, as quantitatively and qualitatively demonstrated in the experimental results, by comparing our approach with most best-known state-of-the-art approaches. <br/>Motion Segmentation has to deal with shadows to avoid distortions when detecting moving objects. Most segmentation approaches dealing with shadow detection are typically restricted to penumbra shadows. Therefore, such techniques cannot cope well with umbra shadows. Consequently, umbra shadows are usually detected as part of moving objects. <br/>Firstly, a bottom-up approach for detection and removal of chromatic moving shadows in surveillance scenarios is proposed. Secondly, a top-down approach based on kalman &#64257;lters to detect and track shadows has been developed in order to enhance the chromatic shadow detection. In the Bottom-up part, the shadow detection approach applies a novel technique based on gradient and colour models for separating chromatic moving shadows from moving objects. <br/>Well-known colour and gradient models are extended and improved into an invariant colour cone model and an invariant gradient model, respectively, to perform automatic segmentation while detecting potential shadows. Hereafter, the regions corresponding to potential shadows are grouped by considering "a bluish e&#64256;ect" and an edge partitioning. Lastly, (i) temporal similarities between local gradient structures and (ii) spatial similarities between chrominance angle and brightness distortions are analysed for all potential shadow regions in order to &#64257;nally identify umbra shadows. <br/>In the top-down process, after detection of objects and shadows both are tracked using Kalman &#64257;lters, in order to enhance the chromatic shadow detection, when it fails to detect a shadow. Firstly, this implies a data association between the blobs (foreground and shadow) and Kalman &#64257;lters. Secondly, an event analysis of the different data association cases is performed, and occlusion handling is managed by a Probabilistic Appearance Model (PAM). Based on this association, temporal consistency is looked for the association between foregrounds and shadows and their respective Kalman Filters. From this association several cases are studied, as a result lost chromatic shadows are correctly detected. Finally, the tracking results are used as feedback to improve the shadow and object detection. <br/>Unlike other approaches, our method does not make any a-priori assumptions about camera location, surface geometries, surface textures, shapes and types of shadows, objects, and background. Experimental results show the performance and accuracy of our approach in di&#64256;erent shadowed materials and illumination conditions.