Region-based particle filter leveraged with a hierarchical co-clustering

Abstract

In this thesis, we exploit the hierarchical information associated with images to tackle two fundamental problems of computer vision: video object segmentation and video segmentation. In the first part of the thesis, we present a video object segmentation approach that extends the well knonw particle filter algorithm to a region-based image representation. Image partition is considered part of the particle filter measurement, which enriches the available information and leads to a reformulation of the particle filter theory. We define particles as unions of regions in the current image partition and their propagation is computed through a single optimization process. During this propoagation, the prediction step is performed using a co-clustering between the previous image object partition and a partition of the current one, which allows us to tackle the evolution of non-rigid structures. The second part of the thesis is devoted to the exploration of a co-clustering technique for video segmentation. This technique, given a collection of images and their associated hierarchies, clusters nodes from these hierarchies to obtain a coherent multiresolution representation of the image collection. We formalize the co-clustering as a Quadratic Semi-Assignment Problem and solve it with a linear programming relaxation approach that makes effective use of information from hierarchies. Initially, we address the problem of generating an optimal, coherent partition per image and, afterwards, we extend this method to a multiresolution framework. Finally, we particularize this framework to an iterative multiresolution video segmentation algorithm in sequences with small variations. Finally, in the last part of the thesis we validate the presented techniques for object and video segmentation using the proposed algorithms as tools to tackle problems in a context for which they were not initially thought.

En aquesta tesi, utilitzem la informació jeràrquica associada a les imatges per explorar dos problemes fonamentals de la visió per ordinador: segmentació d'objectes en vídeos i segmentació de vídeos. A la primera part de la tesi, presentem un enfoc per a la segmentació d'objectes en vídeos que estén l'algoritme de filtres de partícules a una representació basada en regions de la imatge. La partició de la imatge es considera part de la mesura del filtre de partícules, enriquint la informació disponible i permetent una reformulació de la teoria dels filtres de partícules. Definim les partícules com a unions de regions de la partició i la propagació es calcula utilitzant únicament un procés d'optimització. En aquesta propagació, la etapa de predicció es realitza mitjançant un co-clustering entres la partició de l'objecte a l'instant de temps anterior i la partició actual, permetent el seguiment d'estructures no rígides. La segona part de la tesi està dedicada al desenvolupament d'una tècnica de co-clustering per segmentació de vídeo. Donada una col·lecció d'imatges i les seves jerarquies associades, aquesta tècnica agrupa nodes de les jerarquies per obtenir una representació de la col·lecció d'imatges coherent en diferents resolucions. Formalitzem el co-clustering com un problema d'optimització linial i el resolem utilitzant unes restriccions que permeten utilitzar de manera efectiva la informació de les jerarquies. Inicialment, afrontem el problema generant una partició òptima coherent per imatge per, posteriorment, estendre aquest mètode a un context de multi-resolució. Finalment, particularitzem aquesta tècnica com a algoritme iteratiu de segmentació de vídeo a diferents resolucions en seqüències amb poc moviment. Finalment, a la darrera part de la tesi, validem les tècniques presentades per segmentació d'objectes en vídeo i segmentació de vídeo utilitzant els algoritmes proposats com a eines per resoldre problemes pels quals no havien estat pensats inicialment.