Appearance-based Loop Closure Detection and its Application to Topological Mapping and Image Mosaicing

Abstract

Mapping and localization are two essential processes in autonomous mobile robotics since they are the basis of other higher level and more complex tasks, such as obstacle avoidance or path planning. Mapping is the process through which a robot builds its own representation of the environment when a map of the environment is not available. There exist mainly two types of maps: metric and topological. While metric maps represent the world as accurate as possible with regard to a global coordinate system, topological maps represent the environament in an abstract manner by means of a graph, which implies several benefits in front of the classic metric approaches. Due to the unavoidable noise that sensors present, mapping algorithms usually rely on loop closure detection techniques, which entails the correct identification of previously seen places to reduce the uncertainty of the resulting maps. This dissertation deals with the problem of generating topological maps of the environment using efficient appearance-based loop closure detection techniques. Since the quality of a visual loop closure detection algorithm is related to the image description method and its ability to index previously seen images, several methods for loop closure detection adopting diferent approaches are developed and assessed. Then, these methods are used as basic components in three novel topological mapping algorithms. The results obtained indicate that the solutions proposed attain a better performance than several state-of-the-art approaches. To conclude, given that place recognition is also a key component in other research areas, a multi-threaded image mosaicing algorithm is proposed. This approach makes use of one of the loop closure detection techniques previously introduced in order to find overlapping pairs between images and finally obtain seamless mosaics of different environments in a reasonable amount of time.

El mapeo y la localización son dos procesos fundamentales en robótica autónoma móvil debido a que son la base de otras tareas de más alto nivel y más complejas, como la evitación de obstáculos o la planificación de rutas. El mapeo es el proceso a través del cual el robot construye su propia representación del entorno cuando el mapa no está disponible. Existen fundamentalmente dos tipos de mapas: los métricos y los topológicos. Mientras que los mapas métricos representan el mundo lo más exacto posible de acuerdo a un sistema de coordenadas de referencia, los mapas topológicos lo representan de un modo abstracto utilizando un grafo, lo que supone una serie de ventajas respecto a los métricos. Debido al inevitable ruido que incluyen los sensores, los algoritmos de mapeo normalmente están basados en técnicas de detección de bucles, que consisten en identificar correctamente cuando el vehículo ha vuelto a un lugar previamente visitado para reducir la incertidumbre en los mapas resultantes. Esta tesis trata de dar solución al problema de generar mapas topológicos del entorno utilizando algoritmes eficientes de detección de bucles basados en visión. Debido a que la calidad de un algoritmo de detección visual de bucles está directamente relacionada con la descripción de las imágenes y con el método utilizado para indexarlas, en esta tesis se proponen varias técnicas para detectar bucles, adoptando diferentes enfoques. Estos métodos se utilizan como Componentes básicos en tres novedosos algoritmos de mapeo topológico. Los resultados obtenidos indican que las soluciones propuestas presentan un mejor rendimiento que diversos algoritmos considerados como estado del arte por la comunidad. Para concluir, y dado que el reconocimiento de escenas es también un componente esencial en otras áreas de investigación, se presenta un algoritmo de generación de mosaicos de imágenes. Este algoritmo utiliza una de las técnicas de detección de bucles presentadas previamente para encontrar pares de imágenes que se solapan y se utiliza para obtener mosaicos en diferentes entornos en un tiempo razonable.

El mapeig i la localització són dos processos fonamentals en robòtica autònoma mòbil a causa de que són la base d’altres tasques de més alt nivell i més complexes, com l’evitació d’obstacles o la planificació de rutes. El mapeig és el procés a través del qual el robot construeix la seva pròpia representació de l’entorn quan el mapa no està disponible. Existeixen fonamentalment dos tipus de mapes: els mètrics i els topològics. Mentre que els mapes mètrics representen el món el més exacte possible d’acord a un sistema de coordenades de referència, els mapes topològics el representen d’una manera abstracte utilitzant un graf, el que suposa una sèrie d’avantatges respecte als mètrics. A causa de l’inevitable soroll que inclouen els sensors, els algorismes de mapeig normalment estan basats en tècniques de detecció de bucles, que consisteixen en identificar correctament quan el vehicle ha tornat a un lloc prèviament visitat per reduir la incertesa en els mapes resultants. Aquesta tesi tracta de donar solució al problema de generar mapes topològics de l’entorn utilitzant algorismes eficients de detecció de bucles basats en visió. Degut a que la qualitat d’un algorisme de detecció visual de bucles està directament relacionada amb la descripció de les imatges i amb el mètode utilitzat per indexarles, en aquesta tesi es proposen diverses tècniques per detectar bucles adoptant diferents enfocs. Aquests mètodes s’utilitzen com a components bàsics en tres nous algorismes de mapeig topològic. Els resultats obtinguts indiquen que les solucions proposades presenten un millor rendiment que diversos algorismes considerats com estat de l’art per la comunitat. Per concloure, i atès que el reconeixement d’escenes és també un component essencial en altres àrees d’investigació, es presenta un algorisme de generació de mosaics d’imatges. Aquest algorisme utilitza una de les tècniques de detecció de bucles presentades prèviament per trobar parells d’imatges que es solapen, i s’utilitza per obtenir mosaics en diferents entorns en un temps raonable.