Event based SLAM

Abstract

(English) Event-based cameras are novel sensors with a bio-inspired design that exhibit a high dynamic range and extremely low latency. They sensing principle is different than the one of conventional cameras. These novel sensors generate asynchronous streams of events triggered proportionally to the logarithmic pixel-level change of brightness. Each event is timestamped with a micro-second resolution and transmitted as soon as it is fired. Thus, event cameras convey non-redundant information and capture fast motion. These assets make them suitable for high dynamics and challenging lighting applications without image blurring, over or underexposure problems. The event camera's operational principle requires new algorithms to deal with image intensity's absence and leverage its fast asynchronous response. This thesis explores new event-based monocular solutions to the localization and mapping problem (SLAM) in human-made scenarios. Concerning the event camera's natural edge response, the use of line features was evaluated throughout the chapters of this thesis. A high-speed camera pose tracking approach was proposed that exploits the fast response of an event camera to accurately estimate its 6 degrees of freedom. Lines are efficiently matched to the events with a proposed fast data-association mechanism. In the tracking formulation, event-per-event and window of events representations were analyzed to identify their advantages and real-time implementation feasibility without introducing speed bottlenecks. Additionally, several estimation variants were implemented regarding measurement and motion models. This thesis also analyzes sensor fusion methodologies to combine events with inertial data. The inertial measurements come at a lower rate than events; thus, the objective is to avoid conventional inertial integration and cooperate with the event data to correct state parameters. The sensorial fusion allowed more accurate estimations but slowed down and constrained the motion dynamic and event-data rate to the inertial sensor capabilities. Finally, the proposed mapping approach leverages the natural edge highlighting of events to recover and optimize straight lines in human-made scenarios. Line-based reconstructed maps have better representativeness for some tasks than point clouds since line features provide a notion of connectivity, boundary and a sense of neighborhood. In this work mapping and tracking strategies are executed in parallel threads, that add to the map new detected lines as the camera moves while updating the old ones with incoming observations. All variants tested in this thesis for tracking and sensor fusion are compatible with the mapping thread and can be combined freely as best suited for determined experimental conditions. The main contributions of this work are three-folded: (1) event-based camera pose tracking aiming at high dynamics and challenging lighting conditions, (2) event data and inertial measurements fusion with the primary objective of preserving the event camera's fast response characteristic, and (3) event-based tracking and mapping system with line features in real-time for human-made environments. It is shown that monocular-based event-line SLAM can perform in challenging scenarios with a high level of accuracy and real-time performance, where conventional frame-based methods cannot operate. These thesis' contributions were validated through extensive experimentation with real data in different scenarios and with different degrees of motion aggressiveness. Appropriate comparison against state-of-the-art SLAM approaches were included.

(Español) Les càmeres d'esdeveniments són sensors nous amb un disseny d'inspiració biològica que presenten un rang dinàmic elevat i una latència baixa. El seu principi de detecció és diferent al de les càmeres convencionals. Aquests sensors generen paquets asíncrons d'esdeveniments produïts pel canvi logarítmic de la brillantor a nivell de píxels. Cada esdeveniment té un temps amb una resolució de microsegons i es transmet tan bon punt s'activa. Així, les càmeres d'esdeveniments no transmeten informació redundant i capturen moviment ràpids. Això els fa adequats per a aplicacions d'alta dinàmica i d'il·luminació desafiants sense problemes de desenfocament de la imatge, sobre o subexposició. El principi de funcionament de la càmera d'esdeveniments requereix nous algorismes per fer front a l'absència de la intensitat de la imatge i aprofitar la seva resposta ràpida.

Aquesta tesi explora noves solucions monoculars amb esdeveniments al problema de localització i mapeig (SLAM) en escenaris creats per l'home. Pel que fa a la resposta de la vora natural de la càmera d'esdeveniments, es va avaluar l'ús de línies. Es va proposar una metodologia per estimar els 6 graus de llibertat de la càmera per en dinàmiques altes on les línies estan relacionades amb els esdeveniments amb un mecanisme ràpid d'associació. Durant la formulació de la localització, es van analitzar les representacions d'esdeveniment per esdeveniment i finestra d'esdeveniments per identificar els seus avantatges i la viabilitat d'implementació en temps realt. A més, es van implementar diverses variants d'estimació pel que fa als models de mesura i moviment.

Aquesta tesi també analitza metodologies de fusió sensorial per combinar esdeveniments amb IMU. Les mesures inercials arriben a un ritme inferior a les estimacions d'esdeveniments; així, l'objectiu és cooperar amb les dades de l'esdeveniment per corregir l'estat en diferents moments. La fusió sensorial va permetre estimacions més precises, però va frenar i va limitar la dinàmica de moviment a les capacitats del sensor inercial.

L'estratègia mapeig proposat aprofita la producció d'esdeveniments en contorns d'objectes per recuperar i optimitzar línies en escenaris creats per l'home. Els mapes reconstruïts amb línies tenen una millor representativitat de la realitat per a algunes tasques que els núvols de punts, ja que les característiques de la línia proporcionen una noció de connectivitat i límit. En aquest treball s'executen estratègies de mapatge i localització en fils paral·lels, que afegeixen al mapa noves línies detectades cuan la càmera es mou mentre actualitza les antigues amb les observacions entrants. Totes les variants provades per a la localització i la fusió de sensors d'aquesta tesi són compatibles amb el mòdul de mapeig i es poden combinar lliurement segons s'adapti millor a les condicions experimentals.

Les principals contribucions d'aquest treball són tres: (1) localització amb esdeveniments en alta dinàmica i condicions d'il·luminació difícils, (2) fusió de esdeveniments i IMU prevesevant la resposta ràpida de la càmera d'esdeveniments. i (3) sistema de localització i mapes amb esdeveniments i línies en temps real per a entorns creats per l'home. Es demostra que l'SLAM de línia amb esdeveniments pot funcionar en escenaris desafiants amb un alt nivell de precisió i rendiment en temps real, on els mètodes convencionals basats en imatges no poden funcionar.

Les aportacions d'aquestes tesi es van validar mitjançant una àmplia experimentació amb dades reals en diferents escenaris i amb diferents graus d'agressivitat del moviment. Es va incloure una comparació adequada amb els enfocaments de SLAM de l'estat de l'art.