Automated 3D object recognition in underwater scenarios for manipulation

Abstract

In recent decades, the rapid development of intelligent vehicle and 3D scanning tecnologies has led to a growing interest in applications based on 3D point data processing, with many applications such as augmented reality or robot manipulation and obstacle avoidance, scene understanding, robot navigation, tracking and assistive technology among others, requiring an accurate solution for the 3D pose of the recognized objects. Thus object recognition is becoming an important topic in computer vision, where machine vision and robotics techniques are becoming key players. In this thesis work, the main objective is to develop a semantic mapping method by integrating a 3D object recognition pipeline with a feature-based SLAM system, in order to assist autonomous underwater interventions in the near future. To this end, the work proposed in this paper targets three axes. First, it aims to compare the performance of 3D global descriptors within the state of the art, focusing on those based on point clouds and targeted at real-time object recognition applications. For this purpose, we selected a set of test objects representative of Inspection, Maintenance and Repair (IMR) applications and whose shape is usually known a priori. Their CAD models were used to: 1) create a data base of synthetic object views used as a priori knowledge, and 2) simulate the point clouds that would be gathered during the scanning under realistic conditions, with added noise and varying resolution. Extensive experiments were performed with both virtual scans and real data collected with an AUV equipped with a fast laser scanner developed at our research centre. The second goal of our work was to use a real-time laser scanner mounted on an AUV to detect, identify, and locate objects in the robot’s environment, with the aim of allowing an intervention Autonomous Underwater Vehicle (I-AUV) to know what manipulation actions could be performed on each object. This goal was tackled by the design and development of a 3D object recognition method for uncolored point clouds (laser scans) using point features. The algorithm uses a database of partial views of the objects stored as point clouds. The recognition pipeline includes 5 stages: 1) Plane segmentation, 2) Pipe detection, 3) Semantic Object-segmentation, 4) Feature-based Object Recognition and 5) Bayesian estimation. To apply Bayesian estimation, it is necessary to track objects across scans. For this purpose, the Inter-distance Joint Compatibility Branch and Bound (IJCBB) data association algorithm was proposed based on the distances between objects. The performance of the method was tested using a dataset of the inspection of a pipe infrastructure made of PVC objects connected by pipes. The structure is representative of those commonly used by the offshore industry. Experimental results show that Bayesian estimation improves the recognition performance with respect to the case where only the descriptor is used. The inclusion of semantic information about object pipe connectivity further improves recognition performance. The final goal of the thesis, consists of integrating the 3D object recognition system with a feature-based SLAM system to implement a semantic map providing the robot with information about the location and the type of objects in its surroundings. The SLAM improved both the accuracy and reliability of pose estimates of the robot and the objects. This is especially important in challenging scenarios where significant changes in viewpoint and appearance arise

A les darreres dècades, el ràpid desenvolupament de vehicles intel·ligents i de les tecnologies d’escaneig 3D han contribuït a augmentar l’interès en les aplicacions basades en processament de núvols de punts 3D, amb aplicacions com la realitat augmentada, la manipulació robòtica, l’evasió d’obstacles, la comprensió d’escenes, la navegació robòtica, el seguiment d’objectes i la tecnologia d’assistència, etc., que requereixen una soluci´o precisa de la posició 3D i l’orientació d’un objecte. Per tant, el reconeixement d’objectes s’està convertint en un tema, on la visió per computador i les tècniques robòtiques esdevenen protagonistes clau. En aquest treball de tesi, l’objectiu principal és desenvolupar un mètode per a la construcció de mapes semàntic mitjançant la integració d’una cadena de processament per al reconeixement d’objectes 3D, amb un sistema de SLAM basat en característiques, amb l’objectiu d’ajudar a les futures intervencions submarines. Per això, el treball proposat en aquesta tesi es divideix en tres eixos principals. El primer té com a objectiu comparar el rendiment de descriptors globals d’última generació, centrant-se en els basats en núvols de punts 3D i destinats a aplicacions de reconeixement d’objectes en temps real. Per a aquest objectiu, s’ha seleccionat un conjunt d’objectes de prova representatius d’aplicacions d’inspecció, manteniment i reparació (IMR), la forma dels quals es coneix a priori. Els seus models CAD s’han utilitzat per a: 1) crear una base de dades amb les vistes sintètiques dels objectes, i 2) simular els núvols de punts que adquiriria, en condicions realistes, un escàner làser incloent soroll sintètic i simulant diferents resolucions. S’han dut a terme experiments tant a partir d’escaneigs virtuals com de dades reals recopilades amb un AUV equipat amb un escàner làser de temps real desenvolupat al nostre centre de recerca. El segon objectiu del nostre treball va consistir en utilitzar aquest escàner làser, muntat a un AUV per detectar, reconèixer i localitzar objectes a l’entorn del robot, per tal de permetre, a un Vehicle Submarí Autònoms d’Intervenció (IAUV), saber quines accions de manipulació podria fer amb cada objecte. Aquest objectiu es va abordar amb el disseny i el desenvolupament d’un mètode de reconeixement d’objectes 3D en núvols de punts incolors (escanejos làser) utilitzant descriptors dels punts 3D. L’algorisme utilitza una base de dades de vistes parcials dels objectes emmagatzemats en forma de núvols de punts. El procés de reconeixement consta de 5 passos: 1) Segmentació de plànols, 2) Detecció de canonades, 3) Segmentació semàntica d’objectes, 4) Reconeixement d’objectes a partir dels descriptors de punts 3D i 5) Estimació bayesiana. Per aplicar l’estimació bayesiana, cal ser capaços de fer un seguiment dels objectes en escanejos successius. Per fer-ho, s’ha proposat l’algorisme Inter-distance Joint-Compatibility Branch and Bound (IJCBB) d’associació de dades basada en les distancies entre objectes dins del núvol de punts. El rendiment del mètode es va avaluar fent servir dades experimentals relatives a la inspecció d’una infraestructura composta de canonades interconnectades per objectes de PVC. L’estructura ´es representativa de les comunament utilitzades per la indústria offshore. Els resultats experimentals mostren que l’estimació bayesiana millora el rendiment del reconeixement en comparació de l’ús ´únic del descriptor. La inclusió d’informació semàntica sobre la connectivitat d’objectes a canonades millora encara més el rendiment del reconeixement. L’objectiu final de la tesi va abordar la integració del sistema de reconeixement d’objectes 3D basat en descriptors amb un sistema de SLAM basat en característiques, per implementar un mapa semàntic que proporciona al robot informació sobre la ubicació i el tipus d’objectes a l’entorn. La utilització de tècniques de SLAM ha millorat la precisió i la fiabilitat de les estimacions de la postura del robot i els objectes. Això és especialment important en escenaris difícils on es produeixen canvis significatius de perspectiva i aparença