Underwater 3d sensing using structured light: development of an underwater laser scanner and a non-rigid point cloud registration method

Abstract

Accurate underwater 3D perception is essential to advance towards the automation of expensive, dangerous and/or time-consuming tasks, such as the inspection, maintenance and repair of off-shore industrial sites. Accurate underwater 3D sensors can potentially have a large positive impact on the progress of tasks like object detection and semantic mapping, which are key to the development of robotic platforms capable of a higher level of abstraction. Moreover, these advances would decidedly contribute to the transition from remotely operated vehicles (ROVs) towards autonomous underwater vehicles (AUVs) in industrial operations. However, accurate underwater 3D perception is very hard to achieve because of the many physical particularities of light propagation in water, including refraction: the direction of light rays changes due to the different refraction indices of the media it travels through. This thesis focuses on the development of a novel underwater 3D scanner and a nonrigid point cloud registration method aimed at enabling underwater 3D reconstructions with accuracies in the order of millimeters both in static and dynamic missions. The thesis is structured according to these two main contributions, which resulted in five journal articles. The first main contribution of this thesis is designing and building an underwater 3D scanner using a 2-axis mirror. The second axis of the rotating mirror allows us to project optimally-curved scanning patterns designed to counteract refraction, so that they transform into straight lines when entering the water. This results in a decrease in computational complexity of the 3D reconstruction while maintaining millimeter accuracy. Minor contributions of this part of the thesis are the design of a ray-tracing model to study the effect of each optical component on the quality of the 3D reconstruction and the development of a simplified calibration algorithm based on numeric projection functions. The second main contribution of this thesis is the development of a non-rigid point cloud registration method that can successfully minimize the motion distortion that appears when the scanner is mounted on a moving robot. Finally, this thesis also includes unpublished 3D reconstructions performed during missions both in the water tank at the Centre d’Investigació en Robòtica Submarina (CIRS) and at sea

Una percepció submarina 3D d’alta precisió és essencial per avançar cap a l’automatització de tasques com la inspecció, el manteniment i la reparació d’estructures industrials submarines, las quals actualment comporten un elevat preu, risc i/o durada. Disposar de sensors 3D subaquàtics d’alta precisió podria accelerar el progrés de tasques com la detecció d’objectes i el mapejat semàntic, claus per al desenvolupament de plataformes robòtiques capaces d’un nivell d’abstracció més alt. A més, aquest avenç contribuiria de forma decisiva a la transició a nivell industrial des de vehicles submarins operats remotament (ROVs) cap a vehicles submarins autònoms (AUVs). No obstant això, aconseguir percepció 3D d’alta precisió sota l’aigua és difícil per les moltes particularitats físiques de la propagació de la llum a l’aigua, incloent-hi la refracció: la llum canvia de direcció a causa dels diferents índexs de refracció dels mitjans pels quals viatja. Aquesta tesi se centra en el desenvolupament d’un nou escàner 3D submarí i un mètode de registre no-rígid de núvols de punts amb l’objectiu de crear reconstruccions submarines en 3D amb precisions a l’ordre de mil·límetres tant en missions estàtiques com dinàmiques. La tesi s’estructura segons aquestes dues contribucions principals, las quals ens han permès publicar cinc articles en revistes científiques. La primera contribució principal és el disseny i la construcció d’un escàner 3D submarí usant un mirall de dos eixos de rotació. El segon eix del mirall ens permet projectar patrons d’escaneig corbats de manera òptima per contrarestar la refracció, de manera que es transformin en línies rectes en entrar a l’aigua. Així, podem disminuir la complexitat computacional de la reconstrucció 3D mentre mantenim una precisió mil·limètrica. Altres contribucions de menor rang d’aquesta part de la tesi són el disseny d’un model de la direcció del feix làser per estudiar l’efecte de cada component òptic en la qualitat de la reconstrucció 3D, i el desenvolupament d’un algoritme de calibració simplificat basat en funcions numèriques de projecció. La segona contribució principal és un mètode de registre no-rígid de núvols de punts que minimitza la distorsió present als escanejats quan el sensor està muntat en un robot en moviment. Finalment, aquesta tesi també inclou reconstruccions 3D no publicades fins ara i que van ser realitzades en missions tant a la piscina del Centre d’Investigació en Robòtica Submarina (CIRS) com al mar