Data-Driven Exploration of Benthic Environments with Autonomous Underwater Vehicles featuring Semantic Perception and Adaptive Navigation Intelligence

Abstract

[eng] Most of the land terrain on Earth is being constantly mapped using sub-meter resolution spaceborne images. However, about eighty percent of the oceansŠ seaĆoor remains unexplored and most of the benthic habitat and geological structure distribution continues unknown. The main problem is that the methods that work on land are not applicable underwater. Remote sensing (RS) methods using spaceborne or airborne images can be used to map shallow water environments up to 10m depth and acoustic RS methods using multibeam echosounders are now providing increased resolutions on the backscatter data that can be used for benthic habitat mapping (BHM). Nonetheless, the feature richness of data collected with these types of methods is very limited. Most of the methods used for BHM require the use of in situ (IS) data in order to validate or even train their mapping algorithms. This Thesis aims to facilitate the acquisition of IS data by pushing the boundaries of autonomous underwater vehicles (AUVs). Nowadays, AUVs are increasingly used to acquire ocean data, bridging the gap between the use of remote operated vehicles (ROVs) and shipborne acoustic RS. However, their autonomy is usually limited by the condition of following preprogrammed paths, their behavior is blind with respect to benthic data collected and are autonomous only in the sense that they are not tethered and are able to estimate their location and control their motion. This Thesis presents three novel methods to (1) provide an online semantic perception of the environment by processing the online data Ćow and building a probabilistic model of the benthic environment, (2) enlarge the decision-making autonomy of AUVs providing an adaptive capacity to replan mission paths based on a semantic understanding of the physical variable under study that depends on the objective of the campaign, (3) improve the autonomous navigation for in situ image recording of AUVs. All in all this thesis build a data-driven exploration architecture that automates the in situ sampling process on unknown environments while maximizing data informativeness. The algorithms described in this Thesis have been extensively validated in Ąeld using an AUV equipped with a stereo camera rig used to gather images of the seabed partially covered by Posidonia oceanica seagrass meadows.

[cat] La major part del terreny terrestre es continuament cartograĄant mitjançant lŠús dŠimatges satelitals de resolució submètrica. Tot i això, un vuitanta per cent del fons marí dels oceans encara no ha estat explorat. El problema principal és que els mètodes que funcionen a terra no són aplicables sota lŠaigua. Els mètodes basats en tècniques de Remote Sensing (RS) que utilitzen imatges satel·litàries o aèries poden utilitzar-se per cartograĄar entorns dŠaigües poc profundes, i els mètodes de RS que utilitzen ecosondes acústiques multifeix proporcionen una resolució suĄcient per cartograĄar hàbitats bentònics (BHM) a majors profundidats. Tot i això, la riquesa de les dades recollides amb aquests tipus de mètodes és molt limitada. La majoria dels mètodes utilitzats per a BHM requereixen lŠús de dades in situ (IS) per validar o Ąns i tot entrenar els algorismes. LŠobjectiu dŠaquesta tesi és facilitar lŠadquisició de dades IS millorant les característiques que ofereixen els vehicles submarins autònoms (AUV) actuals. Avui dia, els AUVs sŠutilitzen cada cop més per adquirir dades oceàniques, salvant la distància entre lŠús de vehicles operats a distància (ROVs) i mètodes de RS acústics. No obstant això, la seva autonomia sol estar limitada per la necessitat de seguir trajectòries preprogramades, el seu comportament no té en compte les dades bentòniques recollides durant la navegació. Són autònoms tan sols en el sentit que no requereixen connexió cablejada i són capaços dŠestimar la seva ubicació i controlar el seu moviment. Aquesta Tesi presenta tres nous desenvolupaments per a (1) proporcionar una percepció semàntica de lŠentorn mitjançant el processament de dades recollides a temps real i la construcció dŠun model probabilístic de lŠentorn bentònic, (2) ampliar lŠautonomia en la presa de decisions dels AUVs proporcionant una capacitat dŠadaptació per replaniĄcar les rutes de la missió basant-se en una comprensió semàntica de lŠentorn, i (3) millorar la navegació autònoma per al gravat dímatges in situ dels AUVs. Finalment, els desenvolupaments esmentats sŠutilitzen per construir una arquitectura dŠexploració adaptativa que automatitza el procés de mostreig in situ en entorns desconeguts alhora que maximitza la informació de les dades recollides. Els mètodes descrits en aquesta Tesi han estat àmpliament validats mitjançant assajos de camp utilitzant un AUV equipat amb una càmera estereoscòpica utilitzada per recollir imatges del fons marí parcialment cobert per praderies de Posidonia oceanica.

[spa] La mayor parte del terreno terrestre es continuamente cartograĄado mediante el uso de imágenes satelitales de resolución submétrica. Sin embargo, un ochenta por ciento del fondo marino de los océanos aún no ha sido explorado. El principal problema es que los métodos que funcionan en tierra no son aplicables bajo el agua. Los métodos basados en técnicas de Remote Sensing (RS) que utilizan imágenes satelitales o aéreas pueden utilizarse para cartograĄar entornos de aguas poco profundas, y los métodos de RS que utilizan ecosondas acústicas multihaz proporcionan una resolución suĄciente para cartograĄar habitats bentónicos (BHM) a mayores profundidades. Sin embargo, la riqueza de los datos recogidos con este tipo de métodos es muy limitada. La mayoría de los métodos utilizados para BHM requieren el uso de datos in situ (IS) para validar o incluso entrenar los algoritmos. El objetivo de esta tesis es facilitar la adquisición de datos IS mejorando las características que ofrecen los vehículos submarinos autónomos (AUV) actuales. Hoy en día, los AUVs se utilizan cada vez más para adquirir datos oceánicos, salvando la distancia entre el uso de vehículos operados a distancia (ROVs) y métodos de RS acústicos. Sin embargo, su autonomía suele estar limitada por la necesidad de seguir trayectorias preprogramadas, su comportamiento no tiene en cuenta los datos bentónicos recogidos durante la navegación. Son autónomos tan solo en el sentido de que no requieren conexión cableada y son capaces de estimar su ubicación y controlar su movimiento. Esta Tesis presenta tres novedosos desarrollos para (1) proporcionar una percepción semántica del entorno mediante el procesamiento del datos recojidos a tiempo real y la construcción de un modelo probabilístico del entorno bentónico, (2) ampliar la autonomía en la toma de decisiones de los AUVs proporcionando una capacidad de adaptación para re-planiĄcar las rutas de la misión basándose en una comprensión semántica del entorno, y (3) mejorar la navegación autónoma para el grabado de imágenes in situ de los AUVs. Por último, los desarrollos mencionados se utilizan para construir una arquitectura de exploración adaptativa que automatiza el proceso de muestreo in situ en entornos desconocidos al tiempo que maximiza la información de los datos recogidos. Los métodos descritos en esta Tesis han sido ampliamente validados mediante ensayos de campo utilizando un AUV equipado con una cámara estereoscópica utilizada para recoger imágenes del fondo marino parcialmente cubierto por praderas de Posidonia oceanica.