Efficient implementation of Deep Nets for video processing to preserve marine ecosystem services

Abstract

[eng] Marine ecosystems provide multiple services to humans, including provisioning services, such as seafood or fossil energy; regulating services, like coastal protection or water purification; cultural services, as tourism or spiritual benefits; and supporting services, like nutrient cycling or habitat provision. The provided services are endangered by negative impacts that marine ecosystems are suffering due to multiple causes, some examples of which could be overfishing, habitat destruction, or plastic pollution. Therefore, there exists an urgency to develop new protective measures. One highlighted initiative is to develop scientifically and statistically robust monitoring methodologies and tools to control potential risks or assess the effectiveness of protective and recovery initiatives. Ocean research and management is facing a new era, led by the technological developments in data collection, allowing the collection of vast amounts of data; and deep learning techniques, capable of processing the data and reducing its processing workload while increasing the spatial and temporal scope of conducted analysis. The marine science community is ready and willing to implement these new tools to a wide range of proposals towards the sustainability of marine ecosystems and its services. The objective of this thesis is to study the applicability of deep learning solutions, along with computer vision, to develop new tools to preserve marine ecosystems and the offered services. Tools have been developed for three different tasks: Posidonia oceanica monitoring, jellyfish quantification and pipeline characterisation. In their development, diverse deep convolutional network model types and architectures have been trained and tested with data gathered from a variety of sources and under different environmental conditions. Additionally, the developed tools have been deployed into diverse platforms and adapted to its features and limitations. These implementations cover a wide spectrum of scenarios where deep convolutional networks have been applied with good results, automating the data analysis process, expanding the temporal and spatial scope of the analysis or surveys, and improving the repeatability of experiments to detect evolution trends. Thus, validating the proposed methodology to implement deep convolutional networks for video processing to preserve marine ecosystem services.

[spa] Los ecosistemas marinos ofrecen múltiples servicios a los seres humanos, incluyendo servicios de aprovisionamiento como la producción de comida o energía fósil, servicios de regulación como la protección costera o la depuración de aguas, servicios culturales como el turismo o beneficios espirituales y servicios de apoyo como la circulación de nutrientes o la provisión de hábitat. Estos servicios se ven amenazados por los impactos negativos que están sufriendo los ecosistemas marinos debido a múltiples causas. Algunos ejemplos podrían ser la sobrepesca, la destrucción del hábitat o la contaminación por plásticos. Por lo tanto, existe la urgencia de desarrollar nuevas medidas de protección. Una iniciativa destacada es el desarrollo de metodologías y herramientas de monitoreo científica y estadísticamente sólidas para controlar los potenciales riesgos o evaluar la efectividad de iniciativas de protección y recuperación. La investigación y gestión de los océanos se enfrenta a una nueva era, liderada por los avances tecnológicos en la obtención de datos, que permiten la recopilación de grandes cantidades de datos; y técnicas de aprendizaje profundo, capaces de procesar los datos y reducir el tiempo de procesamiento a la vez que aumentan el alcance espacial y temporal de los análisis realizados. La comunidad científica marina está lista y dispuesta a implementar estas nuevas herramientas en una amplia gama de propuestas para la sostenibilidad de los ecosistemas marinos y sus servicios. El objetivo de esta tesis es estudiar la aplicabilidad de soluciones de aprendizaje profundo junto con visión artificial para desarrollar nuevas herramientas con el fin de preservar los ecosistemas marinos y los servicios ofrecidos. Se han desarrollado herramientas para tres tareas diferentes: la monitorización de Posidonia oceanica, la cuantificación de medusas y la caracterización de sistemas de tuberías. Durante su desarrollo, se han entrenado y probado diversos tipos de modelos y arquitecturas de redes convolucionales profundas con datos recopilados de una variedad de fuentes y en diferentes condiciones ambientales. Adicionalmente, las herramientas desarrolladas han sido desplegadas en diversas plataformas y adaptadas a sus características y limitaciones. Estas implementaciones cubren un amplio espectro de escenarios en los que se han aplicado redes convolucionales profundas con buenos resultados, automatizando el proceso de análisis de datos, ampliando el alcance temporal y espacial de los análisis o inspecciones, y mejorando la repetibilidad de los experimentos para detectar tendencias de evolución. Por lo tanto, se ha validado la metodología propuesta para la implementación de redes convolucionales profundas para el análisis de datos en entornos marinos para la preservación de sus ecosistemas y servicios.

[cat] Els ecosistemes marins ofereixen múltiples serveis als humans, incloent serveis d’aprovisionament com la producció de menjar o energia fòssil, serveis de regulació com la protecció costanera o la depuració d’aigües, serveis culturals com el turisme o beneficis espirituals, i serveis de suport com la circulació de nutrients o la provisió d’hàbitat. Aquests serveis es veuen amenaçats pels impactes negatius que estan patint els ecosistemes marins degut a múltiples causes, alguns exemples podrien ser la sobrepesca, la destrucció de l’hàbitat o la contaminació per plàstics. Així doncs, hi ha la urgència de desenvolupar noves mesures de protecció. Una iniciativa destacada és el desenvolupament de metodologies i eines de monitorització científica i estadísticament sòlides per controlar els riscos potencials o avaluar l’efectivitat d’iniciatives de protecció i recuperació. La investigació i la gestió dels oceans s’enfronta a una nova era, liderada pels avenços tecnològics en l’obtenció de dades, permetent la recopilació de grans quantitats de dades; i tècniques d’aprenentatge profund, capaces de processar les dades i reduir el temps de processament alhora que augmenten l’abast espacial i temporal dels anàlisis realitzats. La comunitat científica marina està llesta i disposada a implementar aquestes noves eines en una àmplia gamma de propostes per a la sostenibilitat dels ecosistemes marins i els seus serveis. L´objectiu d´aquesta tesi és estudiar l´aplicabilitat de solucions d´aprenentatge profund juntament amb visió artificial per desenvolupar noves eines per tal de preservar els ecosistemes marins i els serveis oferts. S’han desenvolupat eines per a tres tasques diferents: la monitorització de Posidonia oceanica, quantificació de meduses i caracterització de sistemes de canonades. Durant el desenvolupament s’han entrenat i provat diversos tipus de models i arquitectures de xarxes convolucionals profundes amb dades recopilades d’una varietat de fonts i en diferents condicions ambientals. Addicionalment, les eines desenvolupades han estat desplegades en diverses plataformes i adaptades a les seves característiques i limitacions. Aquestes implementacions cobreixen un ampli espectre d’escenaris on s’han aplicat xarxes convolucionals profundes amb bons resultats, automatitzant el procés d’anàlisi de dades, ampliant l’abast temporal i espacial de les anàlisis o inspeccions i millorant la repetibilitat dels experiments per detectar tendències devolució. Per tant, s’ha validat la metodologia proposta per a la implementació de xarxes convolucionals profundes per a l’anàlisi de dades en entorns marins per preservar els seus ecosistemes i serveis.