Simulation, detection, and classification of vessels in maritime SAR images

Abstract

Over the last decades, environmental and socio-economic factors have generated interest on the observation of the ocean. Thus, the monitoring of maritime human activity has become crucial for the protection of the marine environment, the sustainability of the industrial sector, and security of navigation. Spaceborne remote sensing technologies can be used to improve existing marine monitoring systems at a global level. In particular, the Synthetic Aperture Radar (SAR) spaceborne sensors offer significant advantages for global monitoring. These types of sensors acquire high-resolution radar images suitable for the identification of man-made objects such as artificial structures and vehicles. In addition, these images can be obtained from any part of the planet's surface with no need for natural illumination, and practically regardless of the weather conditions over the area of interest. The current spaceborne SAR sensors have the potential to complement traditional maritime monitoring systems by acting as an independent source of information for the detection and identification of presumed vessels. This research focuses on the analysis of the characteristics of maritime SAR images from spaceborne sensors, the improvement of simulation tools, and the development and evaluation of algorithms for extracting information of interest which can be applied to vessel monitoring. In particular, it takes the case of stripmap SAR single-look complex (SLC) images since this is the most basic SAR product that all of the current spaceborne sensors are capable of providing. Theoretical analysis and evaluation of simulations establish, firstly, the relation between the motions of the vessels and phase errors in their received SAR signals, and secondly, how these phase errors impact on the position and focus quality of the vessels¿ SAR signatures in the image. In this thesis, the defocus of the targets is identified as one of the factors that hinders the proper extraction of the characteristics of vessels from the shape of their SAR signature. Thus, this thesis proposes local application of classical autofocus techniques adapted to the case of stripmap SLC images, and evaluates their performance using simulated data and real images of vessels from sensors such as RADARSAT-2 and Cosmo-SkyMed. Moreover, by analysing the SAR signal of the vessels in both the image and Doppler domain, techniques for automatic extraction of features of the SAR signatures such as size, direction, range velocity component, and basic identification of the type of vessel are proposed. Finally, all these techniques are merged into a single postprocessing sequence, which this thesis proposes as an algorithm for automatic refocusing and feature extraction of detected vessels in stripmap SLC SAR images. The evaluation and analysis of the performance of this algorithm with RADARSAT-2 and Cosmo-SkyMed images suggest its potential use in operational applications, although as in the case of other vessel identification algorithms, its performance is dependent on the complexity of the SAR signatures of the vessels

Motivaciones ecológicas y socio-económicas han hecho que la observación del océano sea área de gran interés en las últimas décadas. Así, el monitoreo de la actividad humana marítima se ha tornado crucial para la protección del medio ambiente marino, la sustentabilidad del sector industrial, y la seguridad en la navegación. Para una perspectiva global, tecnologías espaciales de teledección pueden utilizarse para robustecer los actuales sistemas de monitoreo marítimo. En particular, los sensores espaciales Radar de Apertura Sintética (SAR, de sus siglas en inglés) ofrecen ventajas notables para el monitoreo global. Estos sensores pueden adquirir imágenes radar de alta resolución que permiten distinguir estructuras artificiales y vehículos; además, estas adquisiciones pueden ser de cualquier parte de la superficie del planeta sin necesidad de iluminación natural, y prácticamente, sin importar las condiciones climáticas sobre el área de interés. Los actuales sensores SAR espaciales tienen el potencial de complementar sistemas de monitoreo de tráfico marítimo convencionales, siendo una fuente de información independiente para la detección e identificación de embarcaciones. Este trabajo de investigación se enfoca en el análisis de las características de las imágenes SAR satelitales de barcos, en conjunto con la mejora de las herramientas de simulación, y el desarrollo y evaluación de algoritmos para la extracción de información de interés aplicable al monitoreo del tráfico marítimo. En específico, se toma el caso de imágenes SAR stripmap complejas (SLC, de sus siglas en inglés) dado que es el producto básico que todo sistema de teledección SAR es capaz de proveer. Primeramente, a través de un análisis teórico y evaluación de simulaciones, se relacionan los movimientos de los barcos con errores de fase en sus señales SAR captadas por el satélite, así como su impacto en la posición y desenfoque de sus respectivas imágenes. En esta tesis, se identifica este desenfoque como uno de los impedimentos para la correcta extracción de las características de los barcos basadas en la geometría de su imagen SAR. Así, se propone la aplicación local de técnicas de autoenfoque clásicas adaptadas al caso de imagen stripmap SLC, evaluando su desempeño mediante datos simulados e imágenes reales de embarcaciones en entornos marítimos de sensores como RADARSAT-2 y Cosmo-SkyMed. Por otra parte, mediante el análisis conjunto de las imágenes SAR de los barcos en el dominio espacial y espectral, se proponen técnicas para la automática extracción de información como sus dimensiones, rumbo, velocidad en rango, y básica identificación del tipo de embarcación. Finalmente, esta tesis propone la fusión de este postprocesado en un algoritmo para el reenfoque y extracción automática de características de interés de los barcos detectados en imágenes stripmap SLC. La evaluación y análisis de resultados con imágenes de RADARSAT-2 y Cosmo-SkyMed sugiere su potencial uso en aplicaciones operacionales, aunque como otros algoritmos de identificación de embarcaciones, su desempeño resulta dependiente de la complejidad de la imagen del barco.

Motivacions ecològiques i socioeconòmiques han fet que l'observació de l'oceà sigui un àrea de gran interès en les darreres dècades. Així, el monitoratge de l'activitat humana marítima ha esdevingut crucial per a la protecció del medi ambient marí, la sostenibilitat del sector industrial, i la seguretat en la navegació. Per a una perspectiva global, tecnologies espacials de Teledetecció poden utilitzar-se per reforçar els actuals sistemes de monitorització marítima. En particular, els sensors espacials Radar d'Obertura Sintètica (SAR, de les seves sigles en anglès) ofereixen avantatges notables per al monitoratge global. Aquests sensors poden adquirir imatges radar d'alta resolució que permeten distingir estructures artificials i vehicles; a més, aquestes adquisicions poden ser de qualsevol part de la superfície del planeta sense necessitat d'il·luminació natural, i pràcticament sense la influència de les condicions climàtiques sobre l'àrea d'interès. Els actuals sensors SAR espacials tenen el potencial de complementar sistemes de monitorització de trànsit marítim convencionals, sent una font d'informació independent per a la detecció i identificació d'embarcacions. Aquest treball de recerca s'enfoca en l'anàlisi de les característiques de les imatges SAR orbitals d'embarcacions, en conjunt amb la millora de les eines de simulació, i el desenvolupament i avaluació d'algoritmes per a l'extracció d'informació d'interès aplicable al monitoratge del trànsit marítim. En específic, es pren el cas d'imatges SAR stripmap complexes (SLC, de les seves sigles en anglès) atès que és el producte bàsic que tot sistema de Teledetecció SAR és capaç de proveir. Primerament, a través d'una anàlisi teòrica i avaluació de simulacions, es relacionen els moviments dels vaixells amb errors de fase en les seves senyals SAR captades pel satèl·lit, així com el seu impacte en la posició i desenfocament de les seves respectives imatges. En aquesta tesi, s'identifica aquest desenfocament com un dels impediments per a la correcta extracció de les característiques dels vaixells basades en la geometria de la seva imatge SAR. Així, es proposa l'aplicació local de tècniques d¿enfocament automàtic clàssiques adaptades al cas d'imatge stripmap SLC, avaluant el seu acompliment mitjançant dades simulades i imatges reals d'embarcacions en entorns marítims de sensors com RADARSAT-2 i Cosmo-SkyMed. D'altra banda, mitjançant l'anàlisi conjunta de les imatges SAR dels vaixells al domini espacial i espectral, es proposen tècniques per a la automàtica extracció d'informació com les seves dimensions, rumb, velocitat, i la identificació bàsica del tipus d'embarcació. Finalment, aquesta tesi proposa la fusió d'aquest postprocessat en un algoritme per el reenfocament i extracció automàtica de característiques d'interès dels vaixells detectats en imatges stripmap SLC. L'avaluació i anàlisi dels resultats amb imatges de RADARSAT-2 i Cosmo-SkyMed suggereix el seu ús potencial en aplicacions operacionals, encara que com altres algoritmes d'identificació d'embarcacions, el seu acompliment resulta depenent de la complexitat de la imatge del vaixell.