Super-resolution and semantic segmentation of remote sensing images using deep learning techniques

Abstract

(English) Remote sensing for Earth observation is a growing scientific field essential for many human activities. Among the different applications in the Remote Sensing domain, the production of thematic maps, such as Land Cover and Land Use, are among the most relevant, as this information plays a critical role in management, planning and monitoring activities at different levels. In this context, the Sentinel-2 satellites are of great importance since they provide open data on land and coastal areas at different spatial resolutions (10, 20, and 60 m), democratizing usability, and creating a high potential for the generation of valuable information, useful in many scenarios, such as agriculture, forestry, land cover and urban planning, among others.

In this thesis, we aim to exploit the usability of Sentinel-2 data by applying deep learning techniques, which are revolutionizing the world of computer vision and, recently, remote sensing. First, we propose super-resolution models to improve the spatial details of the different Sentinel-2 bands, and second, we propose the conjunction of semantic segmentation with super-resolution to generate improved land cover maps that benefit from the enhanced spatial details of the bands.

We first address super-resolution by proposing two different models, one for the 10 m/pixel bands to reach 2 m/pixel and another for the 20 and 60 m/pixel bands to achieve 10 m/pixel. Then, we propose two different multitasking models to derive land cover maps. The first one extending a semantic segmentation model to produce an additional super-resolution image and the second, improving our first super-resolution approach, to provide a semantic segmentation map, as well. We combine features of the different tasks within a single model to improve performance and to generate a high-resolution image with the corresponding high- quality land cover map. All models developed were evaluated, quantitatively and qualitatively, using different datasets, showing excellent performance in diverse complex scenarios.

(Español) La teledetección para la observación de la Tierra es un disciplina científica de gran crecimiento para muchas actividades humanas. Entre las diferentes aplicaciones en el dominio de la teledetección, la producción de mapas temáticos, tales como mapas de cobertura y uso del suelo, se encuentran entre las más relevantes, ya que esta información juega un papel fundamental en las actividades de gestión, planificación y seguimiento a diferentes niveles. En este contexto, los satélites Sentinel-2 son de gran importancia, ya que brindan datos abiertos sobre áreas terrestres y costeras en diferentes resoluciones espaciales (10, 20 y 60 m), democratizando la usabilidad y creando un alto potencial para la generación de valiosa información, útil en muchos escenarios, como la agricultura, la silvicultura, la cobertura del suelo y la planificación urbana, entre otros.

En esta tesis pretendemos explotar la usabilidad de los datos de Sentinel-2 mediante la aplicación de técnicas de aprendizaje profundo, que están revolucionando el mundo de la visión artificial y, recientemente, la teledetección. En primer lugar, proponemos modelos de superresolución para mejorar los detalles espaciales de las diferentes bandas de Sentinel-2 y, en segundo lugar, proponemos la conjunción de segmentación semántica con superresolución para generar mapas de cobertura terrestre mejorados que se beneficien de los detalles espaciales mejorados de la bandas.

En primer lugar, abordamos la superresolución proponiendo dos modelos diferentes, uno para las bandas de 10 m/píxel para alcanzar los 2 m/píxel y otro para las bandas de 20 y 60 m/píxel para alcanzar los 10 m/píxel. Luego, proponemos dos modelos multitareas diferentes para derivar mapas de cobertura terrestre. El primero, que amplía un modelo de segmentación semántica para generar una imagen de superresolución adicional y el segundo, que mejora nuestro primer enfoque de superresolución, para proporcionar también un mapa de segmentación semántica. Combinamos características de las diferentes tareas dentro de un solo modelo para mejorar el rendimiento y generar una imagen de alta resolución con el correspondiente mapa de cobertura terrestre de alta calidad. Todos los modelos desarrollados fueron evaluados, cuantitativa y cualitativamente, utilizando diferentes conjuntos de datos, mostrando unas prestaciones excelentes en el desempeño en diversos escenarios complejos.