Neural network-based data processing for satellite imagery in small satellite earth observation missions

Abstract

(English) The increasing availability and miniaturization of satellite sensors have enabled CubeSats to emerge as powerful platforms for Earth Observation (EO). Despite their reduced size and low cost, CubeSats can provide high-resolution geophysical information, provided that their intrinsic limitations, limited onboard power, processing capacity, storage, and downlink bandwidth, are effectively addressed. This thesis explores the development and implementation of efficient data processing methodologies that can operate under such constraints. By shifting part of the EO processing pipeline from the ground segment to the satellite itself, the goal is to enable autonomous, real-time analysis onboard, thus reducing the volume of data transmitted and increasing the timeliness and scientific value of satellite products. To this end, the thesis presents a series of algorithmic contributions spanning both traditional signal processing techniques and machine learning approaches, including neural networks. First, a lightweight deblurring methodology is proposed to mitigate image degradation caused by Attitude Determination and Control System (ADCS)-induced jitter in high-resolution optical CubeSat imagery. The method relies exclusively on inertial telemetry, estimating a spatially variant blur kernel and performing regularized deconvolution to restore image sharpness with minimal computational overhead. Second, the work introduces a two-stage neural network architecture to retrieve Sea Ice Concentration (SIC) and Sea Ice Extent (SIE) from L-band radiometric, and GNSS-Reflectometry (GNSS-R) data acquired by the FSSCat mission. The first network estimates coarse SIC/SIE maps using radiometry and auxiliary variables, while the second enhances resolution over GNSS-R reflection points, effectively combining the complementary strengths of both sensors. Third, the thesis proposes the Sequential Band Selection and Ranking (SBSR) algorithm for hyperspectral dimensionality reduction. This unsupervised method employs simple, interpretable metrics, entropy and spectral correlation, to iteratively select bands that maximize information content while minimizing redundancy. Its low computational complexity makes it well-suited for onboard execution. Finally, the SBSR approach is extended through a Convolutional Neural Network (CNN)-based model capable of performing band selection directly on coarsely aligned hyperspectral data, as typically encountered in pushbroom sensors onboard CubeSats. The CNN processes cross-correlation and autocorrelation matrices to produce band relevance scores, enabling robust selection without prior spatial co-registration. All methods were validated using real-world datasets from the PRISMA and FSSCat missions, as well as benchmark hyperspectral scenes (Indian Pines, Houston 2018). The results demonstrate that the proposed algorithms achieve comparable or superior performance to existing approaches while drastically reducing computational cost and data volume.

(Català) La creixent disponibilitat i miniaturització dels sensors satel·litals ha permès que els CubeSats esdevinguin plataformes potents per a l’Observació de la Terra (EO). Tot i el seu petit format i baix cost, els CubeSats poden proporcionar informació geofísica d’alta resolució, sempre que se superin les seves limitacions intrínseques: potència disponible, capacitat de processament, emmagatzematge i ample de banda de descàrrega. Aquesta tesi explora el desenvolupament i implementació de metodologies de processament de dades eficients que puguin operar dins d’aquests límits. En traslladar part del flux de processament des del segment terrestre al mateix satèl·lit, es busca habilitar una anàlisi autònoma i en temps real a bord, reduint el volum de dades transmeses i augmentant la rapidesa i el valor científic dels productes generats. Amb aquest objectiu, la tesi presenta una sèrie de contribucions algorítmiques que abracen tant tècniques tradicionals de processament de senyal com enfocaments d’aprenentatge automàtic, incloses les xarxes neuronals. En primer lloc, es proposa una metodologia lleugera de restauració per mitigar la degradació d’imatges causada per les vibracions induïdes pel sistema de determinació i control d’actitud (ADCS) en imatges òptiques d’alta resolució adquirides per CubeSats. El mètode es basa exclusivament en telemetria inercial, estimant un filtre de desenfocament espacialment variant i aplicant una deconvolució regularitzada amb un cost computacional mínim. En segon lloc, es presenta una arquitectura de xarxa neuronal en dues etapes per estimar la Concentració de Gel Marí (SIC) i l’Extensió de Gel Marí (SIE) a partir de dades radiomètriques en banda L i reflectometria GNSS (GNSS-R) obtingudes per la missió FSSCat. La primera xarxa estima mapes SIC/SIE de resolució grossa utilitzant la radiometria i variables auxiliars, mentre que la segona millora la resolució al llarg dels punts de reflexió GNSS-R, combinant així les fortaleses complementàries dels dos sensors. En tercer lloc, es proposa l’algorisme de Selecció i Ordenació Seqüencial de Bandes (SBSR) per a la reducció de dimensionalitat en imatges hiperespectrals. Aquest mètode no supervisat empra mètriques simples i interpretables, l’entropia i la correlació espectral, per seleccionar iterativament les bandes que maximitzen la informació i minimitzen la redundància. La seva baixa complexitat computacional el fa ideal per a una execució embarcada. Finalment, l’enfocament SBSR s’estén mitjançant un model basat en una Xarxa Neuronal Convolucional (CNN), capaç de fer la selecció de bandes directament sobre dades hiperespectrals amb desalineació parcial entre bandes, típicament adquirides amb sensors de tipus "pushbroom" en CubeSats. La CNN processa matrius de correlació i autocorrelació per generar puntuacions de rellevància espectral, permetent una selecció robusta sense necessitat de alineament espacial previ. Tots els mètodes han estat validats amb dades reals de les missions PRISMA i FSSCat, així com amb escenes hiperespectrals de referència (Indian Pines, Houston 2018). Els resultats demostren que els algorismes proposats aconsegueixen un rendiment comparable o superior al dels enfocaments existents, reduint dràsticament tant el cost computacional com el volum de dades.

(Español) La creciente disponibilidad y miniaturización de sensores satelitales ha permitido que los CubeSats se consoliden como plataformas potentes para la Observación de la Tierra (EO). A pesar de su reducido tamaño y bajo coste, los CubeSats pueden proporcionar información geofísica de alta resolución, siempre que se aborden adecuadamente sus limitaciones intrínsecas: potencia disponible, capacidad de procesamiento, almacenamiento y ancho de banda de descarga. Esta tesis explora el desarrollo e implementación de metodologías de procesamiento de datos eficientes que puedan operar bajo estas restricciones. Al trasladar parte de la cadena de procesamiento desde el segmento terrestre al propio satélite, se pretende habilitar un análisis autónomo y en tiempo real a bordo, reduciendo así el volumen de datos transmitidos y aumentando la inmediatez y el valor científico de los productos satelitales. Para ello, la tesis presenta una serie de contribuciones algorítmicas que abarcan tanto técnicas tradicionales de procesamiento de señal como enfoques de aprendizaje automático, incluidas redes neuronales. En primer lugar, se propone una metodología ligera de restauración para mitigar la degradación de imágenes causada por el "jitter" inducido por el sistema de determinación y control de actitud (ADCS) en imágenes ópticas de alta resolución obtenidas por CubeSats. El método se basa exclusivamente en telemetría inercial, estimando un filtro de desenfoque espacialmente variante y aplicando una deconvolución regularizada con un coste computacional mínimo. En segundo lugar, se presenta una arquitectura de red neuronal en dos etapas para estimar la Concentración de Hielo Marino (SIC) y la Extensión de Hielo Marino (SIE) a partir de datos radiométricos en banda L y de Reflectometría GNSS (GNSS-R) recogidos por la misión FSSCat. La primera red genera mapas SIC/SIE de baja resolución a partir de la radiometría y variables auxiliares, mientras que la segunda refina la resolución en los puntos de reflexión GNSS-R, combinando eficazmente las fortalezas complementarias de ambos sensores. En tercer lugar, se propone el algoritmo de Selección y Ordenación Secuencial de Bandas (SBSR) para la reducción de dimensionalidad en imágenes hiperespectrales. Este método no supervisado utiliza métricas simples e interpretables, como la entropía y la correlación espectral, para seleccionar iterativamente las bandas que maximizan la información y minimizan la redundancia. Su baja complejidad computacional lo hace ideal para su ejecución a bordo. Por último, se amplía el enfoque SBSR mediante un modelo basado en redes neuronales convolucionales (CNN) capaz de realizar la selección de bandas directamente sobre datos hiperespectrales con desalineación parcial entre bandas, como los que se obtienen habitualmente con sensores "pushbroom" en CubeSats. La CNN procesa matrices de correlación y autocorrelación para generar puntuaciones de relevancia espectral, permitiendo una selección robusta sin necesidad de alineación espacial previa. Todos los métodos han sido validados con datos reales de las misiones PRISMA y FSSCat, así como con escenas de referencia hiperespectrales (Indian Pines, Houston 2018). Los resultados demuestran que los algoritmos propuestos alcanzan un rendimiento comparable o superior al de las metodologías existentes, reduciendo drásticamente el coste computacional y el volumen de datos.