Sounder spectral data compression

Abstract

IASI (Infrared Atmospheric Sounding Interferometer) es un espectrómetro basado en la transformada de Fourier diseñado para medir radiación infrarroja emitida por La Tierra. A partir de estas mediciones se generan datos con una precisión y resolución espectral sin precedentes. Esta información es útil para obtener perfiles de temperatura y humedad, así como concentraciones de gases traza, que son esenciales para la comprensión y monitorización del clima y para realizar previsiones atmosféricas.

La alta resolución espectral, espacial y temporal de los datos producidos por el instrumento implica generar productos con un tamaño considerablemente grande, lo que demanda el uso de técnicas de compresión eficientes para mejorar tanto las capacidades de transmisión como las de almacenamiento. En esta tesis se realiza un exhaustivo análisis de la compresión de datos IASI y se proporcionan recomendaciones para generar datos reconstruidos útiles para el usuario final. En este análisis se utilizan datos IASI transmitidos a las estaciones de recepción (productos IASI L0) y datos destinados a usuarios finales que son distribuidos a centros de predicción numérica y a la comunidad científica en general (productos IASI L1C).

Para comprender mejor la naturaleza de los datos capturados por el instrumento se analizan las estadísiticas de la información y el rendimiento de varias técnicas de compresión en datos IASI L0. Se estudia la entropía de orden-0 y las entropías contextuales de orden-1, orden-2 y orden-3. Este estudio revela que el tamaño de los datos se podría reducir considerablemente explotando la entropía de orden-0. Ganancias más significativas se podrían conseguir si se utilizaran modelos contextuales. También se investiga el rendimiento de varias técnicas de compresión sin pérdida. Los resultados experimentales sugieren que se puede alcanzar un ratio de compresión de 2,6:1, lo que implica que sería posible transmitir más datos manteniendo la tasa de transmisión original o, como alternativa, la tasa de transmisión del instrumento se podría reducir.

También se realiza un exhaustivo análisis de la compresión de datos IASI L1C donde se evalúa el rendimiento de varias transformadas espectrales y técnicas de compresión. La experimentación abarca compresión sin pérdida, compresión casi sin pérdida y compresión con pérdida sobre una amplia gama de productos IASI-A e IASI-B. Para compresión sin pérdida es posible conseguir ratios de compresión superiores a 2,5:1. Para compresión casi sin pérdida y compresión con pérdida se pueden alcanzar ratios de compresión mayores a la vez que se producen espectros reconstruidos de calidad.

Aunque la compresión casi sin pérdida y la compresión con pérdida producen ratios de compresión altos, la utilidad de los espectros reconstruidos se puede ver comprometida ya que cierta información es eliminada durante la etapa de compresión. En consecuencia, se estudia el impacto de la compresión casi sin pérdida y la compresión con pérdida en aplicaciones de usuario final. Concretamente, se evalúa el impacto de la compresión en datos IASI L1C cuando algoritmos estadísticos se utilizan posteriormente para predecir información física a partir de los espectros reconstruidos. Los resultados experimentales muestran que el uso de espectros reconstruidos puede conseguir resultados de predicción competitivos, mejorando incluso los resultados que se obtienen cuando se utilizan datos sin comprimir.

A partir del análisis previo se estudia el origen de los beneficios que produce la compresión obteniendo dos observaciones principales. Por un lado, la compresión produce eliminación de ruido y filtrado de la señal lo que beneficia a los métodos de predicción. Por otro lado, la compresión es una forma indirecta de producir regularización espectral y espacial entre píxeles vecinos lo que beneficia a algoritmos que trabajan a nivel de píxel.

The Infrared Atmospheric Sounding Interferometer (IASI) is a Fourier Transform Spectrometer implemented on the MetOp satellite series. The instrument is intended to measure infrared radiation emitted from the Earth. IASI produces data with unprecedented accuracy and spectral resolution. Notably, the sounder harvests spectral information to derive temperature and moisture profiles, as well as concentrations of trace gases, essential for the understanding of weather, for climate monitoring, and for atmospheric forecasts.

The large spectral, spatial, and temporal resolution of the data collected by the instrument involves generating products with a considerably large size, about 16 Gigabytes per day by each of the IASI-A and IASI-B instruments currently operated. The amount of data produced by IASI demands efficient compression techniques to improve both the transmission and the storage capabilities. This thesis supplies a comprehensive analysis of IASI data compression and provides effective recommendations to produce useful reconstructed spectra. The study analyzes data at different processing stages. Specifically, we use data transmitted by the instrument to the reception stations (IASI L0 products) and end-user data disseminated to the Numerical Weather Prediction (NWP) centres and the scientific community (IASI L1C products).

In order to better understand the nature of the data collected by the instrument, we analyze the information statistics and the compression performance of several coding strategies and techniques on IASI L0 data. The order-0 entropy and the order-1, order-2, and order-3 context-based entropies are analyzed in several IASI L0 products. This study reveals that the size of the data could be considerably reduced by exploiting the order-0 entropy. More significant gains could be achieved if contextual models were used. We also investigate the performance of several state-of-the-art lossless compression techniques. Experimental results suggest that a compression ratio of 2.6:1 can be achieved, which involves that more data could be transmitted at the original transmission rate or, alternatively, the transmission rate of the instrument could be further decreased.

A comprehensive study of IASI L1C data compression is performed as well. Several state-of-the-art spectral transforms and compression techniques are evaluated on IASI L1C spectra. Extensive experiments, which embrace lossless, near-lossless, and lossy compression, are carried out over a wide range of IASI-A and IASI-B orbits. For lossless compression, compression ratios over 2.5:1 can be achieved. For near-lossless and lossy compression, higher compression ratios can be achieved, while producing useful reconstructed spectra.

Even though near-lossless and lossy compression produce higher compression ratios compared to lossless compression, the usefulness of the reconstructed spectra may be compromised because some information is removed during the compression stage. Therefore, we investigate the impact of near-lossless and lossy compression on end-user applications. Specifically, the impact of compression on IASI L1C data is evaluated when statistical retrieval algorithms are later used to retrieve physical information. Experimental results reveal that the reconstructed spectra can enable competitive retrieval performance, improving the results achieved for the uncompressed data, even at high compression ratios.

We extend the previous study to a real scenario, where spectra from different disjoint orbits are used in the retrieval stage. Experimental results suggest that the benefits produced by compression are still significant. We also investigate the origin of these benefits. On the one hand, results illustrate that compression performs signal filtering and denoising, which benefits the retrieval methods. On the other hand, compression is an indirect way to produce spectral and spatial regularization, which helps pixel-wise statistical algorithms.