Pyramidal regression-based coding for remote sensing data

Abstract

Los datos hiperespectrales capturados por teledetección cuentan con cientos o miles de componentes espectrales de similares longitudes de onda. Almacenarlos y transmitirlos conlleva una demanda excesiva en ancho de banda y memoria, ya de por sí bastante limitados, que pueden dar lugar a descartar información ya capturada o a dejar de capturarla. Para paliar estas limitaciones, se aplican algoritmos de compresión. Además, la tecnología de los sensores evoluciona continuamente, pudiéndose adquirir datos con mayores dimensiones. De ahí que, para no penalizar el funcionamiento y rendimiento de futuras misiones espaciales, se necesitan desarrollar métodos de compresión más competitivos.

Regression Wavelet Analysis (RWA) es el método de compresión sin pérdidas más eficiente en relación a la complejidad computacional y al rendimiento de codificación. RWA se describe como una transformada espectral sin pérdida seguida de JPEG 2000. Ésta aplica un nivel de descomposición de la transformada discreta de onda Haar y una regresión. Hay varios modelos de regresión (Maximum, Restricted y Parsimonious) y variantes (solo para Maximum).

Inicialmente, nos centramos en aumentar el rendimiento de codificación y/o reducir la complejidad computacional de RWA para diseñar técnicas de compresión más competitivas. Primero, investigamos en profundidad la influencia que tiene el reemplazar el filtro de RWA por transformadas más eficientes en cuanto a la compactación de energía. Para ello, redefinimos el modelo Restricted, reduciendo el tiempo de ejecución, incrementando el ratio de compresión, y preservando un cierto grado de escalabilidad por componente. Además, mostramos que las variantes de regresión se pueden aplicar a todos los modelos de regresión, disminuyendo así su complejidad computacional sin apenas penalizar el rendimiento de codificación. Nuestras nuevas configuraciones proporcionan ratios de compresión mayores o bastante competitivos con respecto a otras técnicas de menor y mayor complejidad.

Tras ello, describimos el impacto que tiene el aplicar un esquema de pesos predictivo (PWS) en el rendimiento de compresión cuando se decodifica de forma progresiva desde con-pérdida hasta sin-pérdida (PLL). La aplicación de estos pesos a todos los modelos de regresión y variantes de RWA con JPEG 2000 (PWS-RWA + JPEG 2000) mejora los resultados del esquema original (RWA + JPEG 2000). Por otro lado, vemos que un mejor rendimiento de la codificación no implica necesariamente mejores clasificaciones. De hecho, en comparación con otras técnicas que recuperan la escena con mayor calidad, PWS-RWA + JPEG 2000 provee de mejores clasificaciones cuando la distorsión en la recuperación es elevada.

Para obtener una implementación de más baja complejidad computacional, presentamos resultados de RWA acompañada de un codificador que se puede ejecutar a bordo. Además, con un sencillo criterio de decisión conseguimos tasas de bits más bajas, mejorando al esquema original y otras técnicas de compresión sin pérdidas al obtener ganancias de codificación promedio entre 0,10 y 1,35 bits-por-píxel-por-componente.

Finalmente, presentamos la primera técnica de compresión sin-pérdida/casi-sin-pérdida basada en un sistema piramidal que aplica regresión. Para ello, ampliamos RWA introduciendo cuantización y un algoritmo de retroalimentación para controlar independientemente el error de cuantificación en cada nivel de descomposición, al mismo tiempo que preservamos la complejidad computacional. Proporcionamos también una ecuación que limita el máximo error en valor absoluto admisible en la reconstrucción. A su vez, evitamos probar la gran cantidad de combinaciones posibles de pasos de cuantificación mediante el desarrollo de un esquema de asignación de pasos. Nuestra propuesta, llamada NLRWA, logra obtener un rendimiento de codificación muy competitivo y recuperar la escena con mayor fidelidad. Por último, cuando el codificador por entropía se basa en planos de bits, NLRWA puede proporcionar una compresión progresiva desde con-pérdida hasta sin-pérdida/casi-sin-pérdida y cierto grado de integrabilidad.

Remote sensing hyperspectral data have hundreds or thousands of spectral components from very similar wavelengths. To store and transmit it entails excessive demands on bandwidth and on on-board memory resources, which are already strongly restricted. This leads to stop capturing data or to discard some of the already recorded information without further processing. To alleviate these limitations, data compression techniques are applied. Besides, sensors' technology is continuously evolving, acquiring higher dimensional data. Consequently, in order to not jeopardize future space mission's performance, more competitive compression methods are required.

Regression Wavelet Analysis (RWA) is the state-of-the-art lossless compression method regarding the trade-off between computational complexity and coding performance. RWA is introduced as a lossless spectral transform followed by JPEG 2000. It applies a Haar Discrete Wavelet Transform (DWT) decomposition and sequentially a regression operation. Several regression models (Maximum, Restricted and Parsimonious) and variants (only for the Maximum model) have been proposed.

With the motivation of outperforming the latest compression techniques for remote sensing data, we began focusing on improving the coding performance and/or the computational complexity of RWA. First, we conducted an exhaustive research of the influence of replacing the underlying wavelet filter of RWA by more competitive Integer Wavelet Transforms (in terms of energy compaction). To this end, we reformulated the Restricted model, reducing the execution time, increasing the compression ratio, and preserving some degree of component-scalability. Besides, we showed that the regression variants are also feasible to apply to other models, decreasing their computational complexity while scarcely penalizing the coding performance. As compared to other lowest- and highest-complex techniques, our new configurations provide, respectively, better or similar compression ratios.

After gaining a comprehensive understanding of the behavior of each operation block, we described the impact of applying a Predictive Weighting Scheme (PWS) in the Progressive Lossy-to-Lossless (PLL) compression performance. PLL decoding is possible thanks to the use of the rate control system of JPEG 2000. Applying this PWS to all the regression models and variants of RWA coupled by JPEG 2000 (PWS-RWA + JPEG 2000) produces superior outcomes, even for multi-class digital classification. From experimentation, we concluded that improved coding performance does not necessarily entail better classification outcomes. Indeed, in comparison with other widespread techniques that obtain better rate-distortion results, PWS-RWA + JPEG 2000 yields better classification outcomes when the distortion in the recovered scene is high. Moreover, the weighted framework presents far more stable classification versus bitrate trade-off.

JPEG 2000 may be too computationally expensive for on-board computation. In order to obtain a cheaper implementation, we render results for RWA followed by another coder amenable for on-board operation. This framework includes the operation of a smart and simple criterion aiming at the lowest bitrates. This final pipeline outperforms the original RWA + JPEG 2000 and other state-of-the-art lossless techniques by obtaining average coding gains between 0.10 to 1.35 bits-per-pixel-per-component.

Finally, we present the first lossless/near-lossless compression technique based on regression in a pyramidal multiresolution scheme. It expands RWA by introducing quantization and a feedback loop to control independently the quantization error in each decomposition level, while preserving the computational complexity. To this end, we provide a mathematical formulation that limits the maximum admissible absolute error in reconstruction. Moreover, we tackle the inconvenience of proving the huge number of possible quantization steps combinations by establishing a quantization steps-allocation definition. Our approach, named NLRWA, attains competitive coding performance and superior scene's quality retrieval. In addition, when coupled with a bitplane entropy encoder, NLRWA supports progressive lossy-to-lossless/near-lossless compression and some degree of embeddedness.