Contributions to the interactive visualization of medical volume models in mobile devices

Abstract

With current medical imaging improvements, specialists are being able to obtain correct information of anatomical structures of the human organism. By using different image visualization techniques, experts can obtain suitable images for bones, soft tissues, bloodstream among others. Present algorithms generate images with better and better resolution and information accuracy. Medical doctors are being more familiarized with three-dimensional structures reconstructed from bi-dimensional images. As a result, hospitals are becoming interested in tele-medicine and tele-diagnostic solutions. Client-server applications allow these functionalities. Sometimes the use of mobile devices is necessary due to their portability and easy maintenance. However, transmission time for the volumetric information and low performance hardware properties make quite complex the design of efficient visualization systems on these devices. The main objective of this thesis is to enrich user experience during the interactive visualization of volumetric medical models in low performance devices. To achieve this, a new transfer-function aware compression/decompression mechanism adapted to transmission, reconstruction and visualization has been studied. This work proposes several schemes to exploit the use of transfer functions (TFs) to enhance volume compression during data transmission to mobile devices. As far as we know, this possibility has not been considered by any of the described approaches in the previous work. The Wavelet-Based Volume Compression for Remote Visualization approach is a TF-aware compression scheme. It supports inspection of complex volume models with maximum level of detail in selected regions of interest (ROIs). It uses a GPU-based, ROI-aware ray-casting rendering algorithm in the client, with a limited amount of information being sent over the Network, decreasing storage size in the client side. Regarding the Remote Exploration of Volume Models using Gradient Octrees scheme, we have shown that this technique can efficiently encode volume datasets. It supports high-quality visualizations with Transfer Functions from a predefined TFs set. In the present implementation, Transfer Function sets can encode up to ten different volume materials. Gradient Octrees are multi-resolution, supporting progressive transmission and avoiding gradient computations in the client device. That is, Gradient Octrees encodes precomputed gradients to save costly computations in the client, and support illumination-based ray-casting without extra computations in the client GPU. The proposed scheme presents a minimum loss of visual quality as compared to state of the art ray-casting renderings. The octree structure is compacted into a small volume array and a set of texture-coded arrays, with only one bit per octree node. The proposed scheme supports planar volume sections which are visualized with high-resolution volume information, besides interactive extrusion of specific structures. As a final contribution, a Hybrid ROI-based Visualization Algorithm has been proposed. It inherits the advantages of the previously described contributions while keeping a good performance in terms of bandwidth requirements and storage needs in client devices. The scheme is flexible enough to represent several materials and volume structures in the ROI area at high resolution with a very limited information transmission cost. The Hybrid approach has been proved to be specially well suited in the case of large models. Experimental results show that this Hybrid approach is a scalable scheme, with compression rates that decrease when the size of the volume model increases.

Los adelantos actuales en imagenes médicas están permitiendo a los especialistas obtener información cada vez más precisa de las estructuras anatómicas del organismo humano. Mediante la utilización de diferentes técnicas de visualización, los expertos pueden obtener imágenes de calidad para los huesos, tejidos blandos y torrente sanguíneo, entre otros. Los actuales algoritmos de procesamiento de imágenes garantizan el equilibrio entre la resolución y la exactitud de la información. Paralelamente, los médicos están más familiarizados con las estructuras tridimensionales reconstruidas a partir de imágenes en dos dimensiones. Por otro lado, los hospitales están incorporando la tele-medicina y el tele-diagnóstico entre sus soluciones técnicas. Las aplicaciones cliente-servidor permiten estas funcionalidades. En ocasiones el uso de dispositivos móviles es necesario debido a su fácil mantenimiento y a su portabilidad. Sin embargo, el tiempo de transmisión de la información volumétrica así como el bajo rendimiento del hardware en estos dispositivos, hacen que el diseño de sistemas eficientes de visualización sea todavía una tarea compleja. El objetivo principal de esta tesis es enriquecer la experiencia del usuario en la visualización interactiva de modelos volumétricos de medicina en dispositivos de bajo rendimiento. Para conseguir esto, se ha puesto en práctica la implementación de un mecanismo de compresión/descompresión que depende de funciones de transferencia para optimizar la transmisión, reconstrucción y la visualización en estos dispositivos. Esta tesis, por lo tanto, propone varios esquemas para aprovechar el uso de las funciones de transferencia (TFs) e incrementar el ratio de compresión del volumen durante la transmisión a los dispositivos móviles. De acuerdo con nuestros conocimientos, ninguna de las técnicas descritas en los trabajos presentados anteriormente ha considerado esta posibilidad. El esquema de compresión de volumen basado en Wavelets para la visualización remota, es una propuesta para compresión que tiene en cuenta la función de transferencia. Permite la inspección de modelos de volumen complejos con máximos niveles de detalles en regiones de interés seleccionados. El rendering ejecuta un ray-casting adaptado a modelos con regiones de interés orientado a la GPU en el cliente con una cantidad de información muy limitada que se envía por la red. La otra contribución de esta tesis es la implementación de un esquema para la exploración remota de modelos volumétricos mediante Gradient Octrees. Esta técnica codifica de manera eficiente datos de volumen mientras garantiza visualizaciones de alta calidad con funciones de transferencias predefinidas en un determinado conjunto. La actual implementación permite codificiar hasta 10 materiales diferentes en los datos de Volumen. Gradient Octrees es una técnica multi-resolución, permite la transmisión progresiva y evita los cálculos del gradiente en el dispositivo cliente. En efecto, esta aproximación codifica gradientes previamente calculados para reducir el coste de los cálculos en la GPU del cliente y garantizar el ray-casting con iluminación en la GPU del dispositivo. En comparación con las propuestas estudiadas la pérdida de la calidad visual en los Gradient Octrees es mínima. La estructura del octree es compacta, compuesta de un pequeño vector de volumen y un conjunto de vectores de texturas codificadas, que utilizan solo 1 bit por nodo del octree. El esquema soporta además secciones planas de volumen que contienen información de alta resolución, además de la extrusión de estructuras en los modelos visualizados