Advanced interaction techniques for medical models

Abstract

Advances in Medical Visualization allows the analysis of anatomical structures with the use of 3D models reconstructed from a stack of intensity-based images acquired through different techniques, being Computerized Tomographic (CT) modality one of the most common. A general medical volume graphics application usually includes an exploration task which is sometimes preceded by an analysis process where the anatomical structures of interest are first identified. The main objective of this thesis is the improvement of the user experience in the analysis and exploration of medical datasets. This improvement involves the development of efficient algorithms designed both under a user-centered perspective and taking the new computing capabilities into account in order to obtain high quality results in real-time. On the analysis stage, we have focused on the identification of the bones at joints, which is particularly challenging because the bones are very close to each other and their boundaries become ambiguous in CT images. We have concentrated our efforts on reaching maximum automation of the overall process. The proposed algorithm uses an example mesh of the same bone that has to be segmented, usually from a different person, to drive the segmentation process. The algorithm is based on an energy minimization scheme to deform the initial example mesh while following the well-defined features of the volume data to be segmented in a local and adaptive way. We also present contributions on three different aspects of the exploration task: a best-view determination system and centering in virtual reality environments, a focus-and-context technique and a point selection method. In medical practice it would often be very useful to have access to a quick pre-visualization of the involved medical dataset. We have proposed a new system which allows users to obtain a set of representative views in a short time and permits the generation of inspection paths at almost no extra cost. The technique relies on the use of a multiscale entropy measure for the generation of good viewpoints and uses a complexity-based metric, the normalized compression distance, for the calculation of the representative views set. In the exploration of medical datasets, it is difficult to simultaneously visualize interior and exterior structures because the structures are commonly quite complex and it is easy to lose the context. We have developed a new interaction tool, the Virtual Magic Lantern, tailored to facilitate volumetric data inspection in a Virtual Reality environment. It behaves like a lantern whose illumination cone determines the region of interest. It addresses the occlusion management problem and facilitates the inspection of inner structures without the total elimination of the exterior structures, offering in this way, a focus+context-based visualization of the overall structures. Finally, the analysis of medical datasets may require the selection of 3D points for measurements involving anatomical structures. Although there are well-established 3D object selection techniques for polygonal models, there is a lack of techniques specifically developed for volume datasets. We present a new selection technique for Virtual Reality setups which allows users to easily select anchor points in non-necessarily segmented volume datasets rendered using Direct Volume Rendering. This new metaphor is based on the use of a ray emanating from the user, whose trajectory is enriched with its points of intersection with the on-the-fly determination of the isosurfaces along the ray path. Additionally, a visual feedback of the ray selection is offered through the use of two helper mirror views, in order to show occluded candidate points that would otherwise be invisible to the user without posterior and ad-hoc manipulation.

Els avenços en la investigació en el camp de Medical Visualization permeten l’anàlisi de models volumètrics tridimensionals d’estructures anatòmiques obtinguts a partir d’imatgesmèdiques capturades mitjançant diferents tècniques, essent la Tomografia Computeritzada (TC) una de lesmés habituals. Generalment, les aplicacions informàtiques d’ajuda al diagnòstic, la simulació, etc., permeten l’exploració interactiva d’aquest tipus de models, una tasca que pot anar precedida d’un procés d’identificació (segmentació) de les estructures anatòmiques per tal de possibilitar la seva exploració. L’objectiu d’aquesta tesi és millorar l’eficiència i l’experiència de l’usuari, tant de la tasca de segmentació com de l’exploració. Per tal d’assolir-ho s’han desenvolupat diversos algorismes; dissenyats sota una perspectiva centrada en l’usuari i fent servir els darrers avenços tecnològics de las targes gràfiques, el que ens permet obtenir resultats visuals de màxima qualitat en temps real. Respecte de la tasca de segmentació, ens hem centrat en el problema de la identificació d’ossos ubicats en articulacions, en models capturats mitjançant TC. La identificació d’aquests ossos pot arribar a ser molt feixuga i costosa fent servir les tècniques clàssiques de segmentació. La recerca realitzada en elmarc de la tesi s’ha enfocat en assolir la màxima automatització possible del procés sencer. La tècnica proposada empra una malla triangular d’exemple de l’os que es vol segmentar, que es fará servir per guiar tot el procés de segmentació. L’algorisme deforma de forma local i adaptativa aquesta malla, adaptant-la a la informació present en el model volumètric en les parts en que la seva frontera està definida de forma no ambigua, i respectant la forma original en les zones en les que el model presenta algun tipus d’incertesa en la definició de la frontera, ja sigui be perque l’estructura òssia apareix totalment unida a altres estructures òssies de l’articulació o be degut a que la informació capturada no presenta una frontera ben contrastada. Per altra banda, en la pràctica clínica pot ser de molta utilitat oferir a l’usuari una previsualització ràpida del model volumètric que ha d’inspeccionar. En aquesta tesi elaborem una nova tècnica que permet obtenir en un temps acceptable un conjunt de vistes representatives d’un model volumètric, així comla generació automàtica d’una animació a l’entorn del model que facilita a l’usuari una ràpida comprensió del mateix. La tècnica desenvolupada utilitza una formulació de l’entropia multiescala per la obtenció de bones vistes i la distància de compressió normalitzada, una mètrica del camp de la teoria de la complexitat, per establir el conjunt de vistes representatives. En l’exploració de models mèdics pot ser difícil la visualització simultània d’estructures internes i externes. Per abordar aquest problema s’ha desenvolupat una nova tècnica d’interacció anomenada Virtual Magic Lantern, pensada per a facilitar la inspecció d’aquests models en entorns de realitat virtual. Aquesta metàfora d’interacció es comporta com una llanterna. El seu feix de llum determina una regió d’interès del model, que serà visualitzada emprant una funció de transferència específica permetent la visualització de les estructures internes sense eliminar el context de tot el model. En l’anàlisi de modelsmédics pot ser necessària la selecció de punts concrets per a poder realitzar algun tipus de medició entre estructures anatòmiques. Depenent del algorisme de visualització del model, determinar quin punt exactament vol seleccionar l’usuari pot no tenir un resultat únic. Per solventar aquest problema, s’ha desenvolupat una nova metàfora d’interacció per entorns de realitat virtual, que permet la selecció de punts en un model volumètric no necessàriament segmentat. Aquesta tècnica es basa en l’ús d’un raig originat en la mà de l’usuari, sobre el que es visualitzen els punts d’intersecció amb les estructures anatòmiques que travessa. Donat que la superfície d’aquestes estructures no està explícitament definida, s’ha requerit desenvolupar especialment un càlcul ràpid i precís de les seves interseccions amb el raig. Per tal de facilitar la visió dels punts interiors a superfícies opaques i enriquir la visualització global, s’afegeix sobre dos plans auxiliars la visió del volum tallat garantint la visibilitat total del conjunt de punts.

Los avances en la investigación en el área de Medical Visualization permiten el análisis de modelos volumétricos tridimensionales de estructuras anatómicas, los cuales se obtienen a partir de imágenes médicas capturadas mediante diferentes técnicas de captación, siendo la Tomografía Computerizada (TC) una de las más frecuentes. Habitualmente, las aplicaciones informáticas orientadas al análisis de este tipo de modelos, bien sean para el soporte al diagnóstico, simuladores médicos o la planificación de procesos quirúrgicos, permiten la exploración interactiva de los modelos volumétricos. Dependiendo de las estructuras anatómicas que se precise analizar, puede ser necesario realizar un proceso de identificación (segmentación) de las estructuras anatómicas para posibilitar su posterior inspección. El objetivo principal de esta tesis ha consistido en el desarrollo de nuevas técnicas informáticas que mejoren la experiencia del usuario en los procesos tanto de segmentación como de exploración de un modelo volumétrico. Para alcanzar dicho objetivo, ha sido necesario el desarrollo de algoritmos eficientes diseñados teniendo particularmente en cuenta al usuario final y explotando los últimos avances en la tecnología de las tarjetas gráficas para poder obtener resultados visuales de la máxima calidad en tiempo real. En lo relativo al proceso de segmentación, nos hemos centrado en la identificación de las estructuras óseas ubicadas en articulaciones, en modelos capturadosmediante TC. La identificación de este tipo de estructuras usando los métodos tradicionales de segmentación puede llegar a ser muy tediosa, debido a que puede necesitarse mucha intervención por parte del usuario. La investigación llevada a cabo ha tenido como objetivo principal el maximizar el grado de automatización en el proceso de segmentación de este tipo de estructuras. La técnica propuesta parte de un ejemplo de la estructura ósea (malla triangular) que se quiere segmentar, generada a partir de los datos o bien de otra persona o bien de la misma persona en otras circunstancias. A partir de este ejemplo el algoritmo deforma la malla de manera local y adaptativa, adaptandola a la información presente en elmodelo volumétrico en aquellas zonas donde la frontera de la estructura está definida de forma no ambígua, y respetando la forma de la malla original en aquellas otras zonas en las cuales el modelo volumétrico presenta algún tipo de incertidumbre en la definición de la frontera, ya sea porque la estructura ósea aparece totalmente unida a otras estructuras óseas de la articulación o debido a que la información capturada no presenta una frontera bien contrastada. En lo relativo al proceso de exploración, esta tesis presenta resultados en dos vertientes distintas. Por un lado, la generación automática de una previsualización del modelo volumétrico y por el otro lado, el desarrollo de nuevas técnicas de interacción que faciliten la exploración de modelos volumétricos en entornos de realidad virtual. Ofrecer al usuario una previsualización rápida del modelo volumétrico que ha de inspeccionar, puede ser de mucha utilidad en la práctica clínica. En esta tesis elaboramos un nuevo sistema que permite obtener en un tiempo razonable un conjunto de vistas representativas del modelo volumétrico, así como la generación de una animación alrededor del modelo que facilita al usuario una rápida comprensión del mismo. Las técnicas desarrolladas se basan en el uso de la entropía multiescala para el cálculo de vistas informativas del modelo volumétrico. A partir del conjunto de vistas calculadas y mediante el uso de la distancia de compresión normalizada, una métrica de Teoría de la Complejidad, se puede calcular un subconjunto de vistas representativas del modelo volumétrico. Por otro lado, en la exploración de modelos volumétricos puede ser difícil visualizar simultáneamente estructuras anatómicas internas y externas. Esto es debido a que las estructuras son bastantes complejas, y es fácil perder la referencia respecto a otras estructuras anatómicas. En esta tesis se ha desarrollado una nueva técnica de interacción, bautizada como VirtualMagic Lantern, orientada a facilitar la inspección de modelos volumétricos en entornos de realidad virtual. Esta nueva metáfora de interacción se comporta como una linterna de mano guiada por el usuario, cuyo haz de luz define sobre el modelo volumétrico una región de interés. Esta región de interés será visualizada utilizando una función de transferencia diferente a la usada para el resto del modelo, posibilitando de esta manera la inspección de estructuras internas sin eliminar totalmente el resto delmodelo. En el análisis de modelos médicos puede ser necesaria la selección de puntos concretos para poder realizar algún tipo de medición entre estructuras anatómicas. Dependiendo del tipo de visualización del modelo, determinar qué punto exactamente quiere seleccionar el usuario puede no tener un resultado único. Para solucionar este problema, se presenta una nuevametáfora de interacción en entornos de realidad virtual para la selección de puntos anatómicos de un modelo volumétrico no necesariamente segmentado. Esta técnica se basa en el uso de un rayo originado en la mano del usuario, sobre el que son visualizados los puntos de intersección de las estructuras anatómicas que atraviesa. Dado que la superficie de estas estructuras anatómicas no está explícitamente representada en el modelo volumétrico, se ha requerido desarrollar un cálculo preciso y rápido de la intersección del rayo con estas estructuras. Para ofrecer una visualización de los puntos calculados sin ningún tipo de oclusión por parte de las estructuras anatómicas existentes en el modelo, se ha añadido a la visualización global la visualización de dos paneles auxiliares en los cuales se muestra el mismo modelo volumétrico recortado de tal manera que sean completamente visibles el conjunto de los puntos. De esta forma, se facilita al usuario la selección de los puntos calculados sin tener que realizar ningún tipo de manipulación del modelo para poder obtener una visualización en la que los puntos calculados sean visibles.