Multimodal visualization based on mutual information

Abstract

Medical imaging and 3D volumetric visualization are a standard routine for patient diagnosis and treatment. Multimodal visualization plays an important role in medical diagnosis and treatment, because it makes findings possible that might be missed when each modality is considered separately. Despite the advantages of multimodal visualization, its application in real medical context is still lacking due to the complexity of the technique. To overcome these limitations, we will focus this thesis on the automation of the fusion step and the main involved processes: the information fusion and the transfer function design. On the other hand, we will study the quality evaluation of a rendering where we will propose an objective quality metric, which can be used to assess and optimize different visualization processes. We will utilize information theory tools in order to tackle all described problems

La imatge mèdica i la visualització volumètrica tridimensional és un procés bàsic pel diagnòstic i tractament de pacients. La visualització multimodal juga un paper important en el diagnòstic i tractament mèdic perquè combina diferents modalitats d’imatge i permet detectar elements que podrien passar desapercebuts si s'analitzessin les modalitats per separat. Malgrat els avantatges de la visualització multimodal, la seva aplicabilitat en el món mèdic és poc rellevant degut a la complexitat de les tècniques. Per intentar pal·liar aquestes limitacions, en aquesta tesi ens centrarem en l’automatització de procés de fusió basat en dos passos: la fusió d’informació i la definició d’una funció de transferència. Per altar banda, estudiarem com avaluar la qualitat d’una visualització proposant una mètrica de qualitat que podrà ser utilitzada per a l’assistència i optimització de diferents processos de la visualització. En aquesta tesi utilitzarem eines de teoria de la informació per afrontar els problemes descrits