Self-supervised Advanced Deep Learning for Characterization of Brain Tumor Aggressiveness and Prognosis Analysis Through Multimodality MRI Imaging

Abstract

La detecció precoç, la delimitació automàtica i l'estimació del volum són tasques vitals per a la predicció de la supervivència i la planificació del tractament dels pacients amb tumor cerebral. Tanmateix, els gliomes sovint són difícils de localitzar i delimitar amb la segmentació manual convencional a causa de la seva gran variació de forma, ubicació i aparença. A més, la delimitació manual de marques és un treball laboriós i que requereix temps per a un neurocirurgià. A més, és difícil replicar els resultats de la segmentació a causa de certs factors de funcionament pràctic. En els últims anys, les xarxes neuronals de convolució (CNN) s'utilitzen àmpliament per a la classificació i segmentació automatitzada d'imatges mèdiques. Per tant, l'objectiu de la present tesi és desenvolupar un sistema per automatitzar l'anàlisi de tumors cerebrals (com la segmentació de tumors cerebrals i la predicció de supervivència), utilitzant tècniques d'aprenentatge profund i aplicant-les a les imatges de ressonància magnètica per segmentar les classes de tumors cerebrals (Enhancing Tumor). , Tumor no millorant i Edema peritumoral) i estimant els dies de supervivència dels pacients per a l'anàlisi del pronòstic. En aquest estudi, es van dissenyar i provar diversos models d'aprenentatge profund basats en 2D i 3D per a la segmentació del tumor cerebral multiclasse i la predicció de supervivència dels pacients amb tumor cerebral. Vam proposar un model CNN 2D (BrainSeg-DCANet) i després vam proposar una xarxa residual d'inici profunda 2D multivista (axial, sagital i coronal) per a la segmentació del tumor cerebral. A partir de llavors, es va introduir un aprenentatge contrastiu autosupervisat en dues etapes basat en CNN en 3D mitjançant transformadors CNN basats en l'atenció multiescala en paral·lel per a la segmentació volumètrica del tumor cerebral en 3D. Finalment, es va realitzar una predicció de supervivència basada en imatges de RM en 3D. S'utilitzen tècniques d'extracció de múltiples característiques per extreure les característiques de la imatge de ressonància magnètica volumètrica 3D i després s'apliquen diferents tècniques de regressió a les característiques extretes. Les troballes de la tesi van demostrar que les tècniques proposades poden produir una eina assistida per ordinador clínicament útil per a la segmentació d

La detección temprana, la delimitación automática y la estimación del volumen son tareas vitales para la predicción de la supervivencia y la planificación del tratamiento de los pacientes con tumores cerebrales. Sin embargo, los gliomas a menudo son difíciles de localizar y delinear con la segmentación manual convencional debido a su gran variación de forma, ubicación y apariencia. Además, la delineación manual de marcas es un trabajo laborioso y lento para un neurocirujano. Además, es difícil replicar los resultados de la segmentación debido a ciertos factores prácticos de operación. En los últimos años, las redes neuronales de convolución (CNN) se utilizan ampliamente para la clasificación y segmentación automatizadas de imágenes médicas. Por lo tanto, el objetivo de la presente tesis es desarrollar un sistema para automatizar el análisis de tumores cerebrales (como la segmentación de tumores cerebrales y la predicción de supervivencia), utilizando técnicas de aprendizaje profundo y aplicándolas a las imágenes de resonancia magnética para segmentar las clases de tumores cerebrales (Enhancing Tumor , Tumor sin realce y Edema peritumoral) y estimar los días de supervivencia de los pacientes para el análisis pronóstico. En este estudio, se diseñaron y probaron varios modelos de aprendizaje profundo basados ​​en 2D y 3D para la segmentación de tumores cerebrales de clases múltiples y la predicción de supervivencia de los pacientes con tumores cerebrales. Propusimos un modelo CNN 2D (BrainSeg-DCANet) y luego propusimos una red residual de inicio profundo multivista 2D (axial, sagital y coronal) para la segmentación de tumores cerebrales. A partir de entonces, se introdujo un aprendizaje contrastivo autosupervisado de dos etapas basado en CNN en 3D que utiliza transformadores de CNN basados ​​en la atención de múltiples escalas y vistas múltiples paralelas para la segmentación volumétrica de tumores cerebrales en 3D. Finalmente, se realizó una predicción de supervivencia basada en imágenes de RM 3D. Se utilizan múltiples técnicas de extracción de características para extraer las características de la imagen de resonancia magnética volumétrica 3D y luego se aplican diferentes técnicas de regresión a las características extraídas. Los hallazgos de la tesis mostraron que las técnicas propuestas pueden producir una h

Early detection, automatic delineation, and volume estimation are vital tasks for survival prediction and treatment planning of brain tumor patients. However, gliomas are often difficult to localize and delineate with conventional manual segmentation due to their high variation of shape, location, and appearance. Moreover, manual mark delineation is laborious and time-consuming work for a neurosurgeon. In addition, it is difficult to replicate the segmentation results due to certain practical operation factors. In recent years, convolution neural networks (CNNs) are widely used for the automated classification and segmentation of medical images. Therefore, the focus of the present thesis is to develop a system for automating brain tumor analysis (such as brain tumor segmentation, and survival prediction), using deep learning techniques and applying them to the MRI images for segmenting the brain tumor classes (Enhancing Tumor, Non-enhancing Tumor, and Peritumoral Edema) and estimating the survival days of the patients for prognosis analysis. In this study, various 2D and 3D based deep learning models were designed and tested for the multi-class brain tumor segmentation and survival prediction of the brain tumor patients. We proposed a 2D CNN model (BrainSeg-DCANet) then we proposed a 2D multiview (axial, sagittal, and coronal) deep inception residual network for brain tumor segmentation. Thereafter, a 3D CNN based Two-stage Self-supervised Contrastive Learning using Parallel Multiview Multiscale Attention-based CNN Transformers for 3D brain tumor volumetric segmentation was introduced. Finally, a 3D MR image-based survival prediction was performed. Multiple feature extraction techniques are used to extract the features from the 3D volumetric MRI image and then different regression techniques are applied to the extracted features. The thesis’s findings showed that the proposed techniques can produce a clinically helpful computer-aided tool for brain tumor segmentation and survival prediction by MRI Images.