Deep learning applied to brain MRI data for patient stratification and prediction of multiple sclerosis disease course

Abstract

L'esclerosi múltiple és una malaltia crònica del sistema nerviós central caracteritzada per la inflamació, la desmielinització i la neurodegeneració. L'esclerosi múltiple és una de les principals causes no traumàtiques de discapacitat irreversible en adults joves, la qual presenta un curs altament variable entre individus. En la pràctica clínica, l'ús d'imatges de ressonància magnètica ha esdevingut una eina essencial en la diagnosi i prognosi de l'esclerosi múltiple. En els últims anys, la combinació de models basats en l'aprenentatge profund (deep learning) amb imatges de ressonància magnètica ha presentat resultats prometedors en l'estudi de l'esclerosi múltiple. No obstant això, les característiques predictives subjacents de la progressió de l'esclerosi múltiple encara són desconegudes. En aquesta tesi doctoral, qüestionem si els mètodes d'aprenentatge profund aplicats únicament a l'anàlisi de imatges cerebrals de ressonància magnètica poden ser utilitzats per predir diferents estats del curs de la malaltia en pacients amb esclerosi múltiple i, com podrien ser aplicats en la pràctica clínica. Per aconseguir aquest objectiu, presentem dues aproximacions per a l'estratificació de pacients amb esclerosi múltiple: dos estudis d'anàlisis transversals i un estudi de pronòstic. Per a cada proposta, incloem estratègies d'interpretació per a que els models d'aprenentatge profund siguin més explicatius i fiables des d'un punt de vista clínic. Tots els experiments que composen aquesta tesi doctoral han estat realitzats amb una cohort interna de pacients amb esclerosi múltiple seguits prospectivament en el temps després del seu primer brot desmielinitzant. En el primer estudi, vam proposar un model d'aprenentatge profund per a l'estratificació binària de pacients amb esclerosi múltiple en funció de la seva puntuació de discapacitat avaluada per un neuròleg. El model presentat, únicament pren com a entrada imatges de ressonància magnètica cerebral en un únic punt temporal en qualsevol estat del curs de la malaltia. En avaluar la interpretació dels resultats obtinguts mitjançant mapes d'atenció, vàrem observar una major importància en el còrtex frontotemporal i el cerebel en el desenvolupament de l'acumulació de discapacitat. En el següent estudi, vàrem analitzar l'ús del mateix model d'aprenentatge profund utilitzant diferents dades d'entrada regionals, prèviament definides, per a comparar-les amb l'entrada global de tot el cervell. Aquestes regions incloïen els teixits de matèria blanca i matèria grisa, els ventricles laterals, el cerebel i tronc cerebral i les estructures subcorticals de matèria grisa. Tot i que el model regional de matèria grisa va obtenir el millor rendiment, en avaluar els models en un conjunt de dades d'una cohort externa, es va suggerir que l'enfocament global oferia un millor rendiment i més robust per a la generalització. Finalment, vam proposar un model de supervivència en temps discret per predir la probabilitat de desenvolupar una primera progressió independent de l'activitat de brots (PIRA, per les sigles en anglès) a partir de la primera ressonància magnètica del cervell després del primer brot desmielinitzant. Amb els resultats obtinguts, vam ser capaços de millorar el poder predictiu d'un model de supervivència clàssic construït amb el predictor de PIRA més rellevant, l'edat en el primer brot. En aquesta tesi doctoral, hem desenvolupat amb èxit models d'aprenentatge profund precisos i automatitzats amb el suport d'algoritmes d'interpretació que intenten revelar quines regions en el cervell dirigeixen les decisions obtingudes a partir del model. Aquest treball marca els passos inicials de potencials models predictius destinats a millorar la gestió dels pacients amb esclerosi múltiple, aplanant el camí cap a la seva potencial integració en la pràctica clínica en el futur.

La esclerosis múltiple (EM) es una enfermedad crónica del sistema nervioso central caracterizada por la inflamación, la desmielinización y la neurodegeneración. La EM es una de las principales causas no traumáticas de discapacidad irreversible en adultos jóvenes y cuyo curso de la enfermedad varía ampliamente entre individuos. En la práctica clínica, el uso de imágenes de resonancia magnética (RM) ha acontecido una herramienta esencial en el diagnóstico y pronóstico de la EM. En los últimos años, la combinación de modelos basados en aprendizaje profundo (deep learning) con imágenes de RM ha presentado resultados prometedores en el estudio de la EM. Sin embargo, las características predictivas subyacentes de la progresión de la EM aún son desconocidas. En esta tesis doctoral, cuestionamos si los modelos de aprendizaje profundo aplicados únicamente al análisis de imágenes cerebrales de RM pueden utilizarse para predecir diferentes estados del curso de la enfermedad en pacientes con EM y su potencial aplicabilidad en la práctica clínica. Para lograr este objetivo, presentamos dos aproximaciones diferentes para la estratificación de pacientes con EM en estudios transversales y un estudio de pronóstico. Para cada propuesta, incluimos estrategias de interpretación para que los modelos de aprendizaje profundo sean más explicativos y fiables des de un punto de vista clínico. Todos los experimentos que componen esta tesis doctoral han sido realizados con una cohorte interna de pacientes con EM seguidos prospectivamente en el tiempo después de su primer brote desmielinizante. En el primer estudio, propusimos un modelo de aprendizaje profundo para la estratificación binaria de pacientes con EM en función de su puntuación de discapacidad evaluada por un neurólogo. El modelo propuesto toma como únicos datos de entrada imágenes de RM cerebral tomadas en un único punto temporal en cualquier estado del curso de la enfermedad. Al evaluar la interpretación de los resultados obtenidos mediante mapas de atención, observamos una mayor importancia en la corteza frontotemporal y el cerebelo en el desarrollo de la acumulación de discapacidad. En el siguiente estudio, analizamos el uso del mismo modelo de aprendizaje profundo utilizando diferentes datos regionales de entrada, predefinidos, para compararlos con la entrada global de todo el cerebro. Estas regiones incluyeron los tejidos de sustancia blanca y gris, los ventrículos laterales, el cerebelo y el tronco cerebral, y las estructuras subcorticales de sustancia gris. A pesar de que el modelo regional de sustancia gris obtuvo el mejor rendimiento, al evaluar los modelos en una cohorte externa, los resultados sugirieron que una entrada global ofrece un mayor y más robusto rendimiento para la generalización del modelo. Finalmente, propusimos un modelo de supervivencia en tiempo discreto para predecir la función de supervivencia de pacientes con un primer brote desmielinizante que desarrollarán un primer evento de progresión independiente de la actividad de brotes (PIRA, por sus siglas en inglés), utilizando la primera RM de cerebro adquirida después del primer brote desmielinizante. Con los resultados obtenidos, pudimos mejorar el poder predictivo de un modelo de supervivencia clásico usando como covariante la edad en el momento del primer brote, conocido como el predictor de PIRA más relevante. En esta tesis doctoral, hemos desarrollado con éxito modelos de aprendizaje profundo precisos y automatizados respaldados por algoritmos de interpretabilidad con el objetivo de revelar las regiones en el cerebro que dirigen las decisiones obtenidas a partir del modelo. Este trabajo marca los primeros pasos de posibles nuevos modelos predictivos destinados a mejorar la gestión de pacientes con EM, sentando las bases para una potencial futura integración en la práctica clínica rutinaria.

Multiple sclerosis (MS) is a chronic disease of the central nervous system characterised by inflammation, demyelination and neurodegeneration. MS is one of the main non-traumatic causes of irreversible disability in young adults, and its disease course is highly variable among individuals. In the clinical routine, magnetic resonance imaging (MRI) is an essential tool to help with the diagnosis and prognosis of MS. The combination of deep learning-based models with MRI has presented promising results in this field. However, the underlying predictive features of MS progression remain a subject of ongoing research. In this PhD Thesis, we question whether deep learning models solely applied to structural brain MRI scans can be used to predict different disease course status of patients with MS and their potential applicability in clinical practice. To achieve this goal, we present two approaches for stratifying MS patients in cross-sectional studies and one prognostic study. For each proposal we include interpretability strategies to make the deep learning models more explainable and trustworthy to clinicians. An in-house cohort of MS patients prospectively followed over time after their first demyelinating attack has been the unifying thread of this PhD Thesis. In the first study, we proposed a deep learning approach to perform a binary stratification of patients with MS based on their disability score assessed by a neurologist, building a model that only takes as input the whole brain MRI at a single time-point. Assessing the interpretability of the results obtained through attention maps, we observed the importance of the frontotemporal cortex and the cerebellum for the development of disability accumulation. In the subsequent study, we analysed the use of the same deep learning approach applied to different predefined regional inputs to compare them with the whole brain approach. These regions included white matter and grey matter tissues, lateral ventricles, brain stem and cerebellum structures, and subcortical grey matter structures. Even though the grey matter regional model performed the best, when evaluating the model in an external validation dataset, the results suggested that the global approach offered the best and most robust performance for generalisation. Finally, we proposed a discrete-time survival model to predict the survival function of patients with a first demyelinating attack who will develop a first event of progression independent of relapse activity (PIRA), only using a brain MRI scan acquired at symptom onset as input. With the obtained results, we were able to improve the predictive power of a classical survival model built with the strongest PIRA predictor, the age at the first attack. Furthermore, we extracted attention maps that revealed the frontoparietal cortex as the most important anatomical region for the decisions made by the deep learning survival model. In this PhD Thesis, we have successfully developed precise and automated deep learning models supported by explainability algorithms trying to reveal the focuses leading the output decisions. This work marks the initial steps of potential new predictive models aimed to improve the management of patients with MS, paving the path toward potential integration into routine clinical practice in the future.