Learning representations for medical image diagnosis: impact of curriculum training and architectural design

Abstract

This thesis investigates two key aspects of learning deep-based image representations for medical diagnosis. The two are confronted with common challenges of medical image databases, namely, the limited number of samples, the presence of unreliable annotations and class-imbalance; as well as, domain shift and data privacy constraints for collaborative learning across institutions. The first part of this thesis concerns the architectural design of deep learning approaches. We explore the importance of localizing the region of interest in the image prior to the classification and the implicit capsule networks’ approach to model spatial information. We verify the importance of localization as a preliminary step to the classification, provide a sensitivity analysis of the size of the region of interest, and discuss image retrieval as a clinical use case. We also validate that capsules create equivariance, thus requiring to see fewer viewpoints of the object of interest. The second part of the thesis focuses on easing the optimization of the deep network parameters by gradually increasing the difficulty of the training samples. This gradual increase is based on the concept of curriculum learning and achieved with a data scheduler that controls the order and pace of the samples. We validate the beneficial effect of the curriculum data schedulers in two scenarios. First, we leveraged prior knowledge and uncertainty for the fine-grained classification of proximal femur fractures. In this case, we demonstrated the benefits of our proposed curriculum method under controlled scenarios: with limited amounts of data, under class-imbalance, and in the presence of label noise. Second, we verified the positive effect of the curriculum data scheduler for multi-site breast cancer classification in a federated learning setup.

Esta tesis investiga dos aspectos fundamentales del aprendizaje de representaciones profundas de imágenes para el diagnóstico médico. Ambos se enfrentan a los retos comunes de las bases de datos de imágenes médicas, a saber, el número limitado de muestras, la presencia de anotaciones poco fiables y el desequilibrio de clases; así como, la adaptación al dominio (“domain adaptation”) y las restricciones de privacidad de datos para el aprendizaje colaborativo entre instituciones. La primera parte de esta tesis se centra en el diseño de arquitecturas para métodos de aprendizaje profundo (“deep learning”). Exploramos la importancia de localizar la región de interés en la imagen antes de la clasificación y el enfoque implícito de redes capsulares (“capsule networks”) para modelar la información espacial. Verificamos la importancia de la localización como paso previo a la clasificación, proporcionamos un análisis de sensibilidad del tamaño de la región de interés y discutimos la recuperación de imágenes como caso de uso clínico. También validamos que las cápsulas crean equidistancia, por lo que requieren ver menos puntos de vista del objeto de interés. La segunda parte de la tesis se enfoca en facilitar la optimización de los parámetros de la red aumentando gradualmente la dificultad de las muestras de entrenamiento. Este aumento gradual se basa en el concepto de aprendizaje curricular (“curriculum learning”) y se consigue con un programador de datos (“data scheduler”) que controla el orden y el ritmo de las muestras. Validamos el efecto beneficioso de los programadores de datos curriculares en dos escenarios. En primer lugar, aprovechamos el conocimiento previo y la incertidumbre para la clasificación granular de las fracturas de fémur proximal. En este caso, demostramos los beneficios de nuestro método basado en aprendizaje curricular bajo escenarios controlados: con cantidades limitadas de datos, desequilibrio de clases y en presencia de anotaciones imprecisas. En segundo lugar, verificamos el efecto positivo del planificador de datos para la clasificación del cáncer de mama en una configuración de aprendizaje federado (“federated learning”).