US signal and image monitoring and diagnosis using computer vision and deep learning

Abstract

(English) This thesis presents a comprehensive investigation of the reliability and efficacy of Ultra-Sound (US) signals and images for remote monitoring and early diagnosis in medical applications. The main objective of this research is to explore methodologies for the extraction of features in US signals and images to be able to detect abnormalities or features for monitoring or as a first step for diagnosis. Both Computer Vision (CV) and Deep Learning (DL) techniques are investigated and compared. Another goal is to study the benefits of training a network in US data, which is scarce, from data from an environment with larger data sets to enhance pattern extraction in a data-scarce US environment.

To address these questions, the research was divided into two parts. First, the analysis of US signals from a wearable device, thus allowing tele monitoring. Then, taking advantage of the experience in the processing of this kind of signals, the second part extends this research to the analysis of US images. In the first part, we evaluated the reliability of US signals for remote monitoring of the fetal heart rate in pregnant women. The methodology was evaluated by comparing the heart rate obtained from a pocket-sized wearable Doppler with those acquired with a cardiotocography device. The findings demonstrated the reliability of the US signals for remote monitoring. For the second part, the research focuses on the detection of some US features, using again simple US portable devices, to make extensive screenings possible, thus allowing an earlier diagnosis. We focused on US images, specifically Lung UltraSound (LUS) images, to explore their diagnostic capabilities.

By developing advanced algorithms, we successfully detected early stage signs in lung pathology, highlighting the potential of US images for early diagnosis, especially in emergency and overloaded situations such as the COVID-19 pandemic or extensive screening programs.

Due to the limited amount of data available, a common problem in Deep Learning systems, we investigated the transfer learning approach by training a network on heart ultrasound data and tuning it for its application in the processing of LUS data. The results revealed that the tuned network outperformed the one directly trained on the limited LUS data, highlighting the benefits of training in more data-rich LUS environments.

In the comparison between CV and DL techniques for US image interpretation, we found that CV techniques exhibited higher scores for feature extraction in LUS images. However, the potential for DL to perform as well as, or even better than computer vision techniques was evident, especially in applications with access to more reliable and diverse data. Overall, this study provides valuable information on the potential and limitations of US signals and images for remote monitoring and early diagnosis, paving the way for further advancements in the field of medical imaging and diagnostics.

(Català) Aquesta tesi presenta una investigació completa de la fiabilitat i eficàcia dels senyals i imatges d'ultrasons (US) per al monitoratge remot i el diagnòstic precoç¸ en aplicacions mèdiques. L'objectiu principal d'aquesta recerca és explorar metodologies per extreure característiques dels senyals i imatges d'ultrasons per tal de detectar anomalies o característiques per al monitoratge o com a primer pas per al diagnòstic. Tant les tècniques de Visió per Computador (CV) com les de Aprenentatge Profund (DL) són investigades i comparades. Un altre objectiu és estudiar els avantatges d'entrenar una xarxa amb dades d'ultrasons, per a la seva aplicació en un entorn on les dades són escasses, a partir de dades provinents d'un entorn amb conjunts de dades més grans per millorar l'extracció de característiques rellevants. Per abordar aquestes qüestions, la recerca es va dividir en dues parts. En primer lloc, l'anàlisi dels senyals d'ultrasons d'un dispositiu portàtil, permetent així el tele monitoratge. Després, aprofitant l'experiència en el processament d'aquest tipus de senyals, la segona part amplia aquesta recerca a l'anàlisi dels imatges d'ultrasons. En la primera part, vam avaluar la fiabilitat dels senyals d'ultrasons per al monitoratge remot de la freqüència cardíaca fetal en dones embarassades. La metodologia es va avaluar comparant la freqüència cardíaca obtinguda amb un Doppler portàtil de mides reduïdes amb aquelles adquirides amb un dispositiu de cardiotocografia. Els resultats van demostrar la fiabilitat dels senyals d'ultrasons per al monitoratge remot. En la segona part, la recerca es centra en la detecció de certes característiques d'ultrasons, utilitzant de nou dispositius portàtils senzills d'ultrasons, per realitzar exploracions extensives i permetre un diagnòstic precoç. Ens centrem en les imatges d'ultrasons, específicament les imatges d'Ecografia Pulmonar (LUS), per explorar les seves capacitats diagnòstiques. Mitjançant l'elaboració d'algoritmes avançats, vam detectar amb èxit senyals precoces de patologies pulmonars, destacant el potencial dels imatges d'ultrasons per a un diagnòstic precoç, especialment en situacions d'emergència i sobrecàrrega, com en la pandèmia de COVID-19 o programes d'exploració extensius. Degut a la quantitat limitada de dades disponibles, un problema comú en sistemes d'Aprenentatge Profund, vam investigar l'enfocament d'aprenentatge de transferència, entrenant una xarxa amb dades d'ultrasons del cor i ajustant-la per a la seva aplicació en el processament de dades LUS. Els resultats van revelar que la xarxa ajustada va superar la que va ser entrenada directament amb les dades limitades de d'imatges de pulmó, destacant els avantatges de l'entrenament en entorns amb més dades. En la comparació entre tècniques de Visió per Computador i Aprenentatge Profund per a la interpretació d'imatges d'ultrasons, vam trobar que les tècniques de Visió per Computador van donar millors resultats en l'extracció de característiques en les imatges LUS. No obstant això, va quedar palesa la possibilitat que l'Aprenentatge Profund rendeixi tan bé com, o fins i tot millor que, les tècniques de visió per computador, especialment en aplicacions amb accés a dades més fiables i diverses. En general, aquest estudi proporciona informació valuosa sobre el potencial i les limitacions dels senyals i imatges d'ultrasons per al monitoratge remot i el diagnòstic precoç, obrint el camí per a avenços posteriors en el camp de la imatge i el diagnòstic.