Automated Disease Detection by Machine Learning and Bio-Sound Analysis

Abstract

Introducció: En aquesta recerca hem investigat diferents mètodes d’aprenentatge automàtic basats en l’anàlisi de bio-sons per a la identificació automàtica de diferents malalties. Concretament, vam realitzar tres estudis per investigar la identificació automàtica de l’afectació bulbar en pacients amb esclerosi lateral amiotròfia (ELA) mitjançant anàlisis de veu. Addicionalment, es va realitzar un estudi per detectar casos positius de COVID-19 mitjançant la identificació automàtica de tos COVID-19. El subcomitè bulbar del Northeast Amyotrophic Lateral Sclerosis Consortium (NEALS) va publicar una declaració recent sobre la necessitat d’enfocaments basats en paràmetres objectius per diagnosticar l’afectació bulbar en pacients amb ELA. L’afectació bulbar és un terme que s’utilitza en l’ELA que fa referència al deteriorament de les neurones motores a la zona corticobulbar del tronc cerebral que provoca una disfunció de la parla i de la deglució. Un dels primers símptomes d’afectació bulbar és el deteriorament de la veu, caracteritzat per una articulació greument defectuosa, parla laboriosa i extremadament lenta, hipernasalitat marcada i aspror severa. L’afectació bulbar requereix intervencions ben coordinades i ben temporitzades. Per tant, la detecció precoç és crucial per millorar la qualitat de vida i allargar l’esperança de vida dels pacients amb ELA. Recentment, els esforços de recerca s’han centrat en l’anàlisi de la veu per captar aquesta disfunció.

De manera anàloga, la fàcil detecció de la COVID-19 és un repte. Les proves biològiques no són prou precises. L’èxit en la lluita contra nous brots depèn no només de l’eficiència de les proves utilitzades, sinó també del cost, del temps transcorregut i del nombre de proves que es poden fer massivament. La nostra proposta dona una solució a aquest repte.

Mètodes: S’han desenvolupat tres estudis per a la detecció automatitzada de l’afectació bulbar en pacients amb ELA mitjançant models d’aprenentatge automàtic i l’anàlisi de bio-sons.

El primer estudi va consistir en desenvolupar una metodologia per diagnosticar eficaçment l’afectació bulbar a través dels paràmetres acústics de les vocals pronunciades en castellà. El mètode es va centrar en l’extracció de característiques del subsistema fonatori: fluctuació, brillantor, relació harmònica-soroll i to, a partir de la pronunciació de les cinc vocals espanyoles. A continuació, vam utilitzar diversos algorismes de classificació supervisats, precedits per l’anàlisi de components principals de les característiques obtingudes.

En el segon estudi, vam dissenyar una nova metodologia per a la detecció automàtica de l’afectació bulbar basada en característiques del subsistema fonatori i de temps-freqüència. La metodologia es va centrar en proporcionar un conjunt de 50 característiques per detectar aquesta deficiència en homes i dones a partir de la pronunciació de les cinc vocals espanyoles. A continuació, es va utilitzar l’anàlisi multivariant de la variància per seleccionar les característiques estadísticament significatives i es van ajustar els models de classificacions supervisades m’és habituals en el diagnòstic clínic per analitzar el seu rendiment.

El tercer estudi va consistir en proporcionar una nova metodologia per detectar automàticament aquesta disfunció en les primeres etapes de la malaltia. La metodologia es va centrar en la creació d’una empremta digital de la veu basada en un patró generat a partir dels components quasi periòdics d’una porció constant de cadascuna de les cinc vocals espanyoles i del càlcul dels cinc components principals i independents d’aquest patró. Després es van obtenir un conjunt de característiques estadísticament significatives i es van implementar els models de classificació supervisats i semi-supervisats més comuns.

A més, es va realitzar un quart i darrer estudi per dissenyar una metodologia rapida i eficient de lliure disposició per a la detecció automàtica de la COVID-19 en fitxers d’àudio en brut. La metodologia es va basar en l’extracció automàtica de les característiques temps-freqüència de la tos i de la selecció d’aquelles més significatives per diagnosticar la COVID-19 mitjançant algoritmes d’aprenentatge automàtic supervisat.

Resultats: En el primer estudi, les support vector machines van tenir un rendiment millor (Precisió 95,8 %) que els models analitzats en la literatura. També mostrem com el model pot millorar el diagnòstic humà, que sovint pot cometre errors en el diagnòstic de l’afectació bulbar.

En el segon estudi, vam obtenir un conjunt de característiques estadísticament significatives per a homes i dones per captar aquesta disfunció. La precisió obtinguda (98,01 % amb random forest per a les dones i 96,10 % amb random forest per als homes), va superar els resultats dels models del nostre primer estudi i la dels models trobats, fins ara, a la literatura.

En el tercer estudi, el model random forest va obtenir la millor Precisió (93,5%). A més, comparant directament pacients amb ELA amb i sense aquesta disfunció, les support vector machines van obtenir un 91, 0% de precisió i un 100, 0% de Especificitat. El nostre model va proporcionar una anotació alternativa de subjectes bulbars i no bulbars mitjançant algoritmes d’aprenentatge automàtic semi-supervisat que van millorar encara més el rendiment de la nostra proposta.

En el quart estudi, el model random forest va obtenir un millor rendiment en la detecció de la tos de la COVID-19 que la resta de models analitzats. Es va obtenir una Precisió propera al 90%.

Conclusions: Els resultats obtinguts són molt encoratjadors i demostren l’eficiència i l’aplicabilitat de models d’aprenentatge automàtic i de l’anàlisi de bio-sons per a la detecció automatitzada de determinades malalties.

Pot ser una eina adequada per als equips clínics multidisciplinaris per ajudar en el diagnòstic de l’ELA, en particular per millorar el diagnòstic d’afectació bulbar. També pot ser útil per ajudar a donar una resposta ràpida enfront d’altres brots de la COVID-19 o d’altres pandèmies que puguin sorgir en el futur.

El primer estudi mostra com el model pot millorar el diagnòstic humà, que sovint pot cometre errors en el diagnòstic de l’afectació bulbar.

Afegint característiques de temps-freqüència a les característiques més clàssiques obtingudes del subsistema fonador augmenten la capacitat de predicció dels models d’aprenentatge automàtic per detectar l’afectació bulbar. Estudiar homes i dones per separat ha proporcionat una millora addicional. Els resultats obtinguts per millorar l’anotació de pacients amb ELA en els quals encara no s’havia detectat afectació bulbar mitjançant l’ús dels enfocaments subjectius actuals són molt encoratjadors i demostren l’eficiència i l’aplicabilitat de la metodologia presentada. Pot ser una eina adequada per al cribratge de l’afectació bulbar en les primeres etapes de la malaltia.

Finalment, el quart estudi demostra la viabilitat del diagnòstic automàtic de COVID-19 a partir de la tos i la seva aplicabilitat a la detecció de nous brots.

Introducción: En este trabajo se han investigado diferentes métodos basados en modelos de aprendizaje automático y en el análisis de bio-sonidos para la identificación automática de diferentes enfermedades. Concretamente, realizamos tres estudios para investigar la identificación automática de la afectación bulbar en pacientes con esclerosis lateral amiotrofia (ELA) a través del análisis de la voz. Además, se realizó un estudio para detectar casos positivos de COVID-19 mediante la identificación automática de tos de la COVID-19.

El subcomité bulbar del Northeast Amyotrophic Lateral Sclerosis Consortium (NEALS) público una declaración reciente sobre la necesidad de enfoques basados en parámetros objetivos para diagnosticar la afectación bulbar en pacientes con ELA. La afectación bulbar es un término utilizado en la ELA que se refiere al deterioro de las neuronas motoras en el área corticobulbar del tronco encefálico que conduce a una disfunción del habla y la deglución. Uno de los primeros síntomas de la afectación bulbar es el deterioro de la voz, caracterizado por una articulación muy defectuosa, habla extremadamente lenta y laboriosa, hipernasalidad marcada y aspereza severa. La afectación bulbar requiere intervenciones oportunas y cuidadosamente coordinadas. Por tanto, la detección precoz es fundamental para mejorar la calidad de vida y alargar la esperanza de vida de aquellos pacientes con ELA que presentan esta disfunción. Recientemente, los esfuerzos de investigación se han centrado en el análisis de la voz para capturar esta disfunción.

De manera análoga, la fácil detección de la COVID-19 es un desafío. Las pruebas biológicas rápidas no son suficientemente precisas. El ´éxito en la lucha contra nuevos brotes depende no solo de la eficiencia de las pruebas utilizadas, sino también del coste, el tiempo transcurrido y la cantidad de pruebas que se pueden realizar de forma masiva. Nuestra propuesta brinda una solución a este desafío.

Métodos: Se han llevado a cabo tres estudios para la detección automática de la afectación bulbar en pacientes con esclerosis lateral amiotrofia mediante análisis de bio-sonidos por aprendizaje automático.

El primer estudio consistió en desarrollar una metodología para diagnosticar la afectación bulbar de manera eficiente a través de los parámetros acústicos de las vocales pronunciadas en español.

El método se centró en la extracción de características del subsistema fonatorio (jitter, shimmer, relación de armónicos a ruido y tono) a través de la pronunciación de las cinco vocales españolas. Luego, utilizamos varios algoritmos de clasificación supervisados, precedidos por el análisis de componentes principales de las características obtenidas.

En el segundo estudio, diseñamos una nueva metodología para la detección automática de afectación bulbar basada en características del subsistema fonatorio y de tiempo-frecuencia. La metodología se centró en proporcionar un conjunto de 50 características para detectar esta deficiencia en hombres y mujeres a partir de la pronunciación de las cinco vocales españolas. Luego, se utilizó el análisis multivariante de la varianza para seleccionar las características estadísticamente significativas, y se ajustaron los modelos de clasificación supervisados más utilizados en el diagnóstico clínico para analizar su rendimiento.

El tercer estudio consistió en aportar una nueva metodología para detectar de forma automática esta disfunción en etapas tempranas de la enfermedad. La metodología se centró en la creación de una huella de voz calculada en base a un patrón generado a partir de los componentes cuasi periódicos de una porción constante de cada una de las cinco vocales españolas y del cálculo de los cinco componentes principales e independientes de este patrón. Luego se obtuvo un conjunto de características estadísticamente significativas y se implementaron los modelos de clasificación supervisados y semi-supervisados más comunes.

Adicionalmente, se realizó un cuarto y último estudio para diseñar una metodología de acceso libre, rápida y eficiente para la detección automática de la COVID-19 en archivos de audio sin procesar. La metodología se basó en la extracción automatizada de características tiempo-frecuencia de la tos y de la selección de aquellas más importantes para diagnosticar la COVID-19 mediante un algoritmo de aprendizaje automático supervisado.

Resultados: En el primer estudio, los modelos basados en support vector machines funcionaron mejor (Precisión 95,8%) que los modelos analizados en la literatura. También mostramos cómo el modelo puede mejorar el diagnóstico humano, que a menudo puede cometer errores en el diagnóstico de la afectación bulbar.

En el segundo estudio, obtuvimos un conjunto de características estadísticamente significativas para hombres y mujeres para capturar esta disfunción. Hasta la fecha, la Precisión obtenida (98,01 % con modelos random forest para el caso de las mujeres y 96,10 % con random forest para el de los hombres) superó los modelos de nuestro primer estudio y los modelos encontrados en la literatura.

En el tercer estudio, random forest obtuvo la mejor Precisión (93.5%) cuando se compararon controles y pacientes con ELA con afectación bulbar. Además, comparando directamente pacientes con ELA con y sin esta disfunción, las support vector machines obtuvieron un 91.0% de Precisión y un 100.0% de Especificidad. Nuestro modelo proporcionó una anotación alternativa de sujetos bulbar y no bulbar mediante algoritmos de aprendizaje automático semi-supervisados que mejoraron aún más el rendimiento de nuestra propuesta.

En el cuarto estudio, los random forest tuvieron un mejor desempeño para detectar la tos de la COVID-19 que los otros modelos analizados. Se obtuvo una Precisión cercana al 90%.

Conclusiones: Los resultados obtenidos son muy alentadores y demuestran la eficacia y aplicabilidad de métodos basados en modelos de aprendizaje automático y en el análisis de bio-sonidos para la detección automatizada de determinadas enfermedades.

Estos métodos pueden ser una herramienta adecuada para ayudar a los equipos clínicos multidisciplinares en el diagnóstico de la ELA, en particular para mejorar el diagnóstico de la afectación bulbar. También podrían ser útiles para ayudar a dar una respuesta rápida frente a los brotes de COVID-19 u otras pandemias que puedan surgir en el futuro.

El primer estudio muestra cómo el modelo puede mejorar el diagnóstico humano, que a menudo puede cometer errores a la hora de diagnosticar la afectación bulbar.

Añadir características de tiempo-frecuencia a características más clásicas como las mencionadas del subsistema fonatorio aumenta las capacidades de predicción de los modelos de aprendizaje automático para detectar la afectación bulbar. El estudio de hombres y mujeres como grupos separados ha proporcionado una mejora adicional en el rendimiento de los modelos.

Los resultados obtenidos para mejorar la anotación de los pacientes con ELA en los que aún no se detectó afectación bulbar mediante el uso de los enfoques subjetivos actuales son muy alentadores y demuestran la eficacia y aplicabilidad de la metodología presentada. Puede ser una herramienta adecuada para detectar la afectación bulbar en las primeras etapas de la enfermedad.

Finalmente, el cuarto estudio demuestra la viabilidad del diagnóstico automático de la COVID-19 a través de la tos y su aplicabilidad para detectar nuevos brotes.

Background: This work investigated different methods based on machine learning bio-sounds analysis for the automatic identification of different conditions. Concretely, we conducted three studies to investigated the automatic identification of bulbar involvement in patients with amyotrophic lateral sclerosis (ALS) through voice analysis. Additionally, a study to detect COVID-19 positive cases through the automatic identification of COVID-19 coughs was performed.

The Northeast Amyotrophic Lateral Sclerosis Consortium (NEALS) bulbar sub- committee released a recent statement regarding the need for objective-based approaches to diagnose bulbar involvement in ALS patients. Bulbar involvement is a term used in ALS that refers to motor neuron impairment in the corticobulbar area of the brainstem which leads to a dysfunction of speech and swallowing. One of the earliest symptoms of bulbar involvement is voice deterioration, characterised by grossly defective articulation, extremely slow laborious speech, marked hypernasality and severe harshness. Bulbar involvement requires well-timed and carefully coordinated interventions. So, early detection is crucial to improving the quality of life and lengthening the life expectancy of those ALS patients who present this dysfunction. Recently, research efforts have focused on voice analysis to capture this dysfunction. Analogously, easy detection of COVID-19 is a challenge. Quick biological tests do not give enough accuracy. Success in the fight against new outbreaks depends not only on the efficiency of the tests used, but also on the cost, time elapsed and the number of tests that can be done massively. Our proposal provides a solution to this challenge.

Methods: Three studies have been developed for the automated detection of bulbar involvement in patients with amyotrophic lateral sclerosis by machine learning and bio-sounds analysis.

The first study consisted of a methodology for diagnosing bulbar involvement efficiently through the acoustic parameters of uttered vowels in Spanish. The method focused on the extraction of features from the phonatory subsystem—jitter, shimmer, harmonics-to-noise ratio, and pitch—from the utterance of the five Spanish vowels. Then, we used various supervised classification algorithms, preceded by principal component analysis of the features obtained.

In the second study, we designed a new methodology for the automatic detection of bulbar involvement based on the phonatory subsystem and time-frequency characteristics. The methodology focused on providing a set of 50 phonatory subsystem and time-frequency features to detect this deficiency in males and females from the utterance of the five Spanish vowels. Then, multivariant analysis of variance was used to select the statistically significant features, and the most common supervised classifications models in clinical diagnosis were fitted to analyze their performance.

The third study consisted of providing a new methodology to automatically detect this dysfunction at early stages of the disease. The methodology focused on the creation of a voice fingerprint consisted of a pattern generated from the quasi-periodic components of a steady portion of the five Spanish vowels and from the computation of the five principal and independent components of this pattern. Then a set of statistically significant features were obtained and the most common supervised and semi-supervised classification models were implemented.

Additionally, a forth and last study was performed to design a freely available, quick and efficient methodology for the automatic detection of COVID-19 in raw audio files. The methodology was based on automated extraction of time-frequency cough features and selection of the more significant ones to be used to diagnose COVID-19 using a supervised machine-learning algorithm.

Results: In the first study, support vector machines performed better (Accuracy 95.8%) than the models analyzed in the related work. We also show how the model can improve human diagnosis, which can often misdiagnose bulbar involvement.

In the second study, we obtained a set of statistically significant features for males and females to capture this dysfunction. To date, the Accuracy obtained (98.01% for females and 96.10% for males both obtained with random forest), outperformed the models of our first study and those models found in the literature.

In the third study, random forest obtained the best accuracy (93.5%) when com- pared controls and ALS patients with bulbar involvement and support vector ma- chines obtained 91.0% of Accuracy with 100.0% of Specificity when comparing directly ALS patients with and without bulbar involvement. Our model provided alternative annotation of bulbar and no bulbar subjects by means of semi-supervised machine-learning algorithms that improved even more the performance of our proposal.

In the fourth study, random forest has performed better to detect COVID-19 positive coughs than the other models analyzed. An Accuracy close to 90% was obtained.

Conclusions: The results obtained are very encouraging and demonstrate the efficiency and applicability of the machine learning bio-sounds analysis for the automated detection of certain conditions. It may be an appropriate tool to help in the diagnosis of ALS by multidisciplinary clinical teams, in particular to improve the diagnosis of bulbar involvement. It could also be useful to help for an early response to further COVID-19 outbreaks or other pandemics that may arise in the future.

The first study show how the model can improve human diagnosis, which can often misdiagnose bulbar involvement.

Adding time-frequency features to more classical phonatory-subsystem features increase the prediction capabilities of the machine learning models to detect bulbar involvement. Studying men and women separately has given additional success.

The results obtained to improve the annotation of ALS patients in whom bulbar involvement was not detected yet by using current subjective approaches are very encouraging and demonstrate the efficiency and applicability of the methodology presented. It may be an appropriate tool for screening bulbar involvement in early stages of the disease.

Finally, the fourth study demonstrates the feasibility of the automatic diagnose of COVID-19 from coughs, and its applicability to detecting new outbreaks.