Automatic analysis of the acoustic environment of a preterm infant in a neonatal intensive care unit

Abstract

Most preterm newborns must be admitted to a Neonatal Intensive Care Unit (NICU) where they receive a specialized medical care, what, in many cases, is crucial for their survival. The acoustic environment of a typical NICU is highly diverse and may contain a large number of different sounds, which come either from various biomedical equipment or from human activities taking place in the unit. There exists a medical concern about the effect of that noisy acoustic environment on further growth and neurological development of preterm infants. The longterm effects of a NICU acoustic environment on a preterm infant could be revealed by the infant shortterm reactions to auditory stimuli from it, which can be investigated by relating the presence of particular sounds with the preterm physiological variables. To carry out suchstatistical correlation study that uses the sound identities and their situation in time, big amounts of labelled audio data are required, which can hardly be obtained without using automatic detection from audio signals. Furthermore, automatic detection is also required for acoustic monitoring of the NICU environment to assist the medical staff in their work. The major part of this thesis work is devoted to the challenging task of acoustic event detection in the NICU, where the goal is to develop robust systems able to detect and identify the sounds that appear in such environment. The detection of the two most relevant types of sounds is targeted in this work: equipment alarms and vocalizations. Acoustic alarms triggered by biomedical equipment play a key role in providing healthcare and are extensively present in a NICU environment. Several systems have been proposed and developed in this thesis for automatic detection of particular types of alarm sounds. They are based on diferent approaches: a relatively simple signal processing based approach, which does not require model training; a model based approach that uses knowledge about the spectral and temporal structure of alarms and includes a specific feature extraction scheme; and, finally, an approach based on neural networks where the topology of the net is focalized to either a generic or a particular type of alarm sounds. The other type of considered sounds are vocalizations, a term used to encompass all sounds produced through a vocal tract. Vocalizations frequently happen in a NICU environment and may affect the preterm baby in various ways. The proposed binary detection system includes a prior vocalization enhancement step, and several techniques have been investigated for reduction of nonvocalization sounds. The development of the detection systems has required a design of proper evaluation metrics and the targeted medical application has been considered for that purpose. A nonnegligible part of the thesis work concerns the audio database acquisition and annotation. Due to the pioneering character of the application, a whole framework has been generated (in close collaboration with medical and engineering staff from the HSJDBarcelona) for audio database production for the NICU environment, including key specifications like the recording setup and guidelines, and the labelling protocol. The produced database contains more than 1.5 hours of recorded audio data, and the laborious manual annotations cover roughly half of it. Finally, another contribution of this thesis work consists in an overall exploratory description of the NICU acoustic environment from the audio recordings. Unlike most previously published works, the whole content of the audio signal has been analysed, and, besides the usual measurements of sound pressure levels, the identity and the spectrotemporal properties of sounds has been described. Additionally, a set of acoustic scenarios has been defined and described, and a sound taxonomy has been proposed for the NICU acoustic environment.

La mayoría de recién nacidos prematuros deben ser ingresados en una Unidad de Cuidados Intensivos Neonatales (UCIN) donde reciben la atención médica especializada que, en muchos casos, es crucial para su supervivencia. El entorno acústico de una UCIN típica puede contener un gran número de sonidos diferentes, que provienen de los diversos equipos biomédicos o de actividades humanas que tienen lugar en la unidad. Existe una cierta preocupación médica en relación al efecto de ese entorno acústico ruidoso sobre el crecimiento y desarrollo neurológico posterior de los bebés prematuros. Es probable que estos posibles efectos a largo plazo del ambiente acústico de una UCIN sobre un bebé prematuro se manifiesten en sus reacciones a corto plazo a los estímulos auditivos del entorno, los cuales pueden ser investigados relacionando la presencia de sonidos particulares con las variables fisiológicas del bebé. Para llevar a cabo este estudio de correlación estadística que utiliza las identidades de los sonidos y sus ubicaciones en el tiempo, se requieren grandes cantidades de datos de audio etiquetados, que difícilmente pueden ser obtenidos sin el uso de la detección automática a partir de señales de audio. Por otra parte, la detección automática también se requiere para la monitorización acústica del entorno de la UCIN con el fin de ayudar al personal médico en su trabajo. La mayor parte del trabajo de esta tesis está dedicado al reto de detección de eventos acústicos en la UCIN, siendo el objetivo el desarrollo de sistemas robustos, capaces de detectar e identificar los sonidos que aparecen en tal entorno. En este trabajo se consideran los dos tipos de sonidos más relevantes: las alarmas de equipos biomédicos y las vocalizaciones. Las alarmas acústicas de los equipos desempeñan un papel clave en la prestación de la asistencia sanitaria y están ampliamente presentes en el entorno de una UCIN. En esta tesis se han propuesto y desarrollado varios sistemas para la detección automática de los sonidos de alarmas, basados en diferentes enfoques, que incluyen procesamiento de señales, aprendizaje automático y redes neuronales. Respecto de las vocalizaciones, se ha desarrollado un sistema de detección binaria que incluye un paso previo de mejora de las señales, reduciendo la presencia de sonidos que no son vocalizaciones. El desarrollo de todos estos sistemas de detección ha requerido el diseño de métricas de evaluación apropiadas y para ello se ha tenido en cuenta la aplicación médica que se persigue. Una parte no despreciable del trabajo de la tesis consiste en la adquisición de la base de datos de audio y su etiquetación. Debido al carácter pionero de la aplicación, se ha generado un protocolo completo (en estrecha colaboración con el personal médico y de ingeniería de HSJD-Barcelona) para la producción de base de datos de audio para el entorno de una UCIN, incluyendo especificaciones claves como la configuración de la grabación y las directrices y el protocolo de etiquetación. La base de datos producida contiene más de 1,5 horas de grabaciones de audio, y las laboriosas anotaciones manuales realizadas cubren aproximadamente la mitad de dicho tiempo. Por último, otra contribución de esta tesis consiste en la descripción global exploratoria del entorno acústico de la UCIN a partir de las grabaciones de audio. A diferencia de la mayoría de los trabajos publicados anteriormente, se ha analizado todo el contenido de la señal de audio y, además de las medidas usuales de niveles de presión sonora, se han descrito también los tipos de sonidos y sus propiedades espectro-temporales. Por último, se ha definido y descrito un conjunto de escenarios acústicos, y se ha propuesto una taxonomía de sonidos para el entorno acústico de una UCIN.

La majoria dels nadons prematurs han de ser ingressats a una Unitat de Cures Intensives Neonatals (UCIN), on reben l'atenció mèdica especialitzada que, en molts casos, és crucial per a la seva supervivència. L'entorn acústic d'una UCIN típica pot contenir un gran nombre de sons diferents, que provenen dels diversos equips biomèdics i de les activitats humanes que tenen lloc a la unitat. Existeix una certa preocupació mèdica per l'efecte d'aquest entorn acústic sorollós en el creixement i desenvolupament neurològic posterior dels infants prematurs. És probable que aquests possibles efectes a llarg termini de l'ambient acústic d'una UCIN sobre un infant prematur es manifestin en les seves reaccions a curt termini als estímuls auditius de l’entorn, els quals poden ser investigats relacionant la presència de sons particulars amb les variables fisiològiques del prematur. Per dur a terme aquest estudi de correlació estadística que utilitza les identitats dels sons i les seves ubicacions en el temps, es requereixen grans quantitats de dades d'àudio etiquetades, que difícilment poden ser obtingudes sense l'ús de detecció automàtica a partir dels senyals d’àudio. D'altra banda, la detecció automàtica també es requereix en la monitorització acústica de l'entorn de la UCIN per ajudar el personal mèdic en el seu treball. La major part del treball d'aquesta tesi està dedicat al repte de la detecció d’esdeveniments acústics en la UCIN, on l'objectiu és desenvolupar sistemes robustos, capaços de detectar i identificar els sons que apareixen en aquest entorn. En aquest treball es consideren els dos tipus de sons més rellevants: les alarmes d'equips biomèdics i les vocalitzacions. Les alarmes acústiques dels equips tenen un paper clau en la prestació de l'assistència sanitària i estan àmpliament presents en l'ambient d'una UCIN. En aquesta tesi, s'han proposat i desenvolupat diversos sistemes de detecció automàtica dels sons d’alarmes, que estan basats en diferents enfocaments, que inclouen processament de senyal, aprenentatge automàtic i xarxes neuronals. Respecte de les vocalitzacions, s'ha desenvolupat un sistema de detecció binària que inclou un pas previ de millora dels senyals, reduint els sons que no són vocalitzacions. El desenvolupament de tots els sistemes de detecció ha requerit el disseny de mètriques d'avaluació apropiades i per a aquest propòsit s’ha tingut en compte l'aplicació mèdica que es persegueix. Una part no menyspreable del treball de la tesi consisteix en l'adquisició de la base de dades d'àudio i en el seu etiquetatge. A causa del caràcter pioner de l'aplicació, s’ha generat un protocol sencer (en estreta col·laboració amb el personal mèdic i d'enginyeria de HSJD-Barcelona) per a la producció de bases de dades d'àudio per a l'entorn d'una UCIN, incloent especificacions claus com la configuració de la gravació i les directrius i el protocol d’etiquetació. La base de dades produïda conté més de 1,5 hores de d'enregistraments d'àudio, i les laborioses anotacions manuals en cobreixen aproximadament la meitat. Finalment, una altra contribució d'aquesta tesi consisteix en la descripció global exploratòria de l'ambient acústic de la UCIN a partir de les gravacions d'àudio. A diferència de la majoria dels treballs publicats anteriorment, s'ha analitzat tot el contingut del senyal d'àudio i, a més de les mesures usuals de nivells de pressió sonora, s'han descrit els tipus de sons i les seves propietats espectrotemporals. Per últim, s'ha definit i descrit un conjunt d'escenaris acústics, i s'ha proposat una taxonomia de sons per a l'entorn acústic d'una UCIN.