Digital musical instruments for people with physical disabilities

Abstract

Playing a musical instrument has been shown to have a positive impact in the life of individuals in many different ways. Nevertheless, due to physical disabilities, some people are unable to play conventional musical instruments. In this dissertation, we consider different types of physical disabilities and implement specific digital musical instruments suitable for people with disabilities of each type. Firstly, we consider the case of people with limited sensorimotor upper limb functions, and we construct low-cost digital instruments for three different scenarios. Results indicate that the constructed prototypes allow musical expression and improve the quality of life of these users. Secondly, we consider disabilities such as tetraplegia or locked-in syndrome with unaffected eye-movements. For individuals with such conditions, we propose the EyeHarp, a gaze-controlled digital music instrument, and develop specific target selection algorithms which maximize the temporal and spatial accuracy required in music performance. We evaluate the instrument on subjects without physical disabilities, both from an audience and performer perspective. Results indicate that the EyeHarp has a steep learning curve and it allows expressive music performances. Finally, we examine the case of brain-controlled music interfaces. We mainly focus in auditory event related potential-based interfaces. In particular, we investigate and evaluate how timbre, pitch and spatialization auditory cues affect the performance of such interfaces.

Se ha demostrado que tocar instrumentos musicales tiene un impacto positivo en muchos aspectos de la vida de las personas. Sin embargo, debido a discapacidades físicas, a un gran número de personas les es imposible tocar instrumentos musicales tradicionales. En esta tesis doctoral consideramos diferentes tipos de discapacidades físicas e implementamos instrumentos musicales digitales adaptados a las capacidades de las personas que las padecen. En primer lugar, consideramos el caso de personas con discapacidad motora en los miembros superiores sensoriomotoras. Utilizando materiales de bajo coste implementamos prototipos en tres escenarios diferentes. Los resultados indican que los prototipos construidos permiten la expresión musical y mejoran la calidad de vida de los usuarios. En segundo lugar, consideramos discapacidades como la tetraplejia o el síndrome locked-in donde aun se conservan los movimientos oculares. En ese caso, se propone el EyeHarp, un instrumento que se controla con movimientos de los ojos. Hemos desarrollado algoritmos de selección que maximizan la precisión temporal y espacial requerida en la ejecución de instrumentos musicales y evaluamos el instrumento con gente sin discapacidades, desde la perspectiva de la audiencia y del músico. Los resultados indican que el EyeHarp tiene una curva de aprendizaje inclinada y permite interpretaciones musicales expresivas. Finalmente examinamos el caso de las interfaces musicales cerebro-ordenador. En particular, investigamos interfaces cerebro-ordenador basadas en potenciales relacionados con eventos auditivos. Investigamos cómo timbre, tono y espacialización afectan el rendimiento de dichas interfaces y proponemos y evaluamos interfaces musicales basadas en esta técnica.