Exploring interactions between music and language during the early development of music cognition. A computational modelling approach.

Abstract

This dissertation concerns the computational modelling of early life development of music perception and cognition. Experimental psychology and neuroscience show results that suggest that the development of musical representations in infancy, whether concerning pitch or rhythm features, depend on exposure both to music and language. Early musical and linguistic skills seem to be, therefore, tangled in ways we are yet to characterize. In parallel, computational modelling has produced powerful frameworks for the study of learning and development. The use of these models for studying the development of music information perception and cognition, connecting music and language still remains to be explored. This way, we propose to produce computational solutions suitable for studying factors that contribute to shape our cognitive structure, building our predispositions that allow us to enjoy and make sense of music. We will also adopt a comparative approach to the study of early development of musical predispositions that involves both music and language, searching for possible interactions and correlations. We first address pitch representation (absolute vs relative) and its relations with development. Simulations have allowed us to observe a parallel between learning and the type of pitch information being used, where the type of encoding influenced the ability of the model to perform a discrimination task correctly. Next, we have performed a prosodic characterization of infant-directed speech and singing by comparing rhythmic and melodic patterning in two Portuguese (European and Brazilian) variants. In the computational experiments, rhythm related descriptors exhibited a strong predictive ability for both speech and singing language variants' discrimination tasks, presenting different rhythmic patterning for each variant. This reveals that the prosody of the surrounding sonic environment of an infant is a source of rich information and rhythm as a key element for characterizing the prosody from language and songs from each culture. Finally, we built a computational model based on temporal information processing and representation for exploring how the temporal prosodic patterns of a specific culture influence the development of rhythmic representations and predispositions. The simulations show that exposure to the surrounding sound environment influences the development of temporal representations and that the structure of the exposure environment, specifically the lack of maternal songs, has an impact on how the model organizes its internal representations. We conclude that there is a reciprocal influence between music and language. The exposure to the structure of the sonic background influences the shaping of our cognitive structure, which supports our understanding of musical experience. Among the sonic background, language's structure has a predominant role in biasing the building of musical predispositions and representations.

Esta tesis aborda la modelización computacional de algunos fenómenos de la percepción y cognición de la música durante el período de desarrollo en la primera infancia. La Psicología experimental y la Neurociencia muestran resultados que sugieren que el desarrollo de las representaciones del ritmo o de la altura musicales durante la infancia son dependientes de la exposición tanto a la música como al lenguaje de las culturas en las que se nace y crece. La capacidad musical y lingüística, durante los primeros años de desarrollo, están inter-relacionadas de formas que aún no ha sido posible caracterizar. En paralelo, las herramientas computacionales proporcionan un marco teórico y empírico eficaz para el estudio del aprendizaje y el desarrollo. El uso de los modelos computacionales para estudiar el desarrollo de la percepción y la cognición de información musical, conectando la música y el lenguaje, todavía queda por explorar. Así, nos proponemos producir soluciones computacionales adecuadas para el estudio de los factores que contribuyen a dar forma a nuestra estructura cognitiva y a la construcción de las predisposiciones que nos permiten disfrutar y dar sentido a la música. También adoptamos una perspectiva comparativa para la investigación que, englobando la música y el lenguaje, busca sus posibles interacciones y correlaciones. Primeramente, hemos abordado la representación de la altura tonal (absoluta vs. relativa) y sus relaciones con el desarrollo. Las simulaciones computacionales han permitido observar que el tipo de codificación utilizada ha influido en la capacidad del modelo para efectuar correctamente una tarea de discriminación, lo cual sugiere una relación entre el aprendizaje y el tipo de información de altura que se utiliza. Seguidamente, se ha realizado una caracterización prosódica del habla y del canto dirigidos al bebé, mediante la comparación de patrones rítmicos y melódicos en dos variantes de Portugués (Europeo y Brasileño). En los experimentos computacionales, los descriptores relacionados con el ritmo han exhibido una fuerte capacidad predictiva para el habla y canto, en tareas de discriminación de variante de lenguaje, siendo observados diferentes patrones rítmicos para cada variante. Se revela que la prosodia del entorno sonoro de un bebé es una fuente rica de información y que el ritmo es un elemento fundamental para la caracterización de la prosodia del lenguaje y las canciones de una cultura. Por último, se construyó un modelo computacional basado en el procesamiento y representación de información temporal para explorar cómo los patrones prosódicos temporales del habla de una cultura específica influyen en el desarrollo de las representaciones y predisposiciones rítmicas. Las simulaciones muestran que la exposición al ambiente sonoro circundante influye en el desarrollo de las representaciones temporales y que la estructura del entorno a que se esta expuesto, específicamente, la falta de canciones maternales, tiene un impacto sobre la forma como el modelo organiza sus representaciones rítmicas internas. Se concluye que existe una influencia recíproca entre la música y el lenguaje. La exposición a la estructura del entorno sonoro influye en la formación de la estructura cognitiva, que sustenta la comprensión de la experiencia musical. De entre todos los “inputs” del entorno sonoro, la estructura del lenguaje tiene una influencia predominante en la construcción de predisposiciones y representaciones musicales.