From telegraphic to natural language: an expansion system in a pictogrambased AAC application

Abstract

En aquesta tesi doctoral, presentem un sistema de compansió que transforma el llenguatge telegràfic (frases formades per paraules de contingut no flexionades), derivat de la comunicació augmentativa i alternativa (CAA) basada en pictogrames, a llenguatge natural en català i en castellà. El sistema ha sigut dissenyat per millorar la comunicació de persones usuàries de CAA que habitualment tenen greus problemes a la parla, així com problemes motrius, i que utilitzen mètodes de comunicació basats en pictogrames en el seu dia a dia.

El sistema de compansió té dos components principals: un analitzador de dependències sintàctico-semàntic i un generador que construeix la frase final. Aquest sistema s'ha avaluat mitjançant proves tècniques i els resultats mostren que el 99,66% de les frases generades, dins d'una gramàtica restringida, van ser considerades correctes per tres anotadors independents.

Paral·lelament, també s'ha investigat i implementat una interfície d'usuari amb un sistema de predicció de pictogrames per tal de poder provar el sistema de compansió amb usuaris finals. El sistema en conjunt s'ha provat amb quatre participants amb paràlisi cerebral severa i diversos graus de competència lingüística i de discapacitat intel·lectual. Durant els tests, els participants van adquirir noves capacitats lingüístiques mentre utilitzaven el sistema de compansió que va mostrar-se com una font de motivació. El sistema es va adaptar a les competències lingüístiques de cadascú i no va requerir cap corba d'aprenentatge quan no s'utilitzava cap de les seves característiques especials. Finalment, els resultats qualitatius i quantitatius mostren un increment mitjà de la ràtio de comunicació del 41,59% si es compara amb el mateix dispositiu de comunicació sense el sistema de compansió i una millora global en l'experiència comunicativa quan el resultat final és en llenguatge natural.

En esta tesis doctoral, presentamos un sistema de compansión que transforma el lenguaje telegráfico (frases formadas por palabras de contenido no flexionadas), derivado de la comunicación aumentativa y alternativa (CAA) basada en pictogramas, a lenguaje natural en catalán y en castellano. El sistema ha sido diseñado para mejorar la comunicación de personas usuarias de CAA que habitualmente tienen graves problemas en el habla, así como problemas motrices, y que utilizan métodos de comunicación basados ​​en pictogramas en su vida diaria.

El sistema de compansión tiene dos componentes principales: un analizador de dependencias sintáctico-semántico y un generador que construye la frase final. Este sistema se ha evaluado mediante pruebas técnicas y los resultados muestran que el 99,66% de las frases generadas, dentro de una gramática restringida, fueron consideradas correctas por tres anotadores independientes.

Paralelamente, también se ha investigado e implementado una interfaz de usuario con un sistema de predicción de pictogramas para poder probar el sistema de compansión con usuarios finales. El sistema en conjunto se ha probado con cuatro participantes con parálisis cerebral severa y diferentes grados de competencia lingüística y de discapacidad intelectual. Durante los tests, los participantes adquirieron nuevas capacidades lingüísticas mientras utilizaban el sistema de compansión que se mostró como una fuente de motivación. El sistema se adaptó a las competencias lingüísticas de cada uno y no requirió ninguna curva de aprendizaje cuando no se utilizó ninguna de sus características especiales. Finalmente, los resultados cualitativos y cuantitativos muestran un incremento medio de la ratio de comunicación del 41,59% si se compara con el mismo dispositivo de comunicación sin el sistema de compansión y una mejora global en la experiencia comunicativa cuando el resultado final es en lenguaje natural.

In this doctoral dissertation, we present a compansion system that transforms the telegraphic language (utterances with only uninflected content words) that comes from the use of pictogram-based Augmentative and Alternative Communication (AAC) into natural language in Catalan and Spanish. The system has been designed to improve the communication of people who rely on AAC, who usually have severe speech or motor impairments and use pictogram-based communication methods in their daily life.

The compansion system has two main components: a syntactic-semantic dependency parser and a generator that constructs the final sentence. The system has been technically evaluated and results show that 99,66% of the sentences generated by it, taking into account the restrictions of a constrained grammar, were considered correct by three independent annotators.

Furthermore, a user interface with a pictogram prediction system has also been researched and implemented during the thesis in order to test it with end-users. The system as a whole was tested with 4 participants with severe cerebral palsy and ranging degrees of linguistic competence and intellectual disabilities. During tests, participants were able to learn new linguistic skills while using the compansion system, which proved a source of motivation. The system can also be adapted to the linguistic competence of each person and required no learning curve during tests when none of its special features were used. Finally, qualitative and quantitative results showed a mean communication rate increase of 41,59%, compared to the same communication device without the compansion system, and an overall improvement in the communication experience when the output is in natural language.