Making tabletops useful with applications, frameworks and multi-tasking

Abstract

The progressive appearance of affordable tabletop technology and devices urges humancomputer interaction researchers to provide the necessary methods to make this kind of devices the most useful to their users. Studies show that tabletops have distinctive characteristics that can be specially useful to solve some types of problems, but this potential is arguably not yet translated into real-world applications. We theorize that the important components that can transform those systems into useful tools are application frameworks that take into account the devices affordances, a third party application ecosystem, and multi-application systems supporting concurrent multitasking. In this dissertation we approach these key components: First, we explore the distinctive affordances of tabletops, with two cases: TurTan, a tangible programming language in the education context, and SongExplorer, a music collection browser for large databases. Next, in order to address the difficulty of building such applications in a way that they can exploit these affordances, we focus on software frameworks to support the tabletop application making process, with two different approaches: ofxTableGestures, targeting programmers, and MTCF, designed for music and sound artists. Finally, recognizing that making useful applications is just one part of the problem, we focus on a fundamental issue of multi-application tabletop systems: the difficulty to support multi-user concurrent multitasking with third-party applications. After analyzing the possible approaches, we present GestureAgents, a content-based distributed application-centric disambiguation mechanism and its implementation, which solves this problem in a generic fashion, being also useful to other shareable interfaces, including uncoupled ones.

L’aparició progressiva de tecnologia i dispositius tabletop barats urgeix a la comunitat de recerca en interacció persona-ordinador a proveir els mètodes necessaris per transformar aquests dispositius en eines realment útils pels usuaris. Diversos estudis indiquen que els tabletops tenen algunes característiques peculiars que poden ser especialment útils per solucionar algun tipus de problemes, però tanmateix sembla que el seu potencial encara no arriba a transformar-se en aplicacions reals. Creiem que els components importants per a transformar aquests sistemes en eines útils són frameworks d’aplicació que tinguin en compte les capacitats dels dispositius, un ecosistema d’aplicacions fetes per desenvolupadors independents, i sistemes multi-aplicació amb suport per multitasca concurrent. En aquesta tesi doctoral ens aproximem a aquests components clau: En primer lloc, explorem les capacitats dels tabletops, usant dos casos: TurTan, un llenguatge de programació tangible en el context educatiu, i SongExplorer, un navegador de col·leccions musicals per a grans bases de dades. A continuació, amb ànim d’abordar la complexitat a l’hora de crear aquest tipus d’aplicacions de tal manera que usin aquestes capacitats, ens centrem en els frameworks de programari per donar suport en el procés de creació d’aplicacions tabletop, amb dues aproximacions diferents: ofxTableGestures, dirigit a programadors, i MTCF, dissenyat per a artistes musicals i del so. Finalment, reconeixent que crear aplicacions útils és només part del problema, ens centrem en una questió fonamental dels sistemes multi-aplicació: la dificultat d’acceptar la interacció multitasca de forma concurrent i multi-usuari amb aplicacions externes. Després d’analitzar-ne les possibles aproximacions, presentem GestureAgents, un mecanisme de desambiguació (i la seva implementació corresponent) basat en el contingut, distribuït i centrat en les aplicacions, que soluciona aquest problema d’una forma genèrica, esdevenint útil també per altres interfícies compartibles, incloses les desacoblades.