Motion-based feature analysis for the design of full-body interactions in the context of computer vision and large volume spaces

Abstract

Human-computer interaction (HCI) is evolving towards more natural, social, and user-centered interactions, specifically focusing on the use of the entire body as an interface. Full-body interaction involves capturing and analyzing body movements to control and manipulate digital content, enabling immersive and engaging experiences. In this context, computer vision technology is preferred over add-ons, wearables, or marker systems due to its non-intrusive, cost-effective, and versatile nature. By eliminating the need for additional devices, it allows for a more natural and unrestricted observation of human motion, ensuring a genuine representation of movement. However, designing effective full-body interaction systems requires understanding of human motion and its interpretation, which poses challenges for interaction designers. This thesis addresses the critical need for structured relationships between human motion and feature extraction technology, which arises from the problem that non-technically skilled practitioners often struggle to utilize motion-based features effectively. To provide better context, the thesis presents the challenges faced by these professionals in working with complex technical parameters and motion-based features, which hinder their ability to create multi-user interactive experiences. By highlighting this issue early on, the thesis aims to emphasize its significance and underscore that its primary objective is not just to resolve interaction design challenges but also to offer the additional value of empowering non-technical profiles by facilitating their design work through accessible motion feature extraction technology. In line with the challenges identified, this thesis aims to contribute to the field of interaction design by offering a comprehensive framework for motion-based interaction design in large-volume spaces. These spaces, characterized by their size and complexity, present unique challenges in terms of seamless and intuitive user experiences. The framework presented bridges the gap between technical parameters and interpretable motion-based features, and is thus well-suited to a broad range of practitioners.

La interacción humano-computadora (HCI) está evolucionando hacia interacciones más naturales, sociales y centradas en el usuario, centrándose específicamente en el uso de todo el cuerpo como interfaz. La interacción de cuerpo completo implica capturar y analizar los movimientos del cuerpo para controlar y manipular contenido digital, lo que permite experiencias inmersivas y atractivas. En este contexto, la tecnología de visión por computadora es preferida sobre complementos, dispositivos portátiles o sistemas de marcadores debido a su naturaleza no intrusiva, rentable y versátil. Al eliminar la necesidad de dispositivos adicionales, permite una observación más natural y sin restricciones del movimiento humano, asegurando una representación genuina del movimiento. Sin embargo, el diseño de sistemas de interacción de cuerpo completo efectivos requiere comprender el movimiento humano y su interpretación, lo que plantea desafíos para los diseñadores de interacción. Esta tesis aborda la necesidad crítica de relaciones estructuradas entre el movimiento humano y la tecnología de extracción de características, que surge del problema existente de que los profesionales no técnicos a menudo tienen dificultades para utilizar eficazmente las características basadas en el movimiento. Para proporcionar un mejor contexto, es esencial presentar los desafíos que enfrentan estos profesionales al trabajar con parámetros técnicos complejos y características basadas en el movimiento, lo que dificulta su capacidad para crear experiencias interactivas para varios usuarios. Al resaltar este problema desde el principio, la tesis tiene como objetivo enfatizar su importancia y subrayar que su objetivo principal no es solo resolver los desafíos del diseño de interacción, sino también ofrecer un valor adicional al capacitar a perfiles no técnicos mediante la facilitación de su trabajo de diseño a través de la tecnología accesible de extracción de características basadas en el movimiento. Siguiendo los desafíos identificados, esta tesis tiene como objetivo contribuir al campo del diseño de interacción ofreciendo un marco integral para el diseño de interacción basado en el movimiento en espacios de gran volumen. Estos espacios, caracterizados por su tamaño y complejidad, presentan desafíos únicos en términos de experiencias de usuario fluidas e intuitivas. Al cerrar la brecha entre los parámetros técnicos y las características basadas en el movimiento interpretables, el marco presentado es adecuado para una amplia gama de profesionales.

La interacció humà-ordinador (HCI) està evolucionant cap a interaccions més naturals, socials i centrades en l'usuari, centrant-se específicament en l'ús de tot el cos com a interfície. La interacció de cos complet implica capturar i analitzar els moviments del cos per controlar i manipular contingut digital, cosa que permet experiències immersives i atractives. En aquest context, la tecnologia de visió per ordinador és preferida sobre complements, dispositius portàtils o sistemes de marcadors a causa de la seva naturalesa no intrusiva, rendible i versàtil. En eliminar la necessitat de dispositius addicionals, permet una observació més natural i sense restriccions del moviment humà, assegurant una representació genuïna del moviment. Tot i això, el disseny de sistemes d'interacció de cos complet efectius requereix comprendre el moviment humà i la seva interpretació, cosa que planteja desafiaments per als dissenyadors d'interacció. Aquesta tesi aborda la necessitat crítica de relacions estructurades entre el moviment humà i la tecnologia d'extracció de característiques, que sorgeix del problema existent que els professionals no tècnics sovint tenen dificultats per utilitzar eficaçment les característiques basades en el moviment. Per proporcionar un millor context, és essencial presentar els desafiaments que enfronten aquests professionals en treballar amb paràmetres tècnics complexos i característiques basades en el moviment, cosa que en dificulta la capacitat per crear experiències interactives per a diversos usuaris. En ressaltar aquest problema des del principi, la tesi té com a objectiu emfatitzar la seva importància i subratllar que el seu objectiu principal no és sols resoldre els desafiaments del disseny d'interacció, sinó també oferir un valor addicional en capacitar perfils no tècnics mitjançant la facilitació del seu treball de disseny a través de la tecnologia accessible d'extracció de característiques basades en el moviment. Seguint els desafiaments identificats, aquesta tesi té com a objectiu contribuir al camp del disseny d'interacció oferint un marc integral per al disseny d'interacció basat en el moviment en espais de gran volum. Aquests espais, caracteritzats per la seva mida i la seva complexitat, presenten desafiaments únics en termes d'experiències d'usuari fluides i intuïtives. En tancar la bretxa entre els paràmetres tècnics i les característiques basades en el moviment interpretables, el marc presentat és adequat per a una àmplia gamma de professionals.