Automatic hands-free visualization of a six degrees of freedom agent within a complex anatomical space

Abstract

(English) Over the years, a continuous development of intraluminal procedures resulted in strong benefits for the patients. Reduced blood loss, lower risk of infections, diminished scaring impact and quicker recovery time are among the most valuable ones. However, these improvements imposed high mental and physical stress to the clinicians. In this context, the introduction of robotic technologies has resulted in notable improvements in terms of flexibility of the endoscopes and control stability, by designing multi-steerable snake like robots and endoscopic capsules. Robotic devices also introduced additional degrees of freedom (DOF) to control, as well as sensing information to process, posing the basis for a new framework of human-robot interaction. Therefore, in the context of intraluminal robotic surgery, the present research focuses on the human-robot interaction, aiming at investigating the optimal way to design Human Machine Interface (HMI) with multiple levels of assistance. Accordingly, a modular bio-engineering framework was designed and developed for the analysis, evaluation and comparison of different HMI for robot assisted endoluminal procedure (i.e., colonoscopy). The main component of the framework is a virtual simulator of the robotic colonoscopy procedure, developed using the SOFA. The simulator, endowed with 3D models of colons reconstructed from real patients' CT scans, realistically reproduces the anatomy and its performance during the robotic medical procedure in terms of timings, visual rendering and mechanical behaviour. Its open design allows to measure several metrics correlated with the quality of the procedure (e.g., force exerted on the intestinal walls, timings etc.) and of control (e.g., smoothness of trajectory). Therefore, the different HMI can be used to control the robotic endoscope in the virtual simulator and tested with user studies involving the endoscopists. This framework also comprises the use of wearable sensors to measure the cognitive load of the users through physiological data when testing the HMI in the simulation environment. Finally, a set of questionnaires were designed to be filled by the subjects after the tests for measuring their perceived physical and mental stress, and their overall impression on the interfaces. The framework was tested for the first time by 42 clinicians with the goal of deriving the optimal device for teleoperated control of robotic colonoscopes. To this end, a preliminary survey was driven among 71 endoscopists to derive the main characteristics and configuration of the control device desired by the final users. Accordingly, two selected systems were compared with the framework: an haptic serial-kinematic device and a standard videogame joypad. This users' test represented a first case study for the validation of the framework allowing to compare different HMI and derive their optimal features. Nevertheless, being the framework highly modular and open, is meant to be applied for the testing of different aspects of the HMI, both software and hardware e.g., types of feedback, control strategies etc. Indeed, the final goal of the framework, and more in general of the present thesis, is to extract insights, guidelines and metrics over the design of the next generation intraluminal robotic devices.

(Català) Al llarg dels anys, un desenvolupament continu dels procediments intraluminals va donar lloc a grans beneficis per als pacients. La reducció de la pèrdua de sang, el menor risc d'infecció, la disminució de l'impacte espantant i el temps de recuperació més ràpid es troben entre els més valuosos. Tanmateix, aquestes millores van imposar un alt estrès mental i físic als metges. En aquest context, la introducció de les tecnologies robòtiques ha donat com a resultat millores notables pel que fa a la flexibilitat dels endoscopis i l'estabilitat del control, mitjançant el disseny de serps multidireccionables com robots i càpsules endoscòpiques. No obstant això, també va introduir graus de llibertat addicionals (DOF) per controlar, com a informació de detecció a processar, posant la base per a un nou marc d'interacció humà-robot. Per tant, en el context de la cirurgia robòtica intraluminal, la present investigació se centra en la interacció home-robot, amb l'objectiu d'investigar i dissenyar una interfície humà-màquina (HMI) d'autonomia multinivell. En conseqüència, es va dissenyar i desenvolupar un marc de bioenginyeria modular per a l'anàlisi, l'avaluació i la comparació de l'HMI per al procediment endoluminal assistit per robot (és a dir, la colonoscòpia). El component principal del marc és un simulador virtual del procediment de colonoscòpia, desenvolupat mitjançant el SOFA. El simulador, dotat de models 3D de còlons reconstruïts a partir de TAC de pacients reals, reprodueix de manera realista el procediment mèdic en termes de temps, representació visual i comportament mecànic. El seu disseny obert permet mesurar diverses mètriques correlacionades amb la qualitat del procediment (per exemple, força exercida sobre les parets intestinals, temps, etc.) i de control (per exemple, suavitat de la trajectòria). Per tant, les diferents HMI es poden connectar o implementar en el simulador virtual, i provar-se amb estudis d'usuaris que involucren els endoscopistes. El marc també inclou l'ús de sensors portàtils per mesurar la càrrega cognitiva dels usuaris mitjançant dades fisiològiques quan es prova l'HMI en l'entorn de simulació. Finalment, es dissenya un conjunt de qüestionaris per ser administrats als subjectes després de les proves per fer el seguiment de l'estrès físic i mental percebut i la seva impressió global a les interfícies. El marc es va provar per primera vegada amb 42 metges que investigaven el dispositiu òptim per al control teleoperat de colonoscopis robòtics. Amb aquesta finalitat, es va dur a terme una enquesta preliminar entre 71 endoscopistes per derivar les principals característiques i configuració del dispositiu de control desitjat pels usuaris finals. En conseqüència, es van comparar dos sistemes seleccionats amb el marc: un dispositiu cinemàtic en sèrie hàptic i un joypad estàndard de videojocs. Aquesta prova d'usuaris va representar un primer cas pràctic per a la validació del framework que permet comparar diferents HMI i derivar les característiques òptimes. No obstant això, al ser el framework altament modular i obert, està pensat per ser aplicat per a la prova de diferents aspectes de l'HMI, tant de programari com de maquinari, p. tipus de retroalimentació, estratègies de control, etc. De fet, l'objectiu final del marc, i més en general de la present tesi, és extreure coneixements, directrius i mètriques sobre el disseny dels dispositius robòtics intraluminals de nova generació.