Cognitive robot control strategies for complex surgical environments

Abstract

(English) This thesis aims to contribute to the development of robotics autonomy in complex tasks based on the cognitive control paradigm. Cognition is a multidisciplinary approach aimed to provide robotic systems with intelligent and autonomous behaviour that should learn and reason about how to respond in front of complex tasks and environments.Cognition involves aspects as perception, awareness, interpretation of human actions, learning, planning, anticipating and dynamic response to changes in the working conditions and in the interaction with humans. Autonomy is intended to partially substitute and/or complement the human faculties at the level of perception, analysis and execution. Increasing the level of autonomy of robots allows focusing the humans cognitive load on high level decisions and actions, in aspects where the human factor is essential: contextualisation of information, specific expertise, medical knowledge and complex decision-making among others. Furthermore, robots improve the properties of humans in certain aspects such as precision, repeatability, absence of fatigue or response efficiency in terms of time and accuracy.This thesis addresses different key aspects of robotic autonomy: perception, planning and dynamic execution of actions and, finally, the control structures required for efficient control and their integration in robotic systems.This thesis combines a global theoretical approach supported by practical applications based on the field of robot-assisted minimally invasive surgery. This field has been chosen for two main reasons: the social impact involved in the improvement of surgery and, secondly, because this field of application is highly demanding from both, human and robotic perspective.The experimental phases have focused on various surgical robotic. First, a teleoperated platform with a single robot has been used aimed at minimally invasive fetal surgery in which a cognitive system offers a certain level of autonomy to generate trajectories in collision-free spaces, increasing patient safety and decreasing the cognitive load of surgeons in navigation and interaction tasks within the intra-uterine region. Second, a multi-robot architecture to execute auxiliary actions in a human-robot cooperative system: the main surgeon performs the surgical actions while the auxiliary robots perform, autonomously, auxiliary surgical tasks. With this configuration the experimentation focuses on minimally invasive radical prostatectomy surgery.Thus, the thesis addresses the perception of the anatomical environment, considering the limitations of data acquisition in terms of quality and quantity, as well as the absence of anatomical markers. The next topic that the thesis addresses is the dynamic planning of actions. Different application paradigms have been studied, such as direct human-robot interaction using haptic guidance, movement planning in pseudo-structured environments and, active planning and control in dynamic environments. These proposed environments respond to different surgical scenarios within minimally invasive techniques.Finally, cognitive control applied to robotic platforms is addressed. The followed approach is based on the multi-level decomposition of complex tasks (e.g. surgical procedure) defining all potential states and transitions. This decomposition translates into the use of deterministic and robust control structures that restrict falling into uncontrollable or unexpected situations that put at risk, in the application case, the patient, the surgeons or the auxiliary personnel.Control structures also consider human-robot interaction, robots coordination and cooperation, interaction with the work environment and restrictions imposed by surgery and patient safety.The integration of all these modules: perception, planning and cognitive control, demonstrates the advances achieved in cognitive robotics and their applicability towards a more autonomous robotic surgery.

(Català) Aquesta tesi pretén contribuir al desenvolupament de l'autonomia robòtica en tasques complexes basant-se en el paradigma del control cognitiu. La cognició és un enfocament multidisciplinari orientat a dotar els sistemes robòtics d'un comportament intel·ligent i autònom que ha d'aprendre i raonar sobre com respondre davant tasques i entorns complexos.La cognició implica la percepció, la consciència, la interpretació de les accions humanes, l'aprenentatge, la planificació, l'anticipació i la resposta dinàmica als canvis en les condicions de treball i en la interacció amb els humans. L'autonomia pretén substituir i/o complementar parcialment les facultats humanes a nivell de percepció, anàlisi i execució. Augmentarl'autonomia dels robots permet centrar la càrrega cognitiva dels humans en decisions i accions d’alt nivell, en aspectes on el factor humà és essencial: contextualització de la informació, experiència específica, coneixements mèdics i presa de decisions complexes, etc. A més, els robots milloren les propietats dels humans en certs aspectes com la precisió, la repetibilitat, l'absència de fatiga o l'eficiència de la resposta en termes de temps i precisió.Aquesta tesi aborda diferents aspectes clau de l'autonomia robòtica: la percepció, la planificació i execució dinàmica d'accions i, finalment, les estructures de control necessàries per a un control eficient i la seva integració en sistemes robòtics.La tesi combina un enfocament teòric recolzat en aplicacions pràctiques orientades al camp de la cirurgia mínimament invasiva robòtica. S'ha triat aquest camp per dues raons principals: l'impacte social que suposa la millora de la cirurgia i, per l'exigència del mateix a nivell humà i robòtic.L'experimentació s'ha centrat en diverses plataformes robòtiques. Primer, una plataforma teleoperada amb un únic robot orientada a la cirurgia fetal mínimament invasiva en la qual un sistema cognitiu ofereix cert nivell d'autonomia, generant trajectòries en espais lliures de col·lisions, augmentant la seguretat del pacient i disminuint la càrrega cognitiva dels cirurgians en tasques de navegació i interacció dins de la regió intrauterina. Segon, un sistema multi-robot per a executar accions auxiliars en un sistema cooperatiu humà-robot: el cirurgià principal realitza les accions quirúrgiques mentre els robots auxiliars executen, de forma autònoma, tasques auxiliars. L'experimentació s'ha centrat en la cirurgia de prostatectomia radical mínimament invasiva.Així, la tesi aborda la percepció de l'entorn anatòmic, considerant les limitacions de l'adquisició de dades en qualitat i quantitat, així com l'absència de marcadors anatòmics. El següent tema abordat és la planificació dinàmica d'accions. S'han estudiat diferents paradigmes d'aplicació, com la interacció directa persona-robot mitjançant guiat hàptic, la planificació de moviments en entorns pseudoestructurats i la planificació i control actius en entorns dinàmics, responent a diferents tècniques quirúrgiques mínimament invasives. Finalment, s'aborda el control cognitiu.L'enfocament es basa en la descomposició multinivell de tasques complexes (p. ex., una cirurgia) definint tots els potencials estats i transicions. Aquesta fa servir estructures de control deterministes i robustes que restringeixen situacions incontrolables o inesperades que posen en perill, en el cas de l'aplicació, al pacient, als cirurgians o al personal auxiliar. Les estructures de control també tenen en compte la interacció persona-robot, la coordinació i cooperació dels robots, la interacció amb l'entorn de treball i les restriccions imposades per la cirurgia i la seguretat del pacient.La integració de tots aquests mòduls: percepció, planificació i control cognitiu, demostra els avenços assolits en robòtica cognitiva i la seva aplicabilitat cap a una cirurgia robòtica més autònoma.

(Español) Esta tesis pretende contribuir al desarrollo de la autonomía robótica en tareas complejas basándose en el paradigma del control cognitivo. La cognición es un enfoque multidisciplinar orientado a dotar a los sistemas robóticos de un comportamiento inteligente y autónomo que debe aprender y razonar sobre cómo responder ante tareas y entornos complejos.La cognición implica la percepción, la conciencia, la interpretación de las acciones humanas, el aprendizaje, la planificación, la anticipación y la respuesta dinámica a los cambios en las condiciones de trabajo y en la interacción con los humanos. La autonomía pretende sustituir y/o complementar parcialmente las facultades humanas a nivel de percepción, análisis y ejecución. Aumentar la autonomía de los robots permite centrar la carga cognitiva de los humanos en decisiones y acciones de alto nivel, en aspectos en los que el factor humano es esencial: contextualización de la información, experiencia específica, conocimientos médicos y toma de decisiones complejas, etc. Además, los robots mejoran las propiedades de los humanos en ciertos aspectos como la precisión, la repetibilidad, la ausencia de fatiga o la eficiencia de la respuesta en términos de tiempo y precisión.Esta tesis aborda diferentes aspectos clave de la autonomía robótica: la percepción, la planificación y ejecución dinámica de acciones y, por último, las estructuras de control necesarias para un control eficiente y su integración en sistemas robóticos.La tesis combina un enfoque teórico apoyado en aplicaciones prácticas orientadas al campo de la cirugía mínimamente invasiva robótica. Se ha elegido este campo por dos razones principales: el impacto social que supone la mejora de la cirugía y, por la exigencia del mismo a nivel humano y robótico.La experimentación se ha centrado en varias plataformas robóticas. Primero, una plataforma teleoperada con un único robot orientada a la cirugía fetal mínimamente invasiva en la que un sistema cognitivo ofrece cierto nivel de autonomía, generando trayectorias en espacios libres de colisiones, aumentando la seguridad del paciente y disminuyendo la carga cognitiva de los cirujanos en tareas de navegación e interacción dentro de la región intrauterina. Segundo, un sistema multi-robot para ejecutar acciones auxiliares en un sistema cooperativo humano-robot: el cirujano principal realiza las acciones quirúrgicas mientras los robots auxiliares ejecutan, de forma autónoma, tareas auxiliares. La experimentación se ha centrado en lacirugía de prostatectomía radical mínimamente invasiva.Así, la tesis aborda la percepción del entorno anatómico, considerando las limitaciones de la adquisición de datos en calidad y cantidad, así como la ausencia de marcadores anatómicos. El siguiente tema abordado es la planificación dinámica de acciones. Se han estudiado diferentes paradigmas de aplicación, como la interacción directa persona-robot mediante guiado háptico, la planificación de movimientos en entornos pseudoestructurados y, la planificación y control activos en entornos dinámicos, respondiendo a diferentes técnicas quirúrgicas mínimamente invasivas. Por último, se aborda el control cognitivo. El enfoque se basa en la descomposición multinivel de tareas complejas (p.ej., una cirugía) definiendo todos los potenciales estados y transiciones. Ésta usa estructuras de control deterministas y robustas que restringen situaciones incontrolables o inesperadas que ponen en riesgo, en el caso de la aplicación, al paciente, a los cirujanos o al personal auxiliar. Las estructuras de control también tienen en cuenta la interacción persona-robot, la coordinación y cooperación de los robots, la interacción con el entorno de trabajo y las restricciones impuestas por la cirugía y la seguridad del paciente.La integración de todos estos módulos: percepción, planificación y control cognitivo, demuestra los avances logrados en robótica cognitiva y su aplicabilidad hacia una cirugía robótica más autónoma.