Surgical subtask automation for intraluminal procedures using deep reinforcement learning

Abstract

(English) Intraluminal procedures have opened up a new sub-field of minimally invasive surgery that use flexible instruments to navigate through complex luminal structures of the body, resulting in reduced invasiveness and improved patient benefits. One of the major challenges in this field is the accurate and precise control of the instrument inside the human body. Robotics has emerged as a promising solution to this problem. However, to achieve successful robotic intraluminal interventions, the control of the instrument needs to be automated to a large extent.

The thesis first examines the state-of-the-art in intraluminal surgical robotics and identifies the key challenges in this field, which include the need for safe and effective tool manipulation, and the ability to adapt to unexpected changes in the luminal environment. To address these challenges, the thesis proposes several levels of autonomy that enable the robotic system to perform individual subtasks autonomously, while still allowing the surgeon to retain overall control of the procedure. The approach facilitates the development of specialized algorithms such as Deep Reinforcement Learning (DRL) for subtasks like navigation and tissue manipulation to produce robust surgical gestures. Additionally, the thesis proposes a safety framework that provides formal guarantees to prevent risky actions.

The presented approaches are evaluated through a series of experiments using simulation and robotic platforms. The experiments demonstrate that subtask automation can improve the accuracy and efficiency of tool positioning and tissue manipulation, while also reducing the cognitive load on the surgeon. The results of this research have the potential to improve the reliability and safety of intraluminal surgical interventions, ultimately leading to better outcomes for patients and surgeons.

(Català) Les intervencions intraluminals han obert un nou subcamp de la cirurgia mínimament invasiva que utilitza instruments flexibles per navegar a través de conductes complexes del cos, el que fa el procés menys invasiu i aporta beneficis per als pacients. Un dels principals reptes en aquest camp és el control precís dels dispositius mèdics dins del cos humà. La robòtica ha sorgit com una solució prometedora per a aquest problema. Però per aconseguir intervencions intraluminals robòtiques exitoses, el control del dispositiu mèdic ha d'estar automatitzat en gran mesura. En aquesta tesi s'examina l'estat de l'art en robòtica quirúrgica intraluminal i s'identifiquen els principals reptes en aquest camp, que inclouen la necessitat d'una manipulació segura i efectiva de les eines i la capacitat d'adaptar-se a canvis inesperats en aquest entorn. Per abordar aquests reptes, la tesi proposa diversos nivells d'autonomia que permeten al sistema robòtic realitzar sub-tasques individualment de manera autònoma, i a la vegada permet al cirurgià mantenir el control del procediment. L'enfocament del treball permet el desenvolupament d'algorismes especialitzats com l'aprenentatge profund per reforç (DRL) per a sub-tasques com la navegació i la manipulació de teixits per produir gestos quirúrgics robustos. Addicionalment, la tesi proposa un marc de seguretat que ofereix garanties formals per prevenir accions arriscades. Les aproximacions presentades són avaluades mitjançant una sèrie d'experiments utilitzant plataformes de simulació i robòtiques. Els experiments demostren que la automatització de sub-tasques pot millorar la precisió i l'eficiència de la posició de l'eina i la manipulació de teixits, reduint a la vegada la càrrega cognitiva del cirurgià. Els resultats d'aquesta la investigació tenen el potencial de millorar la confiabilitat i la seguretat de les intervencions quirúrgiques intraluminals, el que finalment dona lloc a millors resultats per a pacients i cirurgians.