Knowledge representation and reasoning for perception-based manipulation planning

Abstract

This thesis develops a series of modeling and reasoning tools for knowledge-oriented manipulation planning in semi/unstructured environments. The main idea is to use high-level knowledge-based reasoning to capture a rich semantic description of the scene, knowledge about the physical behavior of the objects, and inference mechanism to reason about the potential manipulation actions. Moreover, a multi-model sensory module is proposed to perceive the objects in the environment and build the ontological knowledge.

The first part of the thesis is focused on the techniques to provide useful knowledge to guide and facilitate the planning process within a classical-based manipulation planning framework. This planning framework facilitates the combination of task and motion planning approaches which includes Fast Forward (FF), a classical symbolic planning approach to compute the sequence of actions to be done in a certain task, and physics-based motion planning which deals with motions and possible interactions with the objects. The tool proposed to provide useful knowledge to the planning process is called Perception and Manipulation Knowledge (PMK). It provides, on the one hand, a standardized formalization under several foundations, such as the Suggested Upper Merged Ontology (SUMO), and the Core Ontology for Robotics and Automation (CORA), in order to facilitate the shareability and reusability when the interaction between humans and/or robots is done. On the other hand, it provides the inference mechanism to reason about TAMP requirements, such as robot capabilities, action constraints, action feasibility, and manipulation behaviors. Moreover, PMK allows breaking the closed-world assumption of classical-based manipulation planning approaches. This proposal has been tested for a serving task in a table-top manipulation problem.

Esta tesis desarrolla una serie de herramientas de modelado y razonamiento para la planificación de la manipulación basada en el conocimiento en entornos no estructurados o semiestructurados. La idea principal es utilizar un razonamiento basado en el conocimiento de alto nivel para capturar una descripción semántica de la escena, conocimiento sobre el comportamiento físico de los objetos y un mecanismo de inferencia para razonar sobre las posibles acciones de manipulación. Además, se propone un módulo sensorial multimodelo para percibir los objetos del entorno y construir conocimiento ontológico. La primera parte de la tesis se centra en las técnicas para proporcionar conocimientos útiles para guiar y facilitar el proceso de planificación dentro de un marco de planificación de manipulación clásico. Este marco de planificación facilita la combinación de enfoques de planificación de tareas y movimientos (TAMP) que incluye Fast Forward (FF) que es un enfoque clásico de planificación simbólica para calcular la secuencia de acciones a realizar en una determinada tarea, y la planificación de movimiento basada en la física que trata con movimientos y posibles interacciones con los objetos. La herramienta propuesta para aportar conocimientos útiles al proceso de planificación se denomina Conocimiento de Percepción y Manipulación (PMK), la cual proporciona una formalización estandarizada bajo varios fundamentos, como la Ontología Superior Sugerida Sugerida (SUMO), y la Ontología Core para Robótica y Automatización (CORA), con el fin de facilitar la compartibilidad y reutilización cuando se produzca la interacción entre humanos y/o robots. La segunda parte de la tesis se centra en proporcionar conocimientos útiles para un enfoque de planificación basado en la lógica. Está particularizado para el ensamblaje, que tiene en cuenta lacciones de manipulación para acoplar/desacoplar o unir/separar objetos. Las secuencias de ensamblaje se pueden representar de forma elegante usando teorías de lógica descriptiva. Con tal secuencia, el robot puede descubrir el próximo paso en el ensamblaje a través de la inferencia lógica. Sin embargo, antes de realizar una acción, el robot debe asegurarse de que se cumplan varias restricciones espaciales, como que las partes que se van a unir sean accesibles, no ocluidas, etc. Tales inferencias son muy complicadas de respaldar en teorías lógicas, pero existen algoritmos especializados que calculan de manera eficiente relaciones cualitativas, como si un objeto es accesible. Aquí se propone un razonamiento heterogéneo que requiere la integración entre el nivel de planificación de ensamblajes basado en el conocimiento y el nivel geométrico, que incluye módulos para inferir sobre las relaciones espaciales y la viabilidad de las acciones. La tercera parte de la tesis se centra en el uso de la experiencia basada en el conocimiento, llamado conocimiento experiencial, en problemas de manipulación cotidianos, como por ejemplo, en aplicaciones de robótica de servicios, como servir una taza en un entorno desordenado, donde suelen encontrarse algunas habilidades repetibles como recoger, dejar o navegar. Para manejar de manera eficiente estas tareas, en lugar de planificarlas por completo cada vez (lo que podría ser computacionalmente costoso), se propone la integración de módulos para adaptar esas habilidades en diferentes situaciones. En este sentido, se presenta un marco de planificación y ejecución para tareas de manipulación robótica, el cual se equipa de un módulo con conocimiento experiencial (aprendido de su experiencia o dado por el usuario) sobre cómo ejecutar un conjunto de habilidades, tales como recoger, dejar, navegar o abrir un cajón, utilizando flujos de trabajo y trayectorias de robots.