Object manipulation based on tactile information

Abstract

In-hand dexterous manipulation of an object is the ability to change the configuration (position and/or orientation) of an object held in the hand. This is an ability that has allowed humans to use tools and interact with the environment effectively. For the past decades, robotics researchers have worked to provide dexterous manipulation skills to the robots by designing robotic hands that mimic the human hand and by developing applications that allow performing autonomous manipulation or teleoperation in harsh environments. Despite the progress made, managing the uncertainties that exist in the real world is one of the problems that still need to be worked on. Many existing manipulation methods for controlling robotic hands require a priori information about the object and high-fidelity sensors that are typically limited only to laboratory settings.

The main objective of this thesis is to develop strategies for the dexterous manipulation of unknown objects, using the tactile information generated during the grasp of the object and the manipulation process itself. In manipulation applications based on tactile information, the robotic hand has access only to tactile and proprioceptive data, in addition, no a priori information is known about the manipulated object. This reflects real-world applications, where there is uncertainty in the models of the objects that are commonly manipulated in daily activities, as well as in the sensorial measurements.

In this dissertation, novel manipulation strategies based on heuristic and gradient optimization methods are proposed. Three quality indexes are selected to measure the goodness of the grasp during the manipulation, related to the configuration of the hand, the quality of the grasp, and the configuration of the object. Starting from a given initial grasp, the manipulation strategies are able to improve one quality index or a combination of them. The manipulation strategies are validated with real experimentation using robotic hands equipped with tactile sensors, allowing the execution of practical applications, such as object recognition, force optimization, and telemanipulation.

La manipulación diestra es la capacidad de cambiar la configuración (posición y/u orientación) de un objeto mientras es sostenido en la mano. Esta es una habilidad que ha permitido a los humanos usar herramientas e interactuar con el medio ambiente de forma efectiva. En las últimas décadas, los investigadores en robótica han trabajado para proporcionar la capacidad de ejercer manipulación diestra a los robots mediante el diseño de manos robóticas que imitan a la mano humana y mediante el desarrollo de aplicaciones que permiten realizar manipulación autónoma o teleoperación en entornos hostiles. A pesar de los avances logrados, gestionar las incertidumbres que existen en el mundo real es uno de los problemas en los que aún hay que seguir trabajando. Muchos enfoques existentes para controlar las manos robóticas, requieren información a priori sobre el objeto manipulado y sensores de alta fidelidad que normalmente se encuentran solo en laboratorios. El principal objetivo de esta tesis es desarrollar estrategias para la manipulación diestra de objetos desconocidos, utilizando la información táctil generada durante la prensión del objeto y el propio proceso de manipulación. En aplicaciones de manipulación basadas en información táctil, la mano robótica tiene acceso solo a datos táctiles y propioceptivos, además, no se conoce información a priori sobre el objeto manipulado. Esto va acorde con el mundo real, donde hay incertidumbre en los modelos de los objetos que se manipulan, así como en las mediciones de los sensores. En esta tesis se proponen nuevas estrategias de manipulación basadas en métodos heurísticos y de optimización del gradiente. Se eligieron tres índices para medir la calidad de la prensión durante la manipulación, los cuales están relacionados con la configuración de la mano, la calidad de la prensión y la configuración del objeto. A partir de una prensión inicial dada, las estrategias de manipulación pueden mejorar un índice de calidad o una combinación de ellos. Las estrategias de manipulación han sido validadas en experimentación real utilizando manos robóticas equipadas con sensores táctiles, permitiendo la ejecución de aplicaciones prácticas, como el reconocimiento de objetos, la optimización de fuerzas y la telemanipulación.