Incremental active learning of sensorimotor models in developmental robotics

Abstract

La rápida evolución de la robótica esta promoviendo que emerjan nuevos campos relacionados con la robótica. Inspirándose en ideas provinientes de la psicología del desarrollo, la robótica del desarrollo es un nuevo campo que pretende proveer a los robots de capacidades que les permiten aprender de una manera abierta durante toda su vida.

Hay situaciones donde los ingenieros o los diseñadores no pueden prever todos los posibles problemas que un robot pueda encontrar. Tal como el número de tareas que un robot debe hacer crece, este problema se vuelve más evidente, y las soluciones de ingenería tradicionales pueden no ser completamente factibles. En tal caso, la robótica del desarrollo proporciona una serie de principios y directrices para construir robots que tienen las herramientas cognitivas adecuadas a fin de adquirir el conocimiento necesario.

Auto-exploración, aprendizaje incremental, scaffolding social e imitación. Todas son herramientas que contribuyen a construir robots con un alto grado de autonomía. Mediante la auto-exploración internamente motivada, un robot descubre lo que su cuerpo es capaz de hacer. Las técnicas de aprendizaje incremental permite que un robot tenga conocimiento listo al instante, a partir de construir estructuras cognitivas encima de otras más viejas. El scaffolding o andamiaje social y las capacidades de imitación permiten aprovechar lo que los humanos --- u otros robots --- ya saben. De esta manera, los robots tienen metas que perseguir y aportan, o bien un uso final para las habilidades aprendidas, o bien ejemplos de cómo lograr una determinada tarea.

Esta tesis presenta un estudio de una serie de técnicas, las cuales ejemplifican cómo algunos de esos principios, aplicados a robots reales, funcionan juntos, permitiendo al robot aprender autónomamente a ejecutar una serie de tareas. También mostramos cómo el robot, aprovechándose de técnicas de aprendizaje activo e incremental, es capaz de decidir la mejor manera de explorar su entorno a fin de adquirir el conocimiento que mejor le ayuda a lograr sus objetivos. Ésto, añadido al descubrimiento autónomo de las limitaciones de su propio cuerpo, disminuye la cantidad de conocimiento especifico del dominio que es necesario poner en el diseño del sistema de aprendizaje.

Primeramente, presentamos un algoritmo de aprendizaje incremental para Modelos de Mixtura de Gaussianas aplicado al problema de aprendizaje sensorimotor. Implementado en un robot móvil, el objetivo es adquirir un modelo que es capaz de realizar predicciones sobre los estados sensoriales futuros. Este modelo predictivo es reutilizado como substrato representacional, el cual sirve para categorizar y anticipar situaciones tales como la colisión contra un objeto.

Después de un periodo extendido de aprendizaje, y habiendo encontrado situaciones diferentes, observamos que los modelos adquiridos se terminan siendo bastante grandes. Sin embargo, nos dimos cuenta que, en un momento dado, solo una pequeña porcion del mismo es utilizada. Además, estas areas son utilizadas consistentemente por un periodo relativamente largo de tiempo. Presentamos una extensión para el algoritmo de Regresión basado en Mixturas de Gaussianas, el cual aprovecha este hecho a fin de reducir el coste computacional de la inferencia.

Las técnicas aquí presentadas fueron también aplicadas en un problema diferente y más commplejo: la imitación de una secuencia de notas musicales proporcionadas por un humano. Estas son producidas por un objeto musical virtual que es utilizado por un robot humanoide. El robot no solo aprende a utilizar este objeto, sino que también aprende sobre las limitaciones de su propio cuerpo. Ésto le permite entender mejor qué puede hacer y cómo puede hacerlo, subrayando la importancia de la influencia que el hecho de tener cuerpo tiene en la interacción del robot con su entorno y el tipo de estructuras cognitivas que se forman como consecuencia de este tipo de interacción.

The rapid evolution of robotics is promoting new robotics related research fields to emerge. Taking insights from developmental psychology, developmental robotics is a new field which aims to endow robots with capabilities that enable them to life-long learning in an open-ended way. There are situations where engineers or designers cannot foresee all the possible problems a robot may encounter. As the number of tasks that a robot must do grows, this problem becomes more evident and traditional engineering solutions may not be entirely feasible. In that case, developmental robotics provides a series of principles and guidelines to construct robots which have the adequate cognitive tools in order to acquire the necessary knowledge. Self-exploration, incremental learning, social scaffolding or imitation. All are tools which contribute to build robots with a high degree of autonomy. By means of internally motivated self-exploration, a robot discovers what its body is able to do. Incremental learning techniques enable a robot to have ready-to-use knowledge by building new cognitive structures on top of old ones. Social scaffolding and imitation capabilities allows taking advantage of what humans --- or other robots --- already know. In this way, robots have goals to pursue and provide either an end use of learned skills or examples on how to accomplish a given task. This thesis presents a study of a series of techniques which exemplify how some of those principles, applied to real robots, work together, enabling the robot to autonomously learn to perform a series of tasks. We also show how the robot, by taking advantage of active and incremental learning, is able to decide the best way to explore its environment in order to acquire knowledge that best helps in accomplishing its goals. This, in addition to the autonomous discovery of its own body limitations, leverages the amount of domain specific knowledge that needs to be put in the design of the learning system. First and foremost, we present an incremental learning algorithm for Gaussian Mixture Models applied to the problem of sensorimotor learning. Implemented in a mobile robot, the objective is to acquire a model which is capable of making predictions about future sensory states. This predictive model is reused as a representation substrate which serves to categorize and anticipate situations such as the collision with an object. After an extended period of learning, and having encountered different situations, we observed that the acquired models become quite large. However, we realized that, at any given time, only small portions of it are used. Furthermore, these areas are consistently used over relatively long periods of time. We present an extension to the standard Gaussian Mixture Regression algorithm which takes advantage of this fact in order to reduce the computational cost of inference. The techniques herein presented were also applied in a different and more complex problem: the imitation of a sequence of musical notes provided by a human. Those are produced by a virtual musical object which is used by a humanoid robot. The robot not only learns to use this object, but also learns about its own body limitations. This enables it to better understand what it is able to do and how, highlighting the importance of embodiment in the interaction of a robot with its environment and the kind of cognitive structures that are formed as a consequence of this type of interaction.