Distributed large scale systems : a multi-agent RL-MPC architecture

Abstract

This thesis describes a methodology to deal with the interaction between MPC controllers in a distributed MPC architecture. This approach combines ideas from Distributed Artificial Intelligence (DAI) and Reinforcement Learning (RL) in order to provide a controller interaction based on cooperative agents and learning techniques. The aim of this methodology is to provide a general structure to perform optimal control in networked distributed environments, where multiple dependencies between subsystems are found. Those dependencies or connections often correspond to control variables. In that case, the distributed control has to be consistent in both subsystems. One of the main new concepts of this architecture is the negotiator agent. Negotiator agents interact with MPC agents to determine the optimal value of the shared control variables in a cooperative way using learning techniques (RL). The optimal value of those shared control variables has to accomplish a common goal, probably different from the specific goal of each agent sharing the variable. Two cases of study, in which the proposed architecture is applied and tested are considered, a small water distribution network and the Barcelona water network. The results suggest this approach is a promising strategy when centralized control is not a reasonable choice.

Esta tesis describe una metodología para hacer frente a la interacción entre controladores MPC en una arquitectura MPC distribuida. Este enfoque combina las ideas de Inteligencia Artificial Distribuida (DIA) y aprendizaje por refuerzo (RL) con el fin de proporcionar una interacción entre controladores basado en agentes de cooperativos y técnicas de aprendizaje. El objetivo de esta metodología es proporcionar una estructura general para llevar a cabo un control óptimo en entornos de redes distribuidas, donde se encuentran varias dependencias entre subsistemas. Esas dependencias o conexiones corresponden a menudo a variables de control. En ese caso, el control distribuido tiene que ser coherente en ambos subsistemas. Uno de los principales conceptos novedosos de esta arquitectura es el agente negociador. Los agentes negociadores actúan junto con agentes MPC para determinar el valor óptimo de las variables de control compartidas de forma cooperativa utilizando técnicas de aprendizaje (RL). El valor óptimo de esas variables compartidas debe lograr un objetivo común, probablemente diferente de los objetivos específicos de cada agente que está compartiendo la variable. Se consideran dos casos de estudio, en el que la arquitectura propuesta se ha aplicado y probado, una pequeña red de distribución de agua y la red de agua de Barcelona. Los resultados sugieren que este enfoque es una estrategia prometedora cuando el control centralizado no es una opción razonable.