Decision-making in quantum environments: from model-free to model-aware learning of quantum controls

Abstract

‘èxit en el control experimental dels sistemes quàntics, juntament amb la presència quotidiana de diferents intel·ligències artificials, planteja la pregunta d’on es creuen aquests mons. En aquesta tesi es proposa una sèrie de marcs en què un agent d’aprenentatge automàtic interactua seqüencialment amb un sistema quàntic per tal d’aprendre estratègies de control. Aquests marcs estan interconnectats entre si pel grau de coneixement l’agent té sobre l’escenari en qüestió.

El nostre viatge comença amb l’aprenentatge sense model de protocols de comunicació quàntica sobre llarga distància, continua cap a una etapa intermèdia de consciència en què s’aborden problemes de computació quàntica tipus NISQ i finalment aterra al terreny totalment conscient, on es consideren problemes d’inferència estadística en sistemes quàntics contínuament monitoritzats.

Específicament, partim d’un escenari completament agnòstic on un agent d’aprenentatge per reforç s’enfronta a la tasca de calibrar un receptor quàntic que descodifica informació clàssica d’un sistema quàntic de variable contínua. Partint d’aquest context, llancem una mica de llum sobre el problema de l’aprenentatge, i el segon escenari consisteix a dissenyar circuits quàntics útils per als ordinadors quàntics actualment disponibles. Per això, introduïm un algorisme semi-agnòstic que optimitza de manera conjunta tant l’estructura com els paràmetres del circuit. Finalment, considerem com la dinàmica d’un sistema quàntic pot ser inferida per un agent que està monitoritzant contínuament aquest sistema. Aquí, assumim que l’estructura de la dinàmica és coneguda per l’agent, que necessita aprendre quina és la hipòtesi subjacent que descriu l’evolució a partir d’un senyal de mesura sorollós.

Els mètodes desenvolupats en aquesta tesi estan preparats per poder ser aplicats a escenaris de la vida real i representen un pas endavant cap a la constitució de l’aprenentatge automàtic quàntic.

El control experimental exitoso de ciertos sistemas cuánticos, junto con la presencia de la inteligencia artificial, plantea la pregunta de dónde estos mundos se encuentran. En esta tesis proponemos una serie de marcos donde agente de aprendizaje automático interactúa secuencialmente con un sistema cuántico para aprender estrategias de control. Los marcos están interconectados entre sí por el grado de conocimiento el agente posee sobre el escenario en cuestión.

Nuestro viaje comienza con el aprendizaje sin modelo para protocolos de comunicación cuántica, continúa hacia una etapa intermedia de conciencia donde se abordan problemas de computación cuántica, y finalmente aterriza en el terreno totalmente consciente, considerando problemas de inferencia estadística en sistemas continuamente monitoreados.

En particular, partimos de una escenario agnóstico, donde un agente de aprendizaje por refuerzo se enfrenta a la tarea de calibrar un receptor cuántico que decodifica estados coherentes. Continuamos arrojando algo de luz sobre el grado de conciencia, y nuestro segundo escenario consiste en el diseño de circuitos cuánticos útiles para dispositivos actualmente disponibles. Para ello, introducimos un algoritmo semi-agnóstico que optimiza conjuntamente la estructura y los parámetros del circuito. Finalmente, estudiamos cómo inferir la dinámica de un sistema a partir de su monitoreando continuo. Aquí, asumimos que la estructura de la dinámica es conocida por el agente, quien necesita aprender cuál es la hipótesis subyacente que describe la evolución, a partir de la señal de medidas ruidosas.

Los métodos desarrollados en esta tesis están listos para ser aplicados a escenarios de la vida real y representan un paso adelante hacia la constitución del aprendizaje automático cuántico.

The success in the experimental control of quantum systems, along with the advent of artificial intelligence, raises the question of where do these worlds meet. In this thesis, a series of frameworks is proposed, in which a machine-learning agent sequentially interacts with a quantum system in order to learn control strategies. Such frameworks are interconnected with each other by the degree of knowledge the agent possesses on the setting at hand.

Our journey begins by model-free learning of long-distance quantum communication protocols, continues towards an intermediate-stage of awareness in which NISQ-computing problems are tackled, and finally lands on the fully-aware terrain, where statistical-inference problems are considered for continuously-monitored systems.

Specifically, we depart from a completely agnostic assumption, where a reinforcement learning agent is posed to the task of calibrating a quantum receiver that decodes information out of a continuous-variable system. From here, some light is shed into the learning problem, and in the second framework we consider how to design useful quantum circuits for currently-available quantum computers. To this end, a semi-agnostic algorithm that jointly optimizes both the structure and the parameters of the circuit is introduced. Finally, we consider how open quantum dynamics can be inferred by an agent which is continuously-monitoring a system. Here, the structure of the quantum evolution is assumed to be known, and the agent needs to learn which is the underlying hypothesis that describes systems’ dynamics out of a noisy measurement signal.

The methods developed in this thesis can potentially be applied to real-life scenarios, and represent a step forward towards the constitution of quantum machine learning.