Value engineering for autonomous agents

Abstract

(English) The topic of this thesis is the engineering of values for autonomous agents. This is realised through the formulation, design and implementation of new functionalities for autonomous agents that enable reasoning in terms of values. In particular, we argue for the role of prescriptive norms as value-promoting mechanisms. Hence, value-driven agents should be able to autonomously determine which regulations (such as obligations, permissions or prohibitions) make the Multiagent System they inhabit better promote some values of interest. We lay the foundations of our work on Schwartz’s Theory of Basic Human Values to establish a consequential connection between values and norms, considering that norms are aligned with respect to values if the outcomes they incentivise satisfy the goals that capture the meaning of values in a particular context. Another feature of Schwartz’s theory that has been previously overlooked in the literature is the strong social dimension of values. That is, agents should be able to reason not just in terms of their own, but also of the values of others in their community. This points to Theory of Mind (i.e. the cognitive ability to perceive, interpret and reason about others in terms of their mental states) as an outstanding component of value-based reasoning.

This thesis is structured around three main contributions (published in journal papers) plus their integration. The first contribution establishes the normvalue relationship as a consequential one in nature, and proposes a methodology for the automated synthesis and analysis of optimally value-aligned normative systems. The second contribution tackles the limitations of the first, and defines the Action Situation Language to systematically express a wide range of rules that may be implemented in a Multiagent System. This language is complemented by a game engine that automatically interprets interaction descriptions and builds their semantics as Extensive Form Games, which are later analysed with standard game-theoretical tools. This leads to a distribution over game outcomes, which are evaluated in terms of their desirability with respect to values. The third contribution introduces Theory of Mind-related functionalities into an existing Belief-Desire-Intention agent architecture, and combines them with abductive reasoning capabilities.

The three contributions are integrated in a novel functionality that enables agents to reason about prescriptive norms in terms of dynamic values. This means that an autonomous agent can, at runtime, switch its value perspective to the one it estimates that another agent has. Such perspective-dependent value-based normative reasoning functionality, with its inherent social orientation, constitutes a novel contribution to the community of values for autonomous agents and paves the way for possible applications such as value-based negotiation over normative systems. In summary, value engineering is a principled and systematic approach to computational ethics, which provides an innovative tool set for integrating ethical values into the design of autonomous agents.

(Català) El tema d’aquesta tesi és l’enginyeria de valors per a agents autònoms, aconseguida mitjançant la formulació, disseny i implementació de noves funcionalitats que permeten a agents autònoms raonar en termes de valors. En particular, defensem el paper de les normes prescriptives com a mecanismes de promoció de valors. Aleshores, els agents impulsats per valors deuen poder determinar de forma autònoma quines regulacions (com ara obligacions, permisos o prohibicions) promouen millor alguns valors d’interès en el Sistema Multiagent que habiten. Fonamentem el nostre treball a la Teoria de Schwartz de Valors Humans Bàsics per establir una connexió entre valors i normes basada en conseqüències, considerant que les normes estan alineades respecte als valors si els resultats que incentiven satisfan les metes que capten el significat d’aquests valors en un context determinat. Una altra característica de la teoria de Schwartz que ha estat passada per alt prèviament a la literatura és la forta dimensió social dels valors. És a dir, els agents haurien de poder raonar, no només en termes dels seus propis valors, sinó també dels d’altres a la seva comunitat. Això apunta a la Teoria de la Ment (és a dir, la capacitat cognitiva de percebre, interpretar i raonar sobre els altres en termes dels seus estats mentals) com un component destacat del raonament basat en valors.

Aquesta tesi s’estructura al voltant de tres contribucions principals (publicades en revistes acadèmiques), a més de la seva integració. La primera contribució estableix la relació entre normes i valors mitjançant conseqüències, i proposa una metodologia per a la síntesi i anàlisi automatitzada de sistemes normatius òptimament alineats amb valors. La segona contribució aborda les limitacions de la primera, i defineix l’Action Situation Language per expressar sistemàticament una àmplia gamma de regles que es poden implementar en un Sistema Multiagent. Aquest llenguatge es complementa amb un intèrpret que processa automàticament la descripció de la interacció i construeix la seva semàntica com un joc en forma estesa, que després és analitzat amb eines estàndards de teoria de jocs. Això condueix a una distribució sobre estats finals del joc, que s’avaluen en termes de la seva conveniència respecte a certs valors. La tercera contribució presenta funcionalitats relacionades amb la Teoria de la Ment, integrant-les a l’arquitectura Belief-Desire-Intention existent i combinant-les amb raonament abductiu.

Les tres contribucions s’'integren en una nova funcionalitat que permet a agents autònoms raonar sobre normes prescriptives en termes de valors dinàmics. Això vol dir que un agent autònom pot, durant la seva execució, canviar la seva perspectiva de valors a la que estima que té un altre agent. Aquest enfocament, basat en valors i amb una orientació social inherent, constitueix una contribució nova a la investigació de valors per a agents autònoms i aplana el camí a possibles aplicacions com la negociació automàtica sobre sistemes normatius basada en valors. En resum, l’'enginyeria de valors és un enfocament sistemàtic i de principis a l’'ètica computacional, que proporciona un conjunt d’'eines innovadores per integrar valors ètics al disseny d’'agents autònoms.