Trust Alignment and Adaptation: Two Approaches for Talking about Trust in Multi-Agent Systems

Abstract

En els sistemes multiagent els models de confiança són una eina important perquè les interaccions entre agents siguin efectives. Ara bé, la confiança és una noció inherentment subjectiva, i per això els agents necessiten informació addicional per poder comunicar les avaluacions de confiança. Aquesta tesi doctoral se centra en dos mètodes per comunicar la confiança: l'alineament de la confiança i l'adaptació de la confiança. En el primer mètode, el problema de la comunicació de la confiança es modela com un problema d'alineament. Mostrem que les solucions actuals basades en ontologies comunes o en l'alineament d'ontologies generen problemes addicionals. Per això proposem com a alternativa alinear la confiança, basant-nos en les interaccions que dos agents comparteixen per tal d'aprendre un alineament. Fent servir el marc matemàtic de la teoria de canals formalitzem com les avaluacions subjectives de dos agents sobre la confiança es relacionen a través de les interaccions que fonamenten aquestes avaluacions. Com que els agents no poden accedir a les avaluacions de confiança dels altres, cal establir una comunicació. Especifiquem la rellevància i la consistència com a propietats necessàries per a aquesta comunicació. L'agent receptor de la confiança comunicada pot generalitzar els missatges fent servir la θ-subsumció, el que duu a un model predictiu que permet a un agent traduir futures comunicacions rebudes del mateix agent emissor. Mostrem aquest procés d'alineament a la pràctica fent servir TILDE, un algorisme de regressió de primer ordre, per tal d'aprendre un alineament. També il·lustrem la seva aplicació en un escenari d'exemple. De forma empírica demostrem: (1) que la dificultat d'aprendre un alineament depèn de la complexitat relativa dels diversos models de confiança; (2) que el nostre mètode millora altres mètodes existents d'alineament de la confiança; i (3) que el nostre mètode funciona bé sota condicions d'engany. El segon mètode per comunicar la confiança es basa en permetre que els agents raonin sobre llurs models de confiança i que personalitzin les comunicacions per adaptar-se millor a les necessitats d'un altre agent. Els mètodes actuals no permeten la suficient introspecció o adaptació del models de confiança. Per això presentem AdaptTrust, un mètode per incorporar un model computacional de confiança a l'arquitectura cognitiva d'un agent. En AdapTrust les creences i els objectius d'un agent influencien les prioritats entre aquells factors que són importants per a la computació de la confiança. Aquests al seu torn defineixen els valors dels paràmetres del model de confiança, i així l'agent pot dur a terme canvis en el seu model computacional de confiança a base de raonar sobre les seves creences i objectius. D'aquesta manera és capaç de modificar proactivament el seu model i produir avaluacions de confiança que millor s'adaptin a les seves necessitats actuals. Donem una formalització declarativa d'aquest sistema integrant-lo en una representació ⎯ fonamentada en un sistema multicontext ⎯ d'una arquitectura d'agent basada en creences, desitjos i intencions (BDI). També mostrem com amb el nostre marc es poden incorporar tres dels actuals models de confiança en el sistema de raonament d'un agent. Finalment fem servir AdapTrust en un marc d'argumentació que permet als agents construir una justificació per a llurs avaluacions de confiança. A través d'aquest marc els agents justifiquen les seves avaluacions segons unes prioritats entre factors, les quals al seu torn són justificades per les creences i objectius dels agents. Aquestes justificacions es poden comunicar a altres agents a través d'un diàleg formal. Així un agent, a base d'argumentar i raonar sobre les prioritats d'un altre agent, pot adaptar el seu model de confiança per oferir-li una recomanació de confiança personalitzada. Aquest sistema l'hem comprovat empíricament i hem vist que millora els actuals sistemes que permeten argumentar sobre avaluacions de confiança.

In open multi-agent systems, trust models are an important tool for agents to achieve effective interactions; however, trust is an inherently subjective concept, and thus for the agents to communicate about trust meaningfully, additional information is required. This thesis focuses on Trust Alignment and Trust Adaptation, two approaches for communicating about trust. The first approach is to model the problem of communicating trust as a problem of alignment. We show that currently proposed solutions, such as common ontologies or ontology alignment methods, lead to additional problems, and propose trust alignment as an alternative. We propose to use the interactions that two agents share as a basis for learning an alignment. We model this using the mathematical framework of Channel Theory, which allows us to formalise how two agents' subjective trust evaluations are related through the interactions that support them. Because the agents do not have access to each other's trust evaluations, they must communicate; we specify relevance and consistency, two necessary properties for this communication. The receiver of the communicated trust evaluations can generalise the messages using θ-subsumption, leading to a predictive model that allows an agent to translate future communications from the same sender. We demonstrate this alignment process in practice, using TILDE, a first-order regression algorithm, to learn an alignment and demonstrate its functioning in an example scenario. We find empirically that: (1) the difficulty of learning an alignment depends on the relative complexity of different trust models; (2) our method outperforms other methods for trust alignment; and (3) our alignment method deals well with deception. The second approach to communicating about trust is to allow agents to reason about their trust model and personalise communications to better suit the other agent's needs. Contemporary models do not allow for enough introspection into ⎯ or adaptation of ⎯ the trust model, so we present AdapTrust, a method for incorporating a computational trust model into the cognitive architecture of the agent. In AdapTrust, the agent's beliefs and goals influence the priorities between factors that are important to the trust calculation. These, in turn, define the values for parameters of the trust model, and the agent can effect changes in its computational trust model, by reasoning about its beliefs and goals. This way it can proactively change its model to produce trust evaluations that are better suited to its current needs. We give a declarative formalisation of this system by integrating it into a multi-context system representation of a beliefs-desires-intentions (BDI) agent architecture. We show that three contemporary trust models can be incorporated into an agent's reasoning system using our framework. Subsequently, we use AdapTrust in an argumentation framework that allows agents to create a justification for their trust evaluations. Agents justify their evaluations in terms of priorities between factors, which in turn are justified by their beliefs and goals. These justifications can be communicated to other agents in a formal dialogue, and by arguing and reasoning about other agents' priorities, goals and beliefs, the agent may adapt its trust model to provide a personalised trust recommendation for another agent. We test this system empirically and see that it performs better than the current state-of-the-art system for arguing about trust evaluations.