Value-aligned norm selection

Abstract

Norms have been widely enacted in both human and agent societies to regulate the actions that individuals can perform. However, although legislators may have ethics in mind when establishing norms, moral values are seldom explicitly considered. This thesis advances the state of the art in normative multi-agent systems by providing quantitative and qualitative methods for a decision maker to select the norms to enact within a society that best align with the moral values of such society. We call the problem of selecting these norms, the value-aligned norm selection.

The quantitative approach to align norms and values is grounded on the ethics literature. Specifically, from the study of the relations between norms, actions and values in the literature, we formally define how actions and values relate, through the so-called value judgement functions, and how norms and values relate, through the so-called norm promotion functions. We show that both functions provide the means to compute value alignment for a set of norms, and also that our norm selection problem can be cast as an optimisation problem: finding the set of norms that maximises value alignment. Furthermore, we provide a binary integer program (BIP) encoding to solve the value-aligned norm selection problem with off-the-shelf solvers.

While utilitarian approaches are commonplace in multi-criteria decision making, utilities may not always be available or easy to specify. In the case of value-aligned norm selection, assessing numerically how a norm relates to a value may not be easy for a decision maker. In more general terms, decision makers can often be confronted with the need to select a subset of objects from a set of candidate objects by just counting on qualitative preferences regarding some criteria. In fact, this constitutes a family of problems, which we formalise as dominant set selection problems (DSSP).

We propose two approaches to solve the DSSP depending on how elements relate to the criteria. Both approaches are based on transforming the criteria preferences to preferences over all possible sets of objects. We accomplish so by: (i) grounding the preferences over criteria to preferences over the objects themselves; and (ii) lifting these preferences to preferences over all possible sets of objects. Since the value-aligned norm selection problem is a particular instance of the DSSP, we can readily adapt the proposed qualitative approaches to perform value-aligned norm selection.

Our first qualitative approach supposes binary relations between elements and criteria. In the case of value-aligned norm selection, norms either promote or do not promote values. This approach relies on combining lex-cel (an existing method in the literature to ground preferences over criteria to preferences over elements) with our novel anti-lex-cel (a function that lifts preferences over elements to preferences over sets of these elements), which we formally (and thoroughly) study. Furthermore, we provide a BIP encoding for the DSSP to solve it with optimisation libraries.

Building on the first approach, we consider labelled relations between elements and criteria. For example, in the case of value-aligned norm selection, norms can promote or demote values with different degrees, we can capture these degrees of promotion and demotion through labels. This calls for a new decision making framework, which we formally introduce. Within such framework, we introduce a new method to ground preferences over criteria to preferences over single elements considering the labelled element-criterion relations: multi-criteria lex-cel. The resolution of the value-aligned norm selection problem in this case relies on the combination of multi-criteria lex-cel and anti-lex-cel. Here, we also provide a BIP encoding to solve the DSSP. Furthermore, we formally establish that the contributions of this second approach generalise recent results in the social choice literature.

Les normes s’utilitzen àmpliament en societats tant d'humans com d'agents per a regular les accions dels seus individus. Tanmateix, tot i que els legisladors poden estar considerant aspectes ètics de forma intrínseca en definir normes, aquests aspectes no són usualment considerats de forma explícita. Aquesta tesi avança l'estat de l'art en sistemes multiagent normatius formalitzant mètodes quantitatius i qualitatius per seleccionar normes basant-se en els valors morals i les preferències sobre aquests valors. Anomenem aquest procés: selecció de normes alineades als valors.

L’aproximació quantitativa a la selecció de normes alineades als valors està basada en la literatura d'ètica. Arran de l'estudi de les relacions entre normes, accions i valors que es fa a la literatura, proposem una definició formal de les relacions entre accions i valors a través de les funcions de judici, i de les relacions entre normes i valors a través de les funcions de promoció. Utilitzem aquestes funcions per calcular l’alineament d’un conjunt de normes amb els valors. D'aquesta manera, la selecció de normes consisteix a trobar el conjunt de normes que maximitzin l’alineament amb els valors.

Tot i que les resolucions basades en utilitats són comunes en la presa de decisions, especificar utilitats pot ser una tasca difícil o impossible. Per exemple, no és fàcil avaluar numèricament l'impacte d'una norma sobre un valor. En termes més generals, la selecció d’alguns elements d'un conjunt de candidats, sol estar guiada per criteris de decisió. Identifiquem aquesta família de problemes que anomenem problemes de selecció del conjunt dominant.

Proposem dues resolucions per a aquests problemes depenent de com s'especifiquen les relacions entre els elements i els criteris de decisió. Les dues resolucions transformen les preferències sobre criteris en preferències sobre conjunts d'elements. Ho fem en dos passos: (i) transformem les preferències sobre criteris en preferències sobre elements; i (ii) transformem les preferències sobre elements en preferències sobre conjunts d'aquests elements. La solució és el conjunt més preferit. Com que el problema de selecció de normes és una instància de la família de problemes de selecció del conjunt dominant, podem adaptar aquestes resolucions per a la selecció de normes.