A pragmatic approach to translation: vocabulary alignment through multiagent interaction and observation

Abstract

Uno de los objetivos de los sistemas multiagente es permitir la colaboración entre agentes heterogéneos. Esto puede resultar en la interacción entre participantes con distintos tipos de conocimiento, habilidades, y recursos, creando un ambiente abierto y diverso. Para que esta colaboración funcione, es necesario tener en cuenta los diferentes tipos de heterogeneidad que pueden existir entre los agentes; por ejemplo, la heterogeneidad lingüística. Para poder coordinar sus acciones, es necesario que los agentes puedan comunicarse entre ellos; y esta comunicación sólo puede ser exitosa si todos usan el mismo vocabulario, y lo entienden de la misma manera.

El problema del entendimiento mutuo entre agentes con diferentes vocabularios ha sido, mayoritariamente, analizado con técnicas que asumen la existencia de elementos externos comunes, como un meta-lenguaje, un ambiente físico, o recursos semánticos. Sin embargo, estos elementos no siempre están disponibles. Incluso cuando lo están, es posible que generen alineamientos que no sean útiles, en particular, para las interacciones que los agentes quieren completar, dado que no están contextualizados.

Esta tesis propone una visión diferente del alineamiento entre vocabularios, considerando agentes que solamente comparten el conocimiento sobre como llevar a cabo una tarea. Esta información está especificada en un protocolo de interacción. Específicamente, proponemos la idea de alineamiento basado en la interacción, en la cual los agentes aprenden un alineamiento a base de interactuar entre ellos, observando lo que funciona y lo que no en una conversación. La situación en la cual un turista intenta pedir un café en un idioma que no domina es una analogía útil. Aún cuando no hay un lenguaje común, es probable que esta interacción termine exitosamente, dado que está compuesta de pasos simples en los cuales todos coinciden. Más aún, si la interacción se repite varias veces, es posible que el turista aprenda como se pide café en el idioma extranjero. A pesar de que este tipo de adaptación resulta natural para humanos, esta idea aún no ha sido explorada en detalle para agentes artificial.

A lo largo de esta tesis estudiamos como agentes que tienen especificaciones formalizadas de diferentes maneras pueden aprender un vocabulario nuevo. Concretamente, proponemos técnicas de alineamiento basadas en la interacción para protocolos especificados con autómatas, con restricciones lógicas, y con semánticas sociales. Para cada uno de estos casos, proveemos técnicas que permiten inferir información semántica a partir de interacciones, o de la observación de interacciones entre otros. También analizamos como combinar estas técnicas con alineamientos externos, mostrando como pueden repararlos cuando contienen errores.

Los métodos que proponemos para cada tipo de especificación son evaluados mediante simulaciones, usando protocolos artificiales generados aleatoriamente. De esta manera obtenemos una evaluación general, que no está sesgada por particularidades de los datos. Además, estudiamos como aplicar nuestros métodos a datos empíricos creados por humanos, extraídos de la página web WikiHow. En esta evaluación discutimos los desafíos enfrentados al aplicar nuestros métodos al lenguaje natural, y mostramos que mejoramos los resultados obtenidos al usar un reconocido diccionario.

En resumen, en esta tesis proponemos un método de alineamiento de vocabulario que depende del contexto y no requiere recursos externos, ni de la colaboración de otros agentes. Nuestro método, por si solo, permite encontrar alineamientos útiles, pero puede ser lento. Sin embargo, cuando son combinadas con otros recursos, nuestras técnicas permiten agilizar el aprendizaje y reparar alineamientos externos, a la vez que proveen información sobre el uso de palabras en contexto, la cual puede ser difícil de obtener de otra manera.

Enabling collaboration between agents with different backgrounds is one of the objectives of open and heterogeneous multiagent systems. This can bring together participants with different knowledge, abilities, and access to resources. For this collaboration to succeed, it needs to deal with different kinds of heterogeneity that can exist between agents. An important aspect of this heterogeneity is the linguistic one. To coordinate their collaborative actions, agents need to communicate with each other; and to ensure meaningful communication it is essential that they use the same vocabulary (and understand it in the same way).

The problem of achieving common understanding between agents that use different vocabularies has been mainly addressed by techniques that assume the existence of shared external elements, such as a meta-language, a physical environment, or semantic resources. These elements are not always available and, even when they are, they may yield alignments that are not useful for the particular type of interactions agents need to perform, as they are not contextualized.

In this dissertation we investigate a different approach to vocabulary alignment. We consider agents that only share knowledge of how to perform a task, given by the specification of an interaction protocol. We study the idea of interaction-based vocabulary alignment, a framework that lets agents learn a vocabulary alignment from the experience of interacting; by observing what works and what does not in a conversation. To give an intuition, consider someone trying to order a coffee in a foreign country. Even if there is no common language, the interaction is likely to succeed, since it consists of simple, well-understood steps that interlocutors agree on. Moreover, it is likely that, if our subject repeats the ordering coffee interaction many times, she will end up learning how it is performed in the foreign language. While humans are very good at adapting in this way, this idea has not been explored in depth for the case of artificial agents.

Throughout this dissertation we study how agents can learn a new vocabulary when they follow specifications that use different formalizations. Concretely, we consider interaction-based vocabulary alignment for protocols specified with finite state machines, with logical constraints, and with a social semantics based on commitments. For each case, we provide techniques to infer semantic information from interacting, or observing interactions between other agents. We also analyze how these techniques can be used in combination with external alignments obtained in a different way. When these alignments are not necessarily correct, our techniques provide ways of repairing them.

For each type of specification we evaluate the proposed methods by simulating their use in a set of artificial, randomly generated protocols. This provides a general evaluation that does not suffer the biases of particular datasets. Later, we apply our methods to an empirical dataset of human-crafted instructional protocols, obtained from the WikiHow webpage. We discuss the challenges of using our methods in protocols with natural language labels, and we show how the resulting method improves on the performance of using a well-known dictionary.

Summarizing, we present a vocabulary alignment method that is context-specific, lightweight, cheap and independent of external resources. This method can be used by agents as a low profile method of learning the vocabulary used in particular situations. Our method allows agents to find a useful alignment, although slowly. In combination with other resources, our technique provides not only a way of learning alignments faster, but also a way of obtaining different information (about the use of words in context) that may be difficult to find otherwise, and to repair external alignments.