Intelligent Generation and Control of Interactive Virtual Worlds

Abstract

Esta tesis aboga por el uso de los mundos virtuales como una tecnología de futuro en el dominio de los mundos virtuales serios, en particular en aplicaciones e-­‐* (e-­‐learning, e-­‐commerce, e-­‐ government) y en simulaciones sociales. En estas aplicaciones, el entorno virtual 3D está poblado por un gran número de habitantes que pueden ser humanos o avatares controlados por agentes virtuales inteligentes que se involucran en interacciones complejas con su entorno y con los demás participantes. Un problema importante que impide la adopción generalizada de la tecnología de mundos virtuales en estos dominios es que, en general, los mundos virtuales son difíciles de construir y se tiene que emplear un gran esfuerzo en el diseño del entorno virtual 3D y en la programación de los agentes virtuales; pero es aún más difícil asegurar la validez de las interacciones de forma que se prevengan comportamientos no permitidos. Para abordar este problema, hemos desarrollado una solución integral que automatiza el diseño de estos mundos virtuales y de su población. Nuestro enfoque se basa en la utilización de las instituciones virtuales, que son mundos virtuales que regulan las interacciones de sus participantes. El enfoque principal de esta tesis está en explicar cómo los métodos existentes de especificación formal de las instituciones virtuales se pueden extender para traducir automáticamente la especificación institucional en un entorno interactivo 3D utilizando el enfoque de las gramáticas de formas (Shape Grammars) y para poblar, de forma también automática, este tipo de entornos con agentes virtuales. Las gramáticas de formas son una técnica visual potente para la generación de diseños 2D y 3D, pero el trabajo realizado hasta el momento en esta área no se adecua a las características de nuestro problema. Por lo tanto, en esta tesis hemos extendido los trabajos realizados en este campo y hemos desarrollado el framework “Shape Grammar Interpreter”, que se ocupa de las limitaciones de las soluciones existentes. Hemos utilizado este framework para el desarrollo del concepto de Virtual World Grammar, que es un subconjunto de las gramáticas de formas dirigido a la generación automática de mundos virtuales normativos. Como resultado de esta tesis, la Virtual World Grammar ha sido formalizada e implementada en un entorno de desarrollo que no sólo permite la generación automática de mundos virtuales normativos, sino también su implementación independiente de la plataforma (utilizando VIXEE, la infraestructura que se ha desarrollado como una parte importante de esta tesis). Otra contribución de esta tesis es el desarrollo de un mecanismo de generación automática de un gran número de agentes de software. Estos agentes son capaces de realizar interacciones inteligentes con objetos 3D dentro del entorno. Además, estos agentes son capaces de colaborar con avatares controlados por humanos, facilitar la resolución de sus problemas y asegurar que todas sus acciones se adhieren de forma estricta a las normas sociales de la institución. Para ello, hemos desarrollado un modelo general de agente virtual que permite situar a un agente en un mundo virtual normativo, generar sus propios objetivos en función de sus necesidades fisiológicas y psicológicas, así como generar dinámicamente los planes para satisfacer estos objetivos mediante la especificación institucional subyacente. Para ilustrar la utilidad de los métodos y técnicas desarrolladas en esta tesis, hemos aplicado éstas al campo de la simulación histórica, recreando la vida de la ciudad de Uruk. Hemos mostrado cómo nuestro enfoque permite crear un gran número de agentes diversos tanto en aspectos visuales como de comportamiento, así como la generación dinámica de los alimentos, herramientas y otros elementos que se utilizan para satisfacer sus objetivos, mientras actúan de forma correcta, históricamente hablando.

This thesis advocates the use of non-­‐gaming virtual worlds as a significant future technology for the domain of ``serious games’’ and in particular e-­‐* applications (e-­‐ learning, e-­‐commerce, e-­‐government) and social simulations. In such systems, a 3D virtual environment is populated by a large number of inhabitants that can be either human-­‐ controlled avatars or intelligent virtual agents who engage in complex interactions with their virtual environment and other participants. One significant problem that impedes wide adoption of the virtual worlds technology for these problem domains is that virtual worlds in general are difficult to build, and significant effort has to be put into designing the 3D virtual environment and programming virtual agents; but it is even harder to ensure the validity of participant so that unauthorized behavior can be prevented. To address this problem, we have developed a comprehensive technological solution that automates the design of such virtual worlds and its population with virtual agents. Our approach is based on the utilization of virtual institutions, which are virtual worlds with normative regulation of participant interactions. The key focus of the thesis is on explaining how existing methods of formal specification of virtual institutions can be extended to automatically translate the institutional specification into an interactive 3D environment using the shape grammars approach and automatically populating such environments with virtual agents. Shape grammars represent a powerful visual technique for creating procedural 2D and 3D designs, but existing work was not immediately suitable for our problem. Thus, we have extended existing work and developed the Shape Grammar Interpreter framework, which addresses the limitations of existing solutions. This framework was further utilized for developing the concept of Virtual World Grammar, which is a sub-­‐set of shape grammars targeting automatic generation of normative virtual worlds. As the result of this dissertation, Virtual Worlds Grammars constitute a strong formalization and a development environment not only enabling automatic generation of normative virtual worlds, but also their platform independent deployment (using the VIXEE infrastructure that has been developed as an important part of this dissertation). Another significant contribution of this thesis is developing a mechanism of automatic population of the generated environments with large numbers of software agents, which are capable of intelligent interactions with 3D objects placed in the environment. Moreover, these agents are able to collaborate with human-­‐controlled avatars, facilitate their problem-­‐solving and ensure that all their actions strictly adhere to social norms of the given institution. For this purpose, we have developed a general-­‐purpose virtual agent model that enables an agent to be situated within any normative virtual world, generate its own goals based on its current physiological and psychological needs, as well as to dynamically generate plans for satisfying these goals using the underlying institutional specification. To illustrate the usefulness of the developed technology, we have applied it to the domain of historical simulation, where we show how virtual world grammars and automatically generated virtual agents can be used for re-­‐enacting everyday life of ancient people in one of humanity's first cities, the city of Uruk. We showed how our approach allows to create a large number of visually and behaviorally diverse agents, as well as dynamically generating food, tools and other items that they can utilize to satisfy their goals, while acting in a historically correct way.