Thompson sampling and noisy decision-making

Abstract

En esta tesis estudio cómo los agentes económicos forman creencias en situaciones de interacción estratégica repetida. En economía, los modelos de formación de creencias suelen ser deterministas en el sentido de que las creencias son una función determinista de los datos presentados al responsable de la toma de decisiones. En esta tesis, propongo en cambio considerar las creencias como estocásticas. La estocasticidad se ha introducido en una amplia gama de teorías económicas en forma de shocks exógenos. Sin embargo, experimentos de laboratorio han demostrado que el nivel de aleatoriedad varía considerablemente entre entornos y en el tiempo. Por lo tanto, propongo el uso del muestreo de Thompson, un modelo que proviene de la literatura del problema del bandido. En el muestreo de Thompson los agentes actualizan sus distribuciones de probabilidad subjetivas de forma bayesiana, pero en lugar de hacer un uso óptimo de la distribución a posteriori, realizan una extracción aleatoria de la misma. Dado el resulto de la extracción, los agentes eligen la acción óptima. Dado que la aleatoriedad se rige por la distribución a posteriori y que ésta se actualíza con la incorporación de nueva información, el muestreo de Thompson ayuda a explicar la evolución endógena de la aleatoriedad. En el primer capítulo, muestro que el muestreo de Thompson es consistente con la evidencia experimental en una multitud de escenarios, incluyendo juegos simples de 2x2 con información perfecta y concursos de belleza sin conocimiento estructural. En el segundo capítulo (conjuntamente con Rosemarie Nagel), mostramos que el muestreo de la distribución bayesiana a posteriori puede explicar la dinámica en un mercado oligopólico de vendedores de periódicos, utilizando los datos de Nagel y Vriend (1999). En el tercer capítulo, presento un diseño experimental basado en el modelo neokeynesiano para investigar cómo la política monetaria influye en la formación de expectativas. Además, con los datos provenientes de dicho experimento, demuestro que el método de Thompson puede explicar la dinámica de las distintas variables macroeconómicas bajo diferentes reglas de política monetaria.

In this thesis, I study how economic agents form beliefs in situations of repeated strategic interaction. Models of belief formation in economics are usually deterministic in the sense that beliefs are a deterministic function of the data presented to the decision-maker. In this thesis, I propose instead considering beliefs as stochastic. Stochasticity has been introduced to a wide range of economic theories in the form of exogenous shocks. However, laboratory experiments have shown that the amount of randomness varies considerably across environments and over time. Therefore, I propose the use of Thompson Sampling, a model originating from the bandit literature. Thompson Sampling means that agents update their subjective probability distributions in a Bayesian way, but instead of making optimal use of the posterior, they make a random draw from the posterior. Conditionally on that random draw, agents choose the optimal action. Since randomness is thus governed by the posterior, being updated as new information becomes available, Thompson Sampling helps explain endogenously evolving randomness. In the first chapter, I show that Thompson Sampling is consistent with experimental evidence in a variety of settings, including simple 2x2 games with perfect information and beauty-contest type of games without structural knowledge. In the second chapter (co-authored with Rosemarie Nagel), we show that sampling from the Bayesian posterior can explain the dynamics in an oligopolistic newsvendor market, using the data of Nagel and Vriend (1999). In the third chapter, I introduce an experimental design based on the New-Keynesian model to investigate how monetary policy influences expectation formation. Using this experimental dataset, I show that Thompson Sampling can explain the dynamics of the macroeconomic variables under different monetary policy rules.