Data–driven Bayesian networks modelling to support decision–making : application to the context of Sustainable Development Goal 6 on water and sanitation

Abstract

We live in a complexand interconnected world which permeates ditterent scales. sectors or decision problems. This fact is acknowledged by the United Nations 2030 Agenda for Sustainable Development, which underscores current global challenges, recognizes their interconnectivity and calls for international action. lt is recognized that the connected nature of the issues we currently face have been tackled by "silo" approaches, separating the complexities ofthe real-world into specialized disciplines. fields of research, institutions and ministries, each one focused on a fraction of the overall truth. Similarly, it is widely recognized the need of a major shift in decision-making processes towards more holistic and integrated approaches. Evidence-based decrsion-making involves complexprocesses ofconsidering a wide range of information of different nature. Nowadays, available data can support these processes, but methodologies to effectively integrate these data are lacking. With the aim to contribute in this direction, this thesis focuses on the increasing use of Bayesian Networks (BNs) modelling as an approach to accom m odate com plex problem s and to support decis ion-making. Com mon practica em ploys separately expert knowledge and empirical data to build and apply associated models. Des pite of the demonstrated utility of this practica, in an era where the data are bigger, faster and more detailed than even before, there is still room for further exploration. Thus, this dissertation proposes a data-driven Bayesian Networks approach to combine expert opinion and quantitative data to support informad decision-making. We propose two systematic methods to this end. First. we use our approach to replicate composite indicators (Cl)-based conceptual frameworks, which represent expert knowledge. through the use of structure learning algorithms, which characterizes this data-driven Bayesian Networks approach. Second, we use our approach to identify interlinkages associated with a complex context, coupled with a statistical technique (i.e. bootstrapping) to reduce results uncertainty and with a comprehensive result robustness analysis (i.e. expert knowledge). For testing and validating the proposed approach, this thesis takes the Sustainable Development Goal 6 embedded on the 2030 Agenda as a reference point, with particular attention to the water, sanitation and hygier:ie sector. Our results emphasize the likely utility of the data-driven Bayesian Networks approach adopted. First. it allows the integration of both expert knowledge and data availability when dealing with BNs modelling, and it accurately replicates (Cl)-based conceptual frameworks. As added values, this combination improves model inference capacity, it reduces and quantifies the key variables that explµin a pre-defined objective variable (implying important advantages in data updating), and it identifies the interlinkages among the variables considerad (which might enhance more integrated actions). Second, the approach adopted is useful to accommodate a thorough analysis and interpretation of the complexities and interdependencias of any context at hand. As added values, interlinkages identification is spurred on by the available data and this identification makes the approach more suitable than the use of composite indicators. Third, the systematic nature of the methodological contributions associated with the proposed approach can be adapted to different complexproblems. Thus, it might expand and deepen the knowledge about the validity, reliability and accuracy of using BNs modelling.

Vivimos en un mundo complejo e interconectado que impregna diferentes escalas. sectores o problemas de decisi ón. Esta visión es destacada por la Agenda 2030 para el Desarrollo Sostenible de las Naciones Unidas, que además pone de manifiesto los desafíos globales actuales. reconoce su interconexión y hace una llamada a la acción internacional. Por otro lado. es ampliamente reconocido que la naturaleza conectada de los problemas a los que nos enfrentamos actualmente se ha abordado mediante enfoques "estancos". separando las complejidades del mundo real en disciplinas especializadas. campos de investigación, instituciones y ministerios. cada uno centrado en una parte de la verdad. De igual manera. es reconocida la necesidad de un cambio de paradigma en los procesos de toma de decisiones hacia enfoques m ás holísticos e integrados. La toma de decisiones basada en evidencias lleva implícita procesos complejos en los que se integran una amplia gama de información de diferente naturaleza. Hoy en día, los datos cuantitativos disponibles pueden respaldar estos procesos. pero faltan metodologías para integrar estos datos de manera efectiva. Con el objetivo de contribuir en esta dirección, esta tesis se centra en el uso de modelos de Redes Bayesianas (BNs), como un enfoque válido para abordar problemas complejos y, en última instancia, para apoyar la toma de decisiones. En la práctica, se emplea comúnmente por separado el conocimiento de expertos y los datos empíricos para construir y aplicar estos modelos. A pesar de la utilidad de esta práctica, en una era en la que los datos son má¿ numerosos, más rápidos y más detallados que antes, hay espacio para explorar hasta dónde pueden llegar estos datos. En este sentido, esta tesis propone un enfoque de Redes Bayesianas basadas en los datos que permite combinar el conocimiento experto y la información cuantitativa existente para, en última instancia, apoyar la toma de decisiones. Se proponen dos métodos sistemáticos para tal fin. En primer lugar, se emplea dicho enfoque para replicar marcos conceptuales basados en indicadores compuestos (IC), que representan el conocimiento experto, mediante el uso de algoritmos de aprendizaje de estructuras, que caracteriza este enfoque de Redes Bayesianas basado en datos. En segundo lugar, se utiliza el enfoque propuesto para identificar las interrelaciones existentes dentro de un contexto complejo, junto con una técnica estadística (bootstrapping) para reducir la incertidumbre de los resultados y con un análisis bibliográfico exhaustivo (conocimiento experto) para demostrar la robustez de los resultados obtenidos. Para testear y validar el enfoque propuesto, esta tesis toma como punto de referencia el Objetivo de Desarrollo Sostenible 6 que forma parte de la Agenda 2030, con especial atención al sector del agua, saneamiento e higiene. Nuestros resultados ponen de manifiesto la potencial utilidad del enfoque adoptado. Primero, este enfoque permite la integración de conocimiento experto y de información cuantitativa a la hora de construir las RBs, y replica con precisión los marcos conceptuales basados en IC. Como valor añadido, esta combinación mejora la capacidad de inferencia del modelo, y reduce y cuantifica las variables clave que explican una variable objetivo predefinida. En segundo lugar, el enfoque adoptado es útil para dar cabida a un análisis e interpretación exhaustivos de las complejidades e interdependencias de cualquier contexto en cuestión. Como valor añadido, la identificación de las interconexiones se realiza exclusivamente en base a los datos disponibles. Considerar dichas interconexiones hace que este enfoque sea más adecuado que el uso de IC. En tercer lugar. la naturaleza sistemática dé las contribuciones metodológicas asociadas al enfoque propuesto puede adaptarse a diferentes problemas complejos. En este sentido, se considera que se contribuye a ampliar el conocimiento sobre la validez, fiabilidad y precisión del uso de modelos de Redes Bayesianas.