Evaluación e incorporación del riesgo de sesgo de estudios no experimentales en revisiones sistemáticas y metaanálisis

Abstract

Desde hace años y atendiendo al gran incremento del número de publicaciones, revisiones sistemáticas y metaanálisis han demostrado ser metodologías muy útiles para sintetizar la evidencia disponible en un área de conocimiento determinado y, por consiguiente, para la implementación de la práctica basada en la evidencia. No obstante, presentan algunos puntos débiles, entre los que se encuentra la variable calidad metodológica o riesgo de sesgo de los estudios primarios que las integran. Esta amenaza a la validez de la síntesis de investigación es especialmente relevante cuando revisiones sistemáticas y metaanálisis incluyen estudios con diseños no experimentales, más propensos al riesgo de sesgo. A esta amenaza, se añade la falta de una herramienta de consenso para evaluar el riesgo de sesgo de los estudios no experimentales. Más allá de las herramientas utilizadas, también existen dudas sobre la elección de los procedimientos y técnicas estadísticas más apropiadas para incorporar los resultados de la evaluación del riesgo de sesgo en las revisiones, así como para valorar la relación de estas medidas del riesgo de sesgo con la estimación del tamaño del efecto de un metaanálisis. El objetivo general de esta tesis doctoral es llevar a cabo un análisis comparativo de los diferentes procedimientos propuestos en la literatura para incorporar las medidas del riesgo de sesgo en una síntesis de investigación. Para ello, en primer lugar, se llevó a cabo una revisión y clasificación de las técnicas propuestas para incorporar los indicadores de riesgo de sesgo en la síntesis de investigación y, seguidamente, se aplicaron algunas de estas técnicas a metaanálisis de estudios con diseño de cohortes utilizando diferentes herramientas y tipos de medidas para valorar el riesgo de sesgo. En segundo lugar, y ante la necesidad de contar con información más amplia sobre los factores que pueden influir en la relación entre el riesgo de sesgo y los resultados de la síntesis de investigación, se llevó a cabo una meta-revisión para conocer cómo se está evaluando e incorporando el riesgo de sesgo en la síntesis de investigación en el ámbito de la psicología sanitaria. El último paso fue llevar a cabo un estudio empírico en el que se compararon tres herramientas de evaluación del riesgo de sesgo, aplicándolas a los estudios primarios de un metaanálisis publicado, con el objetivo de valorar la fiabilidad, validez e idoneidad de dichas herramientas, así como determinar el posible efecto diferencial sobre los resultados y conclusiones del metaanálisis de los resultados de la evaluación del riesgo de sesgo obtenido con las tres herramientas. El trabajo desarrollado a lo largo de este proceso se ha materializado en las dos publicaciones que se incluyen en esta tesis por compendio. Los preocupantes resultados obtenidos a partir de la meta-revisión revelan, una vez más, la falta de unas directrices claras para evaluar e incorporar los resultados del riesgo de sesgo en la síntesis de la investigación. Los resultados de la evaluación del riesgo de sesgo mostraron una gran variabilidad en función de la herramienta utilizada, al mismo tiempo que no se observaron asociaciones significativas entre riesgo de sesgo y tamaño del efecto. A la luz de la interpretación de los resultados obtenidos, queda señalar que los avances en el ámbito en el que se enmarca esta tesis doctoral pasan por explorar nuevos caminos como, por ejemplo, las revisiones sistemáticas vivas, la evaluación de la calidad de la evidencia cuando ésta procede de estudios no experimentales o de estudios con intervenciones complejas, la ciencia de la implementación o la propia calidad del reporte.

For years and considering the large increase in the number of publications, systematic reviews and meta-analyses have proven to be very useful methodologies for synthesizing the evidence available in a specific area of knowledge and, therefore, for the implementation of evidence-based practice. However, they also show some weak points, including the variable methodological quality or risk of bias of the primary studies that integrate them. This threat to the validity of research synthesis is especially relevant when systematic reviews and meta-analyses include studies of non-experimental designs, more prone to risk of bias. Added to this threat is the lack of a consensus tool to assess the risk of bias of non-experimental studies. Beyond the tools used to assess the risk of bias, there are also doubts about the choice of the most appropriate statistical procedures and techniques to incorporate the results of the evaluation of risk of bias in the reviews, as well as to assess the relationship between the measures of risk of bias and the effect size estimation of a meta-analysis. The general objective of this doctoral thesis is to carry out a comparative analysis of the different procedures proposed in the literature to incorporate the measures of the risk of bias in a research synthesis. For this purpose, first, the proposed techniques to incorporate the indicators of risk of bias in research synthesis were reviewed and classified. Subsequently, some of these techniques were applied to a meta-analysis of cohort studies, using different assessment tools and types of measures of risk of bias. Secondly, the need for more extensive information on the factors that may influence the relationship between the risk of bias and the results of the research synthesis, lead us to carry out a meta-review to know how is being assessed and incorporated the risk of bias in the research synthesis in health psychology field. The last step was to carry out an empirical study to compare three risk of bias assessment tools, applying them to primary studies of a published meta-analysis. The aim of this comparison was assessing the reliability, validity and suitability of the tools, as well as determining the possible differential effect of the results of risk of bias assessment obtained with the three tools on the meta-analysis results and conclusions. The work developed throughout this process has materialized in two publications which constitute this thesis by compendium. Once again, the worrisome results obtained from the meta-review, showed the lack of clear guidelines to evaluate and incorporate the risk of bias results in research synthesis. The results of risk of bias assessment showed great variability depending on the tool used and no significant associations between risk of bias and size of the effect were found. Considering the interpretation of the results, it is noted that advances in the field in which this doctoral thesis is framed go through new ways, such as living systematic reviews, the assessment of the quality of evidence when it comes from non-experimental or complex research, the implementation science or the quality of the report itself.