Q-Coh A tool to assess the methodological quality of cohort studies

Abstract

Durante décadas ha habido una necesidad de revisiones de la literatura que resuma el conocimiento que produce la comunidad científica. Inicialmente, expertos en las correspondientes áreas de conocimiento recopilaban y resumían los estudios publicados sobre ciertos temas siguiendo métodos más bien subjetivos y opacos. Eran las llamadas revisiones narrativas. Sin embargo, la necesidad de una metodología más objetiva y transparente dio lugar a revisiones sistemáticas y meta‐análisis, que pusieron al alcance de clínicos, investigadores, políticos y pacientes estudios que sintetizan un número de manuscritos inmanejable y exponencialmente creciente, relacionando enormes cantidades de información con la identificación de intervenciones beneficiosas y dañinas. Sin embargo, estas metodologías aún tienen algunas limitaciones, como es el caso de la calidad de los estudios primarios que son revisados. Pese a que la inclusión de ensayos clínicos aleatorizados en revisiones sistemáticas está ampliamente aceptada, la inclusión de estudios observacionales (en los que el investigador no interviene en la asignación del valor de la variable de exposición) aún es objeto de debate. Sin embargo, gran parte del conocimiento clínico y de salud se obtiene a partir de estudios observacionales. Un motivo dado habitualmente es que los estudios observacionales, en gran medida debido a la ausencia de un procedimiento de asignación aleatoria, son más susceptibles de estar sesgados. Es cierto que los ensayos clínicos aleatorizados son menos susceptibles al sesgo, pero es difícil justificar que la evidencia aportada por estudios observacionales de alta calidad es menos válida que la ‘evidencia’ aportada por ensayos clínicos aleatorizados de baja calidad únicamente en base a la etiqueta de su diseño. Por lo tanto, es de gran importancia ser capaces de valorar la calidad de estudios observacionales de manera válida y fiable. Tal y como se muestra en esta tesis doctoral, a día de hoy se han publicado docenas de herramientas de evaluación de calidad para estudios observacionales, pero muy pocas cumplen los criterios que se esperarían de un instrumento de medida, especialmente cuando se trata de estudios de cohortes. Una vez confirmado este vacío se desarrolló una nueva herramienta de evaluación de calidad para estudios de cohortes siguiendo los criterios de desarrollo establecidos por la American Psychological Association, el National Council on Measurement in Education y la American Educational Research Association: se definieron claramente el propósito del test y el constructo a medir, se describieron las especificaciones del test, se desarrollaron, probaron y evaluaron los ítems, y finalmente se integró todo en una hoja de cálculo interactiva. Para medir las propiedades psicométricas de esta nueva herramienta de evaluación de la calidad, que se denominó ‘Q‐Coh’, fue aplicada por tres evaluadores a 21 estudios de cohortes de diversas temáticas y diversos niveles de calidad. Además, pese a que no hay ningún gold standard para la calidad metodológica, se analizó la validez de la herramienta Q‐Coh usando diferentes estrategias. Los resultados muestran que la proporción de acuerdo entre pares de evaluadores fue superior al 80% en todos los casos, con valores de kappa no sólo buenas a muy buenas, sino también estadísticamente significativas en la mayoría de las inferencias. Esto es muy positivo, especialmente considerando las dificultades existentes en el desarrollo de una herramienta de evaluación de la calidad con índices de fiabilidad aceptables. También los resultados referidos a la validez de Q‐Coh apuntan en la buena dirección. Las revisiones de la literatura llevan décadas evolucionando y, a medida que su relevancia aumentaba, también lo hizo la necesidad de procedimientos más objetivos, precisos y fiables. En este contexto de constante mejora, Q‐Coh trata de ayudar a llenar un importante vacío aportando su granito de arena.

For decades there has been a need for reviews of the literature to summarize the knowledge that the scientific community produces. Initially, experts in the correspondent areas collected and summarized the published studies on certain topics following rather subjective and opaque methods. These were the so‐called narrative reviews. However, the need for a more objective and transparent methodology gave rise to systematic reviews and meta‐analysis, which provided clinicians, researchers, policy‐makers, and patients with a synthesis of an unmanageable and exponentially increasing number of manuscripts by linking and correlating huge amounts of information with identification of beneficial or harmful interventions. However, these methodologies still have some limitations to overcome, as is the case of the quality of the primary studies that are reviewed. Although the inclusion of experiments in systematic reviews is well established, the inclusion of observational studies is still under debate. However, much of clinical and public health knowledge is provided by observational studies, and the area of psychology is not an exception. A usual reason given for this is that observational studies, mainly because of their lack of randomized allocation procedure, are more susceptible to bias. It is true that randomized controlled studies are less prone to bias, but it is difficult to justify that evidence given by high quality observational studies is more valid than ‘evidence’ given by low quality randomized controlled trials only because of their design label. Therefore, it is of high importance to be able to validly and reliably assess the quality of observational studies. As shown in this doctoral thesis, dozens of quality assessment tools for observational studies have been developed so far, but very few meet the criteria that should be expected from an assessment instrument, especially when cohort studies are on focus. Once this gap was confirmed, a new quality assessment tool for cohort studies was developed following the standardized development criteria established by the American Psychological Association, the National Council on Measurement in Education, and the American Educational Research Association: the purpose of the test and construct to be measured were clearly defined, the test specifications were delineated, items were developed, tested and evaluated, and finally the test was assembled into an interactive spreadsheet. In order to assess the psychometric properties of this new quality assessment tool, which was named ‘Q‐Coh’, it was applied by three different raters to 21 cohort studies of diverse topics with a wide range of quality levels. Additionally, despite there is no gold standard for the methodological quality, the validity of the Q‐Coh was also studied using different approaches. The results showed that the proportion of agreement between pairs of raters was over 80% in all cases, with not only good to very good kappa values, but also being statistically significant in most inferences. This is very positive, especially considering the existing difficulties in developing a quality assessment tool with acceptable reliability scores. Also regarding the QCoh’s validity the results point to the good direction. Literature reviews have been evolving for decades, and as their relevance grew, so did the demands for more objective, precise, and reliable procedures. In this context of constant refinement, the Q‐Coh tries to help filling an important gap contributing in its small way.