Measuring review report quality in health research : development and validation of ARCADIA

Abstract

Editorial peer review is the gateway to scientific publication. It was established to ensure that research papers were vetted by independent experts before they are published. Despite the importance of this process, its impact is still considered suboptimal and it needs to be improved. For this purpose, we need appropriate outcome measures, particularly a validated tool that clearly defines the quality of peer review reports. The final aim of the present PhD project was to develop and validate a new tool for assessing the quality of peer review reports in biomedical research. As the starting point for the development of a new tool, we performed a systematic review aimed to identify and describe the existing tools used to assess peer review report quality in biomedical research. We identified a total number of 24 tools: 23 scales and 1 checklist. None of the tools reported a definition of ‘quality’. Only one described the scale development and 10 provided measures of validity and reliability. We classified the quality components of the 18 tools with more than one item into 9 main quality domains and 11 subdomains. Secondly, we formed a steering committee composed of five members with diverse expertise, which defined the quality of peer review reports. We then conducted an online survey intended for biomedical editors and authors to 1) determine if participants endorsed the proposed definition of peer review report quality; 2) identify the most important items to include in the tool, and 3) identify any missing items. Based on the participants’ qualitative and quantitative answers, the steering committee modified the initially proposed definition of peer review report quality, reviewed all items, and ultimately, drafted and refined the final version of the tool. The ARCADIA (Assessment of Review reports with a Checklist Available to eDItors and Authors) tool was finally developed. The tool is a checklist that includes 14 items encompassed in 5 domains. Each item should be ticked as ‘Yes’ or ‘No’. However, an item could also be assessed as ‘Not applicable’ (NA) depending on the reviewer’s expertise, type of study, type of biomedical journal, availability of study data, materials and protocol. Finally, we tested the tool and evaluated its acceptability, reliability, and validity. ARCADIA was validated by a heterogeneous sample of both biomedical editors and authors using a sample of peer review reports from two different biomedical journals (i.e., The BMJ and BMJ Open). Field-testing demonstrated that the psychometric properties of ARCADIA are not entirely satisfactory. Results from the validation study should be used to inform a new version of the ARCADIA tool, which should be also validated in a real-editorial setting using peer review reports associated with manuscripts with different study designs and from different types of journals. This thesis reports the development and validation of ARCADIA, a new tool for assessing the quality of peer review reports in biomedical research. ARCADIA constitutes the first tool that has been systematically developed to assess the quality of peer review reports and its validation is based on a large and diverse sample of biomedical editors and authors. This tool could be used regularly by editors to evaluate the reviewers' work, and also as an outcome when evaluating interventions to improve the peer review process.

La revisión editorial por pares es la puerta de entrada a la publicación científica. Se estableció para garantizar que los artículos de investigación fueran examinados por expertos independientes antes de su publicación. A pesar de la importancia de este proceso, su impacto aún se considera subóptimo y debe mejorarse. Para este propósito, necesitamos outcomes apropiados, particularmente una herramienta validada que defina claramente la calidad de los informes de revisión por pares. El objetivo final del presente proyecto de doctorado fue desarrollar y validar una nueva herramienta para evaluar la calidad de los informes de revisión por pares en la investigación biomédica. Como punto de partida para el desarrollo de una nueva herramienta, realizamos una revisión sistemática destinada a identificar y describir las herramientas existentes que se utilizan para evaluar la calidad de los informes de revisión por pares en la investigación biomédica. Identificamos un total de 24 herramientas: 23 escalas y 1 lista de comprobación. Ninguna de las herramientas incorporó una definición de `calidad¿. Solo una describió el desarrollo de la escala y 10 proporcionaron medidas de validez y confiabilidad. Clasificamos los componentes de calidad de las 18 herramientas con más de un elemento en 9 dominios de calidad principales y 11 subdominios. En segundo lugar, formamos un comité directivo compuesto por cinco miembros con experiencia diversa que definieron la calidad de los informes de revisión por pares. Luego, realizamos una encuesta online destinada a editores y autores biomédicos para 1) determinar si los participantes respaldaban la definición propuesta de calidad del informe de revisión por pares; 2) identificar los ítems más importantes para incluir en la herramienta; y 3) identificar cualquier ítem faltante. Sobre la base de las respuestas cualitativas y cuantitativas de los participantes, el comité directivo modificó la definición propuesta inicialmente de calidad del informe de revisión por pares, revisó todos los ítems y, por último, redactó y perfeccionó la versión final de la herramienta. Seguidamente se desarrolló la herramienta ARCADIA (Assessment of Review reports with a Checklist Available to eDItors and Authors). La herramienta es una lista de comprobación que incluye 14 elementos englobados en 5 dominios. Cada elemento debe marcarse como "Sí" o "No". Sin embargo, un elemento también podría evaluarse como `No aplicable¿ (NA) según la experiencia del revisor, el tipo de estudio, el tipo de revista biomédica, la disponibilidad de los datos del estudio, los materiales y el protocolo. Finalmente, probamos la herramienta y evaluamos su aceptabilidad, fiabilidad y validez. ARCADIA fue validada por una muestra heterogénea de editores y autores biomédicos utilizando informes de revisión por pares de dos revistas biomédicas diferentes (es decir, The BMJ y BMJ Open). Las pruebas de campo demostraron que las propiedades psicométricas de ARCADIA no son del todo satisfactorias. Los resultados del estudio de validación deben usarse para impulsar una nueva versión de la herramienta ARCADIA, que también debe validarse en un entorno editorial real utilizando informes de revisión por pares asociados con manuscritos con diferentes diseños de estudio y de diferentes tipos de revistas. Esta tesis informa sobre el desarrollo y validación de ARCADIA, una nueva herramienta para evaluar la calidad de los informes de revisión por pares en la investigación biomédica. ARCADIA constituye la primera herramienta que se ha desarrollado sistemáticamente para evaluar la calidad de los informes de revisión por pares, validada con una amplia y diversa muestra de editores y autores biomédicos. Los editores podrían utilizar esta herramienta con regularidad para evaluar el trabajo de los revisores y también como variable respuesta al evaluar intervenciones para mejorar el proceso de revisión por pares.