Long-term impact of an editorial intervention to improve paper transparency and reproducibility

Abstract

This PhD thesis is concerned with evaluating the long-term effects of interventions in the editorial peer review process of a biomedical journal. The growing need to increase the value of research and avoid waste motivates this work. We focus on evaluating the long-term impact on the number of citations (NC) of articles introduced in trials, as this will allow us to evaluate the effects of adding either a methodological expert (statistician) or reporting guidelines (RG) during the peer review process. In 2004 and 2009, two randomized trials were published in Medicina Clínica (Elsevier, Barcelona), in which these interventions were added during the editorial process. They showed a slightly positive e¿ect on paper quality, as assessed by the Manuscript Quality Assessment Instrument (MQAI) of Goodman et al. In this work, we explore the effect on NC by collecting from Web of Science (WoS) the NC of each article that had been randomized in the two previous studies. This thesis presents different ways of analyzing count data involving time-to-event, first from a perspective of count data models and then from a perspective of recurrent events methods. Results show that including a methodological reviewer (for example, a senior statistician) who is dedicated to looking for missing RG items increases the NC by 40% (95% CI: 1% to 94%) when considering that citations are independent within articles, like count models. When considering the within-article correlation of citations using the frailty gamma model, we find that including a methodological reviewer during the peer-review process increases the possibility of receiving a citation by 41% (95% CI: 0% to 102%). Independently of the method used to analyze NC, and with different assumptions, the consistency of those results gives robustness to the findings. Therefore, as measured by the NC, with this work we show that randomized studies of using interventions in the peer review process to improve scientific impact are feasible. Our proof of concept study opens the door for the development of confirmatory trials.

El interés de esta tesis recae en la evaluación del efecto a largo plazo de intervenciones propuestas durante el proceso editorial de revisión por pares de una revista biomédica. La creciente necesidad para incrementar el valor de la investigación evitando gastos motiva este trabajo. Nos hemos centrado en evaluar el impacto a largo plazo mediante el número de citas (NC) de unos artículos que forman parte de dos ensayos clínicos, lo que nos permite evaluar el efecto de añadir tanto un experto en metodología (estadístico) como las guías de publicación (RG) durante el proceso editorial de revisión por pares. En 2004 y 2009 se publicaron dos ensayos clínicos en la revista biomédica Medicina Clínica (Elsevier, Barcelona), dónde se implementaron estas intervenciones durante el proceso editorial. Sus autores encontraron un ligero efecto positivo en la calidad del manuscrito, evaluada mediante el instrumento de evaluación de la calidad de los manuscritos (MQAI) de Goodman. En este trabajo, exploramos el efecto sobre el NC recogiendo de la Web of Science (WoS) el NC de cada artículo aleatorizado en los dos estudios previos. Esta tesis presenta diferentes formas de analizar datos de contaje dónde interviene el tiempo hasta el evento, primero desde una perspectiva de modelos de datos de contaje y después desde una perspectiva de modelos de eventos recurrentes. Los resultados muestran que incluir un revisor metodológico (por ejemplo, un estadístico senior) que se dedique a buscar ítems ausentes de las RG incrementa el NC un 40% (95% IC: 1% a 94%) cuando consideramos que las citas son independientes dentro de los artículos, como en los modelos de contaje. Cuando consideramos la correlación intra-artículo usando el modelo gamma de fragilidad, encontramos que incluir un revisor metodológico durante el proceso editorial de revisión por pares incrementa la posibilidad de recibir una cita un 41% (95% CI: 0% a 102%). Independientemente de la metodología utilizada para analizar el NC, y con diferentes asunciones, la consistencia de estos resultados da robusteza a los hallazgos. Con este trabajo mostramos que son factibles los ensayos clínicos que implementan intervenciones en el proceso editorial de revisión por pares para mejorar el impacto científico. Nuestro estudio abre la puerta al desarrollo de estudios confirmatorios en este ámbito.