Incorporating decision analysis models in the development of health recommendations

Abstract

Introducció: Els models d’anàlisis de decisió són marcs matemàtics que representen variables i les seves interrelacions per a descriure fenòmens observats o predir esdeveniments. Els models poden millorar la presa de decisions projectant una intervenció a un horitzó de temps de vida o predient l’efecte de formes alternatives de brindar una intervenció. Encara que hi ha alguns exemples en la literatura sobre la incorporació de models en guies de pràctica clíniques (GPC), els mètodes estan encara poc desenvolupats en àrees com l’avaluació de la certesa d’evidència o com integrar-los en el desenvolupament de GPC. Objectius: Desenvolupar mètodes per a incorporar models en el desenvolupament de GPC. El disseny de cada estudi aborda diferents aspectes: 1) integrar evidència empírica i de models per a informar l’efectivitat d’una intervenció de salut pública, 2) l’ús d’un model en un panell de GPC durant el procés de formulació de recomanacions, 3) desenvolupar una guia per a avaluar la certesa d’evidència de models en el context de revisions sistemàtiques o GPC. Mètodes: La tesi conté tres estudis amb diferents dissenys: 1) Una revisió sistemàtica d’efectivitat: es va buscar en PubMed, EMBASE i la Biblioteca Cochrane per a identificar ECA, estudis observacionals o models, que comparessin els efectes desitjables (ex. morts evitades) i indesitjables (ex. sobrediagnóstico) del garbellat anual, biennal o triennal de càncer de mama (CM) amb mamografia. Avaluem la certesa de l’evidència adaptant el sistema GRADE 2) Una revisió sistemàtica d’efectivitat i ús d’un model en un panell de guies: busquem ECA o estudis de cohorts per a avaluar proves multigèniques per a informar les decisions de quimioteràpia adjuvant en el CM primerenc. Desenvolupem un model d’arbre de decisió per a estimar les conseqüències d’avaluar a pacients amb proves multigèniques. Un panell multidisciplinari formulo recomanacions basades en estimacions del model. iii) Desenvolupament d’una guia GRADE: un taller amb experts de diferents camps que van participar en tasques específiques i en una sessió general de discussió informo el desenvolupament d’una guia per a avaluar la certesa de l’evidència. Resultats: El primer estudi va identificar un ECA, 11 models i 13 estudis observacionals. El balanç d’efectes afavoriria el garbellat biennal en dones de 50-69 anys. En dones més joves, el garbellat anual tindria un balanç menys favorable, en dones de 70-74 anys intervals de garbellat més llargs seria més favorables. La certesa de l’evidència va ser molt baixa. Incloem models per a complementar els buits en l’evidència empírica i presentem aquest treball en el taller del tercer estudi. El segon estudi va incloure cinc estudis per a dos tipus de proves multigèniques (quatre ECA i una anàlisi d’estudis observacionals). En el model amb diferents escenaris de tractament, la quantitat de quimioteràpies evitades amb la prova 21-RS seriosa de més de 600 a aproximadament 200, mentre amb la prova 70-GS s’evitaria la quimioteràpia en aproximadament 230 dones per 1.000. El panell de la guia va emetre recomanacions usant aquesta evidència. En el tercer estudi, els participants van considerar que l’enfocament GRADE per a avaluar la certesa de l’evidència és aplicable a l’evidència de models. Es va desenvolupar una guia per a usar el sistema GRADE en models, i un marc per a considerar aquest tipus d’evidència durant el desenvolupament de GPC. Conclusió: Aquesta tesi proporciona nous coneixements sobre com incorporar evidència de models en la presa de decisions en salut, inclosos exemples reals, un marc i una guia sobre com avaluar la certesa d’aquesta mena d’evidència. Futures àrees de recerca inclouen el desenvolupament de mètodes detallats per a avaluar dominis específics de GRADE i millorar els formats per a presentar l’evidència provinent de models.

Introducción: Los modelos de análisis de decisión son marcos matemáticos que representan variables y sus interrelaciones para describir fenómenos observados o predecir eventos. Los modelos pueden mejorar la toma de decisiones proyectando una intervención a un horizonte de tiempo de vida o prediciendo el efecto de formas alternativas de brindar una intervención. Aunque hay algunos ejemplos en la literatura sobre la incorporación de modelos en guías de práctica clínicas (GPC), los métodos están aún poco desarrollados en áreas como la evaluación de la certeza de evidencia o cómo integrarlos en el desarrollo de GPC. Objetivos: Desarrollar métodos para incorporar modelos en el desarrollo de GPC. El diseño de cada estudio aborda diferentes aspectos: 1) integrar evidencia empírica y de modelos para informar la efectividad de una intervención de salud pública, 2) el uso de un modelo en un panel de GPC durante el proceso de formulación de recomendaciones, 3) desarrollar una guía para evaluar la certeza de evidencia de modelos en el contexto de revisiones sistemáticas o GPC. Métodos: La tesis contiene tres estudios con diferentes diseños: 1) Una revisión sistemática de efectividad: se buscó en PubMed, EMBASE y la Biblioteca Cochrane para identificar ECA, estudios observacionales o modelos, que compararan los efectos deseables (ej. muertes evitadas) e indeseables (ej. sobrediagnóstico) del cribado anual, bienal o trienal de cáncer de mama (CM) con mamografía. Evaluamos la certeza de la evidencia adaptando el sistema GRADE 2) Una revisión sistemática de efectividad y uso de un modelo en un panel de guías: buscamos ECA o estudios de cohortes para evaluar pruebas multigénicas para informar las decisiones de quimioterapia adyuvante en el CM temprano. Desarrollamos un modelo de árbol de decisión para estimar las consecuencias de evaluar a pacientes con pruebas multigénicas. Un panel multidisciplinario formulo recomendaciones basadas en estimaciones del modelo. iii) Desarrollo de una guía GRADE: un taller con expertos de diferentes campos que participaron en tareas específicas y en una sesión general de discusión informo el desarrollo de una guía para evaluar la certeza de la evidencia. Resultados: El primer estudio identificó un ECA, 11 modelos y 13 estudios observacionales. El balance de efectos favorecería el cribado bienal en mujeres de 50-69 años. En mujeres más jóvenes, el cribado anual tendría un balance menos favorable, en mujeres de 70-74 años intervalos de cribado más largos sería más favorables. La certeza de la evidencia fue muy baja. Incluimos modelos para complementar los vacíos en la evidencia empírica y presentamos este trabajo en el taller del tercer estudio. El segundo estudio incluyó cinco estudios para dos tipos de pruebas multigénicas (cuatro ECA y un análisis de estudios observacionales). En el modelo con diferentes escenarios de tratamiento, la cantidad de quimioterapias evitadas con la prueba 21-RS seria de más de 600 a aproximadamente 200, mientras con la prueba 70-GS se evitaría la quimioterapia en aproximadamente 230 mujeres por 1.000. El panel de la guía emitió recomendaciones usando esta evidencia. En el tercer estudio, los participantes consideraron que el enfoque GRADE para evaluar la certeza de la evidencia es aplicable a la evidencia de modelos. Se desarrolló una guía para usar el sistema GRADE en modelos, y un marco para considerar este tipo de evidencia durante el desarrollo de GPC. Conclusión: Esta tesis proporciona nuevos conocimientos sobre cómo incorporar evidencia de modelos en la toma de decisiones en salud, incluidos ejemplos reales, un marco y una guía sobre cómo evaluar la certeza de este tipo de evidencia. Futuras áreas de investigación incluyen el desarrollo de métodos detallados para evaluar dominios específicos de GRADE y mejorar los formatos para presentar la evidencia proveniente de modelos.

Background: Decision analysis models are mathematical frameworks representing variables and their interrelationships, to describe observed phenomena or predict events. Models may improve decision making, by projecting interventions to life-time horizon or predicting the effect of alternative ways of delivering an intervention. Although there are a few relevant examples of incorporating models in clinical practice guidelines (CPGs), the methods are still underdeveloped in areas, such as the assessment of the certainty of evidence or how to integrate this type of evidence within the CPG development process. Objectives. To develop methods for incorporating models into CPG development. The design of each study addresses different relevant aspects such as: 1) the integration of empirical and modelling evidence to inform the effectiveness of a public health intervention, 2) the use of a model in a guideline panel to assist the recommendation formulation process, 3) the development of guidance to assess the certainty of the evidence of models within the context of systematic reviews and CPG. Methods: The thesis contains three studies with different methodological designs: 1) A systematic review of effects: We searched PubMed, EMBASE, and the Cochrane Library to identify RCTs, observational or modelling studies, comparing desirable (i.e. deaths averted) and undesirable (i.e. overdiagnosis) effects from annual, biennial, or triennial breast cancer (BC) mammography screening. We assessed the certainty of the evidence by adapting the GRADE approach. 2) A systematic review of effects and use of a model by a guideline panel: we search for RCTs or cohort studies to assess the value of multigene tests to assist adjuvant chemotherapy decisions in early BC. Then, we develop a decision tree model to estimate the downstream consequences of testing patients with multigene tests. A multidisciplinary guideline panel developed recommendations informed by the model estimations. iii) Development of a GRADE guidance: a workshop with experts from different fields who participated in specific tasks and in a large group discussion session to inform the development of an approach to assess the certainty of evidence. Results: The first study identified one RCT, 11 modelling and 13 observational studies. The balance of effects probably favours biennial screening in women 50–69. In younger women, annual screening may have a less favourable balance, in women aged 70–74 years longer screening intervals may be more favourable. The overall certainty of the evidence was very low. We included models to complement the gaps in the empirical evidence and presented this work on the workshop during the third study of this thesis. The second study included five studies for two types of multigene tests (four RCTs and one pooled analysis of observational studies). We showed that modelling on different treatment scenarios the number of chemotherapies avoided by using the 21-RS test would be from more than 600 to about 200, while using the 70-GS test would result in an avoidance of chemotherapy in about 230 women out of 1,000. The guideline panel issued recommendations using this evidence. In the third study, participants agreed that the GRADE approach to assess the certainty of evidence also applies when assessing the certainty of evidence from models. Guidance to use the GRADE approach to modelling evidence was developed, along with a framework to consider this type of evidence over the CPG development process. Conclusion. This thesis provides new knowledge on how to incorporate evidence from models in health decision-making, including real examples, a framework, and guidance on how to assess the certainty of the evidence of this type of evidence. Future areas of research include the development of more detailed methods for assessing specific GRADE domains and improve the presentation formats to adequality display modelling evidence research.