Use of Evidence to Decision frameworks for evidence-informed decision-making in healthcare

Abstract

Objectius: La tesi té tres objectius principals: 1) analitzar les experiències dels usuaris de la plataforma interactiva dels marcs Evidence to Decision (iEtD); 2) identificar i descriure els processos i marcs EtD suggerits als manuals metodològics per al desenvolupament de guies en salut; i 3) avaluar la relació entre l'ús dels marcs EtD i la qualitat de les guies i les seves recomanacions.

Mètodes: La tesi es presenta com un compendi de tres articles publicats en revistes científiques. El primer estudi és una anàlisi qualitativa de les experiències d'usuaris de l'iEtD, utilitzant entrevistes semiestructurades i anàlisi de contingut. El segon estudi és una revisió sistemàtica dels marcs i processos proposats als manuals metodològics per al desenvolupament de guies en salut, identificant els criteris utilitzats en la formulació de recomanacions. El tercer estudi avalua la relació entre l'ús d'un marc EtD i la qualitat de les guies i recomanacions en una mostra de guies publicades.

Resultats:

Primer Estudi: Es va entrevistar 8 de 20 persones que van utilitzar l'iEtD en escenaris de presa de decisions, principalment en el desenvolupament de guies. Els participants van informar experiències positives, utilitzant la majoria dels criteris del marc GRADE-EtD. Tot i això, es van observar esforços d'adaptació, com l'eliminació de criteris i l'edició de títols. Alguns van optar per exportar els marcs a Word per facilitar-ne l'ús fora de línia.

Segon Estudi: Es van revisar 68 manuals metodològics, i la majoria de les organitzacions tenien un procés per graduar la força de les recomanacions. El 66% va proposar un marc EtD, amb el marc GRADE-EtD sent el més comú. L'ús d'un marc EtD es va associar amb la inclusió de més criteris rellevants, especialment en àrees com valors i preferències, equitat, i acceptabilitat.

Tercer Estudi: Es van analitzar 66 guies de 17 països. El 45% d'aquestes guies va utilitzar un marc EtD per formular recomanacions. Les guies que van utilitzar un marc EtD van obtenir puntuacions més altes en qualitat metodològica i recomanacions en comparació amb les que no el van utilitzar. No hi va haver diferències significatives entre les guies que van utilitzar el marc GRADE-EtD i altres marcs.

Conclusions: L'ús de l'iEtD ha estat limitat, encara que les experiències reportades són majoritàriament positives. Es van identificar àrees de millora per a l'eina, que podrien aplicar-se a altres marcs EtD. L'ús de marcs EtD s'associa amb la inclusió de criteris rellevants i amb una millor qualitat metodològica de les guies i recomanacions. L'adopció d'aquests marcs per part de les organitzacions podria millorar la qualitat de les guies clíniques.

Objetivos: La tesis tiene tres objetivos principales: 1) analizar las experiencias de los usuarios de la plataforma interactiva de los marcos Evidence to Decision (iEtD); 2) identificar y describir los procesos y marcos EtD sugeridos en los manuales metodológicos para el desarrollo de guías en salud; y 3) evaluar la relación entre el uso de los marcos EtD y la calidad de las guías y sus recomendaciones.

Métodos: La tesis se presenta como un compendio de tres artículos publicados en revistas científicas. El primer estudio es un análisis cualitativo de las experiencias de usuarios del iEtD, usando entrevistas semiestructuradas y análisis de contenido. El segundo estudio es una revisión sistemática de los marcos y procesos propuestos en los manuales metodológicos para el desarrollo de guías en salud, identificando los criterios usados en la formulación de recomendaciones. El tercer estudio evalúa la relación entre el uso de un marco EtD y la calidad de las guías y recomendaciones en una muestra de guías publicadas.

Resultados:

Primer Estudio: Se entrevistó a 8 de 20 personas que usaron el iEtD en escenarios de toma de decisiones, mayormente en el desarrollo de guías. Los participantes informaron experiencias positivas, usando la mayoría de los criterios del marco GRADE-EtD. Sin embargo, hubo esfuerzos de adaptación, como la eliminación de criterios y la edición de títulos. Algunos optaron por exportar los marcos a Word para mayor facilidad de uso offline.

Segundo Estudio: Se revisaron 68 manuales metodológicos, y la mayoría de las organizaciones tenía un proceso para graduar la fuerza de las recomendaciones. El 66 % propuso un marco EtD, con el marco GRADE-EtD siendo el más común. El uso de un marco EtD se asoció con la inclusión de más criterios relevantes, especialmente en áreas como valores y preferencias, equidad, y aceptabilidad.

Tercer Estudio: Se analizaron 66 guías de 17 países. El 45 % de estas guías utilizó un marco EtD para formular recomendaciones. Las guías que utilizaron un marco EtD obtuvieron puntuaciones más altas en calidad metodológica y recomendaciones en comparación con las que no lo usaron. No hubo diferencias significativas entre las guías que usaron el marco GRADE-EtD y otros marcos.

Conclusiones: El uso del iEtD ha sido limitado, aunque las experiencias reportadas son mayormente positivas. Se identificaron áreas de mejora para la herramienta, que podrían aplicarse a otros marcos EtD. El uso de marcos EtD se asocia con la inclusión de criterios relevantes y con una mejor calidad metodológica de las guías y recomendaciones. La adopción de estos marcos por parte de las organizaciones podría mejorar la calidad de las guías clínicas.

**Summary of the Doctoral Thesis**

**Objectives:** The thesis has three main objectives: 1) to analyze the experiences of users of the interactive platform for Evidence to Decision (iEtD) frameworks; 2) to identify and describe the processes and EtD frameworks suggested in methodological manuals for the development of health guidelines; and 3) to evaluate the association between the use of EtD frameworks and the quality of both the guidelines and their individual recommendations.

**Methods:** The thesis is presented as a compendium of three articles published in peer-reviewed scientific journals. The first study is a qualitative analysis of iEtD user experiences, using semi-structured interviews and content analysis. The second study is a systematic review of the frameworks and processes proposed in methodological manuals for health guideline development, identifying the criteria used in the formulation of recommendations. The third study evaluates the relationship between the use of an EtD framework and the quality of guidelines and recommendations in a sample of published guidelines.

**Results:** 1. **First Study:** Eight out of twenty people who used the iEtD in decision-making scenarios were interviewed, mainly in the development of guidelines. Participants reported positive experiences, using most of the criteria from the GRADE-EtD framework. However, there were adaptation efforts, such as the removal of certain criteria and the editing of titles. Some participants chose to export the frameworks to Word for easier offline use.

2. **Second Study:** Sixty-eight methodological manuals were reviewed, and most organizations had a process for grading the strength of recommendations. 66% proposed an EtD framework, with the GRADE-EtD framework being the most common. The use of an EtD framework was associated with the inclusion of more relevant criteria, especially in areas such as values and preferences, equity, and acceptability.

3. **Third Study:** Sixty-six guidelines from 17 different countries were analyzed. Forty-five percent of these guidelines used an EtD framework to formulate recommendations. The guidelines that used an EtD framework scored higher in methodological quality and recommendations compared to those that did not. No significant differences were observed between the guidelines that used the GRADE-EtD framework and those that used other EtD frameworks.

**Conclusions:** The use of the iEtD has been limited, although user experiences have been generally positive. Areas for improvement of the tool were identified, which could also apply to other EtD frameworks. The use of EtD frameworks is associated with the inclusion of relevant criteria and with better methodological quality of guidelines and recommendations. The adoption of these frameworks by guideline-developing organizations could enhance the quality of clinical guidelines.