Bayesian designs: scientific efficiency and regulatory acceptability in oncology drug developments.

Abstract

Antecedents: Els enfocaments bayesians poden millorar l’eficiència dels assajos oncològics i accelerar la presa de decisions, però una actitud conservadora en limita l’ús, prioritzant aproximacions frequentistes. Calen opcions per facilitar la interacció amb els reguladors per fomentar-ne l’aplicació.

Hipòtesi: Els enfocaments metodològics Bayesians poden optimitzar el desenvolupament de fàrmacs i ser acceptables pels reguladors en patologia oncològica, millorant el rendiment i mantenint la robustesa dels resultats, sempre que es demostrin característiques operatives favorables durant la fase de disseny. Disposar de metodologies i recomanacions de support a les interaccions reguladores pot facilitar l’adopció de metodes Bayesians.

Objectius: 1) Descriure l’estat de la tècnica sobre l’ús d’enfocaments bayesians en assajos oncològics; 2) Avaluar l’aplicació de mètodes i dissenys bayesians en assajos clínics oncològics; 3) desenvolupar una eina de simulació tant per a assajos freqüentistes com bayesians amb variables de temps a esdeveniment per avaluar el seu rendiment i les seves característiques operatives; 4) dur a terme simulacions bayesianes per a 3 assajos clínics freqüentistes; 5) proposar una guia per implementar dissenys bayesians alineats amb les preferències reguladores i científiques.

Mètodes: Es va fer una revisió de l’estat de la tècnica. Es va fer un estudi observacional transversal per identificar assajos clínics oncològics amb enfocaments bayesians a clinicaltrials.gov entre el 2004 i el 2024. Es van fer cerques a clinicaltrials.gov, PubMed i oportunistes durant la revisió inicial. Es van extreure les característiques principals amb ctrdata, es van verificar manualment i la informació es va completar amb les publicacions completes. Es va desenvolupar una eina per dur a terme simulacions bayesianes d’assajos clínics freqüentistes amb criteris de valoració de temps fins a l’esdeveniment. Es van dissenyar i avaluar múltiples models bayesians per als estudis NCT02142738, NCT02013167 i NCT02451943. Els aprenentatges es van resumir com a recomanacions.

Resultats: Dels 384.298 assajos registrats a clinicaltrials.gov, 84.850 eren assajos clínics d’oncologia (22%), dels quals 640 (0,75%) utilitzaven enfocaments bayesians. La meitat de tots els estudis bayesians es van registrar en els darrers 5 anys, però la proporció general va ser estable. La majoria dels assajos bayesians eren estudis de fase 1 i fase 2, i dos terços dels assajos bayesians amb objectius d’eficàcia tenien dissenys de braç únic, sovint utilitzant criteris d’avaluació binaris (overall response) com a mesura principal. Es va desenvolupar una eina i es van fer simulacions per avaluar les característiques operatives i el rendiment de tres assajos pivotals de fase 3. Segons la simulació, era adequat emprar ponderacions baixes (≤ 20%) per als components informatius dels models bayesians, que permetia una major influència de les dades actuals amb una inflació moderada de l’error tipus 1 en escenaris de baixa plausibilitat. Els models bayesians van permetre una reducció rellevant d’un 10% en la mida mostral. En cas de conflicte entre els efectes observats al braç control i la prior, les anàlisis de sensibilitat vans ser importants per avaluar la robustesa dels resultats. Es pot millorar l’acceptació dels enfocaments bayesians amb un raonament transparent i traçable de les decisions i el rendiment del model, incloent-hi a) l’adequació i les fonts de dades que informen la prior; b) detalls sobre com s’incorporen les dades externes a l’anàlisi; c) informació basada en simulació sobre les decisions del disseny; d) anàlisis de sensibilitat de les característiques operatives per a un rang ample de l’efecte del tractament, centrades en la preservació de les propietats freqüentistes; i e) la modelització d’escenaris extrems improbables.

Conclusions: L’adopció de mètodes bayesians en assajos clínics oncològics encara és escassa. Es pot millorar mitjançant anàlisis, proves de sensibilitat i una interacció reguladora primerenca, suportada per les característiques operatives i el rendiment dels models obtingudes mitjançant simulació.

Antecedentes: Los enfoques bayesianos pueden mejorar la eficiencia de los ensayos oncológicos y acelerar la toma de decisiones, pero una actitud conservadora limita su uso, priorizando aproximaciones frecuentistas. Nuevas opciones que faciliten la interacción con los reguladores pueden fomentar su aplicación.

Hipótesis: Los enfoques metodológicos Bayesianos pueden optimizar el desarrollo de fármacos y ser aceptables por los reguladores en patología oncológica, mejorando el rendimiento y manteniendo la robustez de los estudios, si se demuestran características operativas favorables durante la fase de diseño. Disponer de metodologías y recomendaciones de soporte a las interacciones reguladoras puede facilitar la adopción de métodos bayesianos.

Objetivos: 1) Describir el estado de la técnica sobre el uso de enfoques bayesianos en ensayos oncológicos; 2) Evaluar la aplicación de métodos y diseños bayesianos en ensayos clínicos oncológicos; 3) desarrollar una herramienta de simulación tanto para ensayos frecuentistas como bayesianos con variables de tiempo a evento para evaluar su rendimiento y sus características operativas; 4) llevar a cabo simulaciones bayesianas para 3 ensayos clínicos frecuentistas; 5) proponer una guía para implementar diseños bayesianos alineados con las preferencias reguladoras y científicas.

Métodos: Se realizó una revisión del estado de la técnica. Se realizó un estudio observacional transversal para identificar ensayos clínicos oncológicos con enfoques bayesianos en clinicaltrials.gov entre 2004 y 2024. Se realizaron búsquedas en clinicaltrials.gov, PubMed y oportunistas durante la revisión inicial. Se extrajeron las principales características con ctrdata, se verificaron manualmente y la información se completó con las publicaciones completas. Se desarrolló una herramienta para llevar a cabo simulaciones bayesianas de ensayos clínicos frecuentistas con criterios de valoración de tiempo hasta el evento. Se diseñaron y evaluaron múltiples modelos bayesianos para los estudios NCT02142738, NCT02013167 y NCT02451943. Los aprendizajes se resumieron como recomendaciones.

Resultados: De los 384.298 ensayos registrados en clinicaltrials.gov, 84.850 eran ensayos clínicos de oncología (22%), de los cuales 640 (0,75%) utilizaban enfoques bayesianos. La mitad de los estudios bayesianos se registraron en los últimos 5 años, pero la proporción general fue estable. La mayoría de los ensayos bayesianos eran estudios de fase 1 y fase 2, y dos tercios de los ensayos bayesianos con objetivos de eficacia tenían diseños de brazo único, a menudo utilizando criterios de evaluación binarios (overall response) como variable principal. Se desarrolló una herramienta y se realizaron simulaciones para evaluar las características operativas y el rendimiento de tres ensayos pivotales de fase 3. Según la simulación, era adecuado utilizar ponderaciones bajas (≤ 20%) para los componentes informativos de los modelos bayesianos, al permitir una mayor influencia de los datos actuales con una inflación moderada del error de tipo 1 en escenarios poco plausibles. Los modelos bayesianos permitieron una reducción relevante de un 10% en el tamaño muestral. En caso de conflicto entre los efectos observados en el brazo control y la prior, los análisis de sensibilidad fueron importantes para evaluar la robustez de los resultados. Puede mejorarse la aceptación de los enfoques bayesianos con un razonamiento transparente y trazable de las decisiones y el rendimiento del modelo, incluyendo a) la adecuación y las fuentes de datos que informan la prior; b) detalles sobre cómo se incorporan los datos externos al análisis; c) información basada en simulación sobre las decisiones del diseño; d) análisis de sensibilidad de las características operativas para un rango amplio del efecto del tratamiento, centradas en la preservación de las propiedades frecuentistas; y e) la modelización de escenarios extremos improbables.

Conclusiones: La adopción de métodos bayesianos en ensayos clínicos oncológicos es todavía escasa. Puede mejorarse mediante análisis, pruebas de sensibilidad y una interacción reguladora temprana compartiendo características operativas y rendimiento de los modelos, obtenidos mediante simulación.

Background: Bayesian approaches may improve the efficiency of trials and accelerate decision-making, but reluctance to depart from traditional frequentist statistics limit their use. Severe conditions with no or limited therapeutic options are suited to apply Bayesian methodologies. There is a need to facilitate regulatory discussions and provide guidance to support developers in using Bayesian techniques to generate robust evidence of efficacy.

Hypothesis: Alternative methodological approaches such as Bayesian designs have the potential to optimise drug development and enhance regulatory success, particularly in oncology settings, by improving performance while maintaining the robustness of the results, provided that favourable operating characteristics are demonstrated during the clinical trial design phase. Providing clear methodologies for applying these approaches could offer more specific regulatory guidance to researchers. This guidance would help them in achieving regulatory success when designing new clinical trials using Bayesian methods.

Objectives: 1) Summarise the stat-of-the-art on the use of Bayesian approaches in oncological trials; 2) Assess the application of Bayesian methods and designs in oncology clinical trials; 3) develop a simulation tool for both frequentist and Bayesian trials with time-to-event endpoints to assess their performance and operating characteristics 4) conduct Bayesian simulations for 3 completed frequentists clinical trials; 5) propose guidance for implementing Bayesian designs aligned with regulatory and scientific preferences.

Methods: A state-of-the-art review was done. A cross-sectional observational study was conducted to identify oncology clinical trials using Bayesian approaches registered in clinicaltrials.gov between 2004 and 2024. Trials were searched in clinicaltrials.gov, PubMed, and oportunistically during the state-of-the-art review. Main characteristics were extracted using the ctrdata package in R, verified manually, and completed where needed using full publications. A simulation tool was developed to conduct Bayesian simulations on frequentist clinical trials with time-to-event endpoints. Multiple Bayesian models were designed and evaluated for studies NCT02142738, NCT02013167 and NCT02451943. A synthesis of learnings were summarised as recommendations.

Results: Of 384,298 trials registered in clinicaltrials.gov, 84,850 were oncology clinical trials (22%) of which 640 (0.75%) used Bayesian approaches. Half of all Bayesian studies were recorded in the last 5 years, but overall proportion was stable. Most Bayesian trials were phase 1 and phase 2 studies, and two-thirds of Bayesian trials with efficacy objectives had single-arm designs, often utilizing binary endpoints (overall response) as the primary measure. A tool was developed and simulations done for three pivotal phase 3 trials to assess operational characteristics and performance. Simulation suggested that in the studied cases the use of low weights (≤ 20%) for the informative components of Bayesian models, was suitable, allowing current data to have a greater influence with a moderate inflation of T1E in low plausibility scenarios. Bayesian models enabled a relevant ~10% reduction in sample size. When unexpected treatment effects for the control arm led to prior data conflict, sensitivity analyses played a critical role in assessing the robustness of the results and setting lifelines. Regulatory confidence and acceptance of Bayesian approaches may be increased by transparent and traceable reasoning on the model choices and performance, including a) appropriateness and data sources informing the prior; b) details on how external data is incorporated into the analysis; c) simulation-supported information on the design choices; d) comparative sensitivity scenarios to account for a wide range of potential treatment effect values when assessing operational characteristics with focus on preservation of frequentist properties; and e) modelling of extreme scenarios that are highly unlikely.

Conclusions: The uptake of Bayesian methods in oncology clinical trials has flattened and is still scarce. Further uptake can be enhanced by analyses, sensitivity tests and decision rules, and early regulatory interaction supported by measurement of operational characteristics and performance of models through simulation.