Validación externa y análisis de reproduclbilidad de las denominadas Simple Rules propuestas por IOTA en la valoración ecográfica de tumores de ovario

Abstract

Estudio prospectivo, observacional y transversal en el que realizamos una Validación externa de las Simple Rules propuestas por IOTA en dos centros hospitalarios diferentes que atienden poblaciones con diferente prevalencia de cáncer de ovario, un Análisis de rendimiento diagnóstico de las Simple Rules comparando diferentes niveles de experiencia de los examinadores y un Análisis de reproducibilidad inter e intraobservador de las Simple Rules según la experiencia del examinador. Planteamos como hipótesis principal es que las SR son reproducibles.

Las Simple Rules del grupo IOTA han sido sometidas a validaciones internas y externas , sin embargo existen muy pocos estudios que hayan validado las “Simple Rules” y menos aún, datos publicados acerca de la aplicación de dicho modelo en manos de un ecografista con menos experiencia.

En nuestro estudio encontramos que existen diferencias estadísticamente significativas entre ambos centros siendo la prevalencia de malignidad en la CUN de un 27.2% y en HSJD de un 11.3%.

Los resultados obtenidos acerca del rendimiento diagnóstico de las SR los subdividimos por centros. En la CUN el modelo de las SR fue aplicable en un 82.3% de los tumores estudiados y en HSJD en un 82% en comparación con los resultados obtenidos por el grupo IOTA aplicables en un 77% de las lesiones . En la CUN el examinador del estudio era un experto y en HSJD era un residente de ginecología. Las lesiones que según los criterios ecográficos de las SR se clasificaron como no concluyentes en HSJD fue de un 18% (n:24) y en la CUN de un 17.7% (n:26) casos siendo la diferencia no estadísticamente significativa entre ambos centros (p=0.07).

Si se analizan las masas catalogadas como no concluyentes, considerándolas a efectos de manejo como sospechosas de malignidad en HSJD se obtuvo una sensibilidad del 80% y una especificidad del 78% y en la CUN una sensibilidad del 96.8% y una especificidad del 77.6%. La potencia diagnóstica en cuanto a sensibilidad es significativamente mayor en manos de un experto y en poblaciones con mayor prevalencia de cáncer de ovario, observándose una especificidad y unos likelihoos ratios positivos similares.

Un aspecto novedoso de nuestro estudio, es que las ecografías han sido realizadas en HSJD por un examinador menos experto. Nuestros resultados apoyan el uso de las Simples Rules en examinadores no expertos ya que los resultados se aproximan y proporcionan buenos resultados en sus evaluaciones especialmente en cuanto a la especificidad.

EL cálculo intra e interobservador se hará aplicando el índice Kappa y el % de concordancia. Analizamos los datos usando el coeficiente de concordancia de primer orden Gwet (AC1) porque la prevalencia afecta los cálculos de kappa de Cohen.

La concordancia entre un examinador experto en ecografía gine-oncológica y otro examinador no experto a la hora de clasificar las masas según las Simple Rules propuestas por IOTA mediante ecografía en tiempo real fue buena (kappa: 0.76; IC 95% 0.61-0.90; porcentaje de concordancia: 78.6%)

Las Simples Rules propuestas por IOTA son reproducibles entre examinadores de diferente nivel de experiencia para discriminar de una manera efectiva las masas anexiales. Existe un rendimiento diagnóstico similar en centros con diferente prevalencia de cáncer de ovario. Las Simples Rules obtienen una especificidad similar independientemente de la experiencia del examinador pero en términos de sensibilidad el rendimiento diagnóstico es mayor en manos de un experto. Las Simple Rules son un método diagnóstico generalizable para el cáncer de ovario, pero debe tenerse en cuenta la prevalencia de cáncer de ovario en la población a estudio y también la experiencia del observador.

The aim of this study was to compare the diagnostic performance of the IOTA simple rules for classifying adnexal masses when used in two centers with different ovarian cancer prevalence and experience on gynecological ultrasound and to estimate agreement between expert and non-expert examiners using the IOTA simple rules for classifying adnexal masses on real-time ultrasound and using three-dimensional (3D) ultrasound volumes and digital clips

A prospective study was performed between June 2012 and December 2013 in two different centers. Center A (Clinica Universitaria de Navarra) had high ovarian malignancy prevalence and the examiner was an expert in gynecological ultrasound and Center B (Hospital Sant Joan de Déu de Barcelona) had low ovarian malignancy rates and the examiner had less experience in gynecological ultrasound. Eligible patients were all women diagnosed as having a persistent adnexal mass that were referred to each center. The two examiners had to analyze the masses according to IOTA simple rules providing a diagnosis of malignant, benign or inconclusive. Histologic diagnosis from tumors removed surgically was used as gold standard. In center A, some lesions classified as benign were managed by serial follow-up. These lesions were considered as benign for analytical purposes. The diagnostic performance was assessed by calculating the sensitivity and specificity, positive and negative likelihood ratios. Sensitivity and specificity were compared using McNemar’s test.

The rates of inconclusive masses were similar in both centers (17.4% and 18% for centers A and B respectively, being the difference not statistically significant. The ovarian malignancy prevalence was significantly higher in Center A as compared with center B (19.3% versus 11.3%), (p=0.04).

The diagnostic performance in terms of sensitivity of IOTA rules is higher in a center with high prevalence of ovarian malignancy and with expert ultrasound examiner.

About the reproducibility study it is the first study assessing interobserver agreement with regard to describing adnexal masses using the IOTA simple rules during real-time ultrasound. Agreement between the observers who performed real-time ultrasound examination was good (weighted kappa = 0.76; 95% CI, 0.61–0.90; agreement = 78.6%). Agreement between trainees using videoclips plus 3D volumes was moderate (kappa values ranged from 0.45 to 0.58, depending on pair comparison).