Anàlisi metodològic dels estudis de concordança interobservador i reproductibilitat intraobservador en la caracterització de fractures de l’extrem proximal de l’húmer

Abstract

El coeficient kappa, utilitzat per valorar la concordança interobservador i reproductibilitat intraobservador d’una classificació, presenta un biaix de prevalença pel qual quan una categoria de la classificació és molt o molt poc prevalent el valor tendeix a zero independentment l’acord observat. Aquest fet, s’ha postulat com la causa dels baixos resultats de concordança obtinguts en la classificació de Neer de fractures d’húmer proximal. Hipòtesi de treball: El biaix de prevalença del coeficient Kappa de Cohen, influeix en la baixa concordança interobservador i reproductibilitat intraobservador observada en la classificació de Neer de fractures d’húmer proximal. Objectius secundaris: Analitzar la influència de la seqüencia de TAC i de l’experiència dels observadors en la concordança i reproductibilitat en la caracterització i classificació d’aquestes fractures. Material i Mètode: Es seleccionà una mostra de 153 fractures consecutives en tractament conservador amb radiologia simple i TAC. Sis observadors amb diferents graus d’experiència van valorar 19 característiques radiològiques amb radiologia simple i TAC axial i amb radiologia simple i TAC completa i van aplicar la classificació de Neer simplicada en 4 categories. Es valoren les diferències de concordança entre els diferents estudis radiològics i segons els graus d’experiència. La mostra de casos consecutius ens permet valorar l’acord amb una distribució no balancejada de les quatre categories de la classificació. Es seleccionà una nova mostra de 92 fractures amb una distribució equilibrada dels 4 tipus de fractura de la classificació de Neer. Es compara la concordança i reproductibilitat de la classificació de Neer entre la mostra de casos consecutius i la mostra seleccionada. Resultats: Quan analitzem l’estudi radiològic en la mostra consecutiva, únicament en la característica desplaçament cefalodiafisari lateromedial s’observen diferències significatives en la concordança interobservador entre la TAC axial i la TAC completa ( K axial=0,53; K completa=0,35; p=0,001) amb millor acord en axial. En la resta de variables no s’observen diferències significatives. El grau d’acord en la classificació de Neer fou de 0,43 en els dos estudis radiològics. La reproductibilitat millorà en l’estudi amb TAC completa amb diferències significatives en set de les variables estudiades. No s’observaren diferències en la classificació de Neer. ( K axial=0,74; K complet= 0,72; p=0,74) Segons el grau d’experiència, els observadors més experts, en l’estudi amb TAC axial, obtenien significativament millor acord que els no experts en variables de relació cefalodiafisària i de desplaçament de la tuberositat gran. En la classificació de Neer les diferències foren significatives. ( K experts=0,52; K no experts= 0,36; p= 0,04). En l’estudi amb la TAC completa les diferències foren menors sense diferències en la classificació de Neer. (K experts=0,43; K no experts 0,38; p= 0,534) Quan valorem l’acord per la classificació de Neer en la mostra seleccionada pels diferents tipus de fractura, i comparem el resultat amb la mostra consecutiva, no s’observen diferències significatives en la concordança interobservador de la classificació de Neer. (K consecutiva= 0,43; K seleccionada= 0,45; p= 0,68) Tampoc s’observen diferències en la reproductibilitat intraobservador. (K consecutiva=0,72; K seleccionada=0,74; p=0,14)

Conclusions: El biaix de prevalença del coeficient Kappa no contribueix de forma significativa en els baixos resultats de concordança interobservador i reproductibilitat interobservador en valorar la classificació de Neer. L’ús de la seqüència completa de la TAC no ajuda a millorar el grau d’acord entre observadors quan valorem característiques radiològiques ni en aplicar la classificació de Neer, però si millora la reproductibilitat. El grau d’experiència augmenta l’acord entre observadors de forma significativa en valorar algunes característiques radiològiques, principalment en l’estudi amb radiologia simple i TAC axial.

The coefficient kappa, used to value the inter and intraobserver reliability of a classification, presents a bias of prevalence for which when a category of the classification is a lot or a lot little prevailing the value tends to zero independently of that the observers have an overhead agreement. This fact, has posited for some authors like the cause of the low results of agreement obtained in the Neer classification of proximal humerus fractures.

Hypothesis of work: The bias of prevalence of the coefficient Kappa of Cohen, influences in the low inter- and intraobserver agreement observed in the Neer classification of proximal humerus fractures.

Secondary aims: Analyze the influence of the CT-scan sequence and of the observer’s experience in the interobserver agreement and reproducibility in the characterization and classification of proximal humerus fractures.

Material and Method: We selected a sample of 153 consecutive proximal humerus fractures in conservative treatment with simple radiology and CT scan. Six observers with different degrees of experience valued 19 radiological characteristics with simple radiology and axial sequence of the CT scan and with simple radiology and complete sequence of the CT scan and applied the Neer classification simplified in 4 categories. We value the agreement differences between the different radiology studies and as the degrees of experience. A sample of consecutive cases allow us to value the Kappa coefficient with a no swung distribution of the four categories of the Neer classification. We selected a new sample of 92 fractures of the proximal humerus with a balanced distribution of the 4 fractures types of the Neer classification. The differences in reliability of the Neer classification between the two samples are evaluated.

Results: In the consecutive sample, only in the characteristic lateromedial cephalodiaphyseal displacement observe significant differences in the interobserver agreement between the axial CT scan and the complete CT scan (Kvalue axial=0,53; Kvalue complete=0,35; p=0,001) with better agreement in axial. In the rest of variables do not observe significant differences. The Kappa value in the Neer classification was 0,43 in the two studies. The intraobserver reproducibility improved in the study with complete CT-scan with significant differences in seven of the variables studied. No differences were observed in the Neer classification. (K value axial=0,74; K value complete= 0,72; p=0,74) As the degree of experience, the most expert observers, in the study with axial CT-scan obtained significantly better agreement in variables of cephalodiaphyseal relationship and of greater tuberosity displacement. In the Neer classification the differences were significant. (Kvalue expert=0,52; Kvalue no expert= 0,36; p= 0,04). In the study with the complete CT scan sequences the differences would be lesser. In the Neer classification did not observe significant differences in complete CTscan. (Kvalue expert=0,43; Kvalue no expert 0,38; p= 0,534) Comparing the interobserver agreement in the Neer classification between the two samples we do not observe significant differences. (K value consecutive sample= 0,43; Kvalue selected sample= 0,45; p= 0,68) Neither observe differences in the intraobserver reproducibility. (Kvalue consecutive sample =0,72; Kvalue selected sample=0,74; p=0,14)

Conclusions: The bias of prevalence of the Kappa coefficient does not contribute significantly in the low results observed previously in the inter- and intraobserver reliability of the Neer classification. The use of the complete CT-scan sequence does not help to improve the degree of agreement between observers when value radiological characteristics neither in applying the Neer classification, but it improves the reproducibility. The degree of experience increases the agreement between observers in valuing some characteristics, mainly in the study with simple radiology and axial CT scan.