Comparison of multiple (classic and novel) indirect methods to establish reference intervals

Abstract

Els intervals de referència són eines per a l'avaluació de resultats en informes de laboratori. El seu càlcul és tradicionalment un procés laboriós i que requereix d'abundants recursos; consisteix en reclutar almenys 120 individus i trobar l'interval en què es troba el 95% dels seus resultats (mètodes directes). En els darrers anys, la ràpida evolució dels laboratoris clínics degut a la seva automatització ha permès disposar d'una gran quantitat de dades. Això, juntament amb les estratègies de ciència de dades, ha donat lloc a l'estudi d'aproximacions alternatives que utilitzen les dades de laboratori ja disponibles per calcular els intervals de referència mitjançant mètodes estadístics (mètodes indirectes). L'objectiu d'aquesta tesi és, d'una banda, explorar les diferències en els resultats d'intervals de referència obtinguts per tres mètodes indirectes (mètode holandès NUMBER, mètode alemany Reference Limit Estimator i mètode tradicional Bhattacharya) utilitzant un conjunt de dades dels laboratoris clínics de Vall d'Hebron. D'altra banda, proporcionar eines d'accés fàcil que permetin als especialistes de laboratori calcular intervals de referència pròpies utilitzant mètodes indirectes.

En el primer estudi presentat en aquesta tesi, es van calcular intervals de referència per a 16 proves utilitzant el mètode indirecte NUMBER. Aquest mètode considera proves relacionades clínicament per a l'eliminació de valors atípics i després calcula els intervals de referència com la mitjana i dos vegades la desviació estàndard. Posteriorment, es van comparar els intervals obtinguts en l'estudi previ de NUMBER per a població holandesa, amb els resultats obtinguts en població dels laboratoris Vall d'Hebron. A més, els resultats de l'estudi també es van comparar amb els intervals calculats amb el mètode Reference Limit Estimator, utilitzant el mateix conjunt de dades de Vall d'Hebron. Per a les proves que segueixen una distribució normal, es van trobar intervals de referència similars entre Vall d'Hebron amb ambdós mètodes i l'estudi holandès. Els límits superiors de la gamma-glutamil transferasa van ser marcadament més alts en l'estudi amb població holandesa, el que suggereix una possible influència de l'estil de vida. Els intervals de referència de la creatina quinasa i l'àcid úric van ser més alts en ambdues poblacions en comparació amb els intervals convencionals.

En el segon estudi presentat en aquesta tesi, s'analitzaren 8 proves per al càlcul d'intervals pel mètode de Bhattacharya utilitzant una fulla de càlcul. Bhattacharya és un mètode gràfic per identificar una distribució Gaussiana (població de referència) enmig d'un conjunt de dades. Es coneix que aquest mètode requereix l'entrada de paràmetres de forma subjectiva per part de l'usuari, el que resulta en importants diferències entre usuaris en els intervals de referència calculats. Després d'aplicar una sèrie de criteris definits com a part de l'estudi, es va trobar una important reducció de la variabilitat entre usuaris en utilitzar l'eina.

En resum, vamos a trobar que els resultats de proves mèdiques que segueixen una distribució normal donen lloc a intervals comparables entre mètodes indirectes. Per tant, un mètode indirecte senzill, és un enfocament factible i eficient en termes de costos per calcular intervals de referència mentre que, per a altres proves, són necessaris mètodes estadísticament més complexes. A més, per a la generació d'intervals estandarditzats que siguin traçables a materials i mètodes d'ordre superior, molts esforços haurien d'estar enfocats en l'harmonització i normalització de les proves de laboratori. Futurs estudis haurien de dirigir-se a desenvolupar eines adequades per al càlcul indirecte d'intervals de referència; en la realització d'estudis de validació clínica en els quals es disposi d'informació alternativa a les dades de laboratori i en la investigació del valor afegit dels intervals de referència personalitzats.

Los intervalos de referencia son herramientas para la evaluación de resultados en informes de laboratorio. Su cálculo es tradicionalmente un proceso laborioso y que requiere de abundantes recursos; consiste en reclutar al menos 120 individuos y encontrar el intervalo en el que se encuentra el 95% de sus resultados (métodos directos). En los últimos años, la rápida evolución de los laboratorios clínicos debido a su automatización ha permitido disponer de una gran cantidad de datos. Esto, junto con las estrategias de ciencia de datos, ha dado lugar al estudio de aproximaciones alternativas que utilizan los datos de laboratorio ya disponibles para calcular los intervalos de referencia mediante métodos estadísticos (métodos indirectos). El objetivo de esta tesis es, por un lado, explorar las diferencias en los resultados de intervalos de referencia obtenidos por tres métodos indirectos (método holandés NUMBER, método alemán Reference Limit Estimator y método tradicional Bhattacharya) utilizando un conjunto de datos de los laboratorios clínicos de Vall d'Hebron. Por otro lado, proporcionar herramientas de fácil acceso que permitan a los especialistas de laboratorio calcular intervalos de referencia propios utilizando métodos indirectos.

En el primer estudio presentado en esta tesis, se calcularon intervalos de referencia para 16 pruebas utilizando el método indirecto NUMBER. Este método considera pruebas relacionadas clínicamente para la eliminación de valores atípicos y luego calcula los intervalos de referencia como la media y dos veces la desviación estándar. Posteriormente, se compararon los intervalos obtenidos en el estudio previo de NUMBER para población holandesa, con los resultados obtenidos en población de los laboratorios Vall d’Hebron. Además, los resultados del estudio también se compararon con los intervalos calculados con el método Reference Limit Estimator, utilizando el mismo conjunto de datos de Vall d'Hebron. Para las pruebas que siguen una distribución normal, se encontraron intervalos de referencia similares entre Vall d'Hebron con ambos métodos y el estudio holandés. Los límites superiores de la gamma-glutamil transferasa fueron marcadamente más altos en el estudio con población holandesa, lo cual sugiere una posible influencia del estilo de vida. Los intervalos de referencia de la creatina quinasa y el ácido úrico fueron más altos en ambas poblaciones en comparación con los intervalos convencionales.

En el segundo estudio presentado en esta tesis, se analizaron 8 pruebas para el cálculo de intervalos por el método de Bhattacharya utilizando la hoja de cálculo. Bhattacharya es un método gráfico para identificar una distribución Gaussiana (población de referencia) en medio de un conjunto de datos. Se conoce que este método requiere la entrada de parámetros de forma subjetiva por parte del usuario, lo que resulta en importantes diferencias entre usuarios en los intervalos de referencia calculados. Después de aplicar una serie de criterios definidos como parte del estudio, se encontró una importante reducción de la variabilidad entre usuarios al usar la herramienta.

En resumen, encontramos que los resultados de pruebas médicas que siguen una distribución normal dan lugar a intervalos comparables entre métodos indirectos. Por lo tanto, un método indirecto simple, es un enfoque factible y eficiente en términos de costes para calcular intervalos de referencia mientras que, para otras pruebas, se necesitan métodos estadísticamente más complejos. Además, para la generación de intervalos estandarizados que sean trazables a materiales y métodos de orden superior, muchos esfuerzos deberían estar enfocados en la armonización y normalización de las pruebas de laboratorio. Futuros estudios deberían orientarse en desarrollar herramientas adecuadas para el cálculo indirecto de intervalos de referencia; en la realización de estudios de validación clínica en los que se disponga de información alternativa a los datos de laboratorio y en la investigación del valor añadido de los intervalos de referencia personalizados.

Reference intervals are essential decision-making tools for results evaluation in laboratory reports. The calculation of reference intervals is traditionally a laborious and time-consuming process requiring significant resources and consisting of recruiting at least 120 individuals for calculating the interval where 95% of them lies (direct methods). In the past years the rapid evolution of clinical laboratories due to its automatization has allowed a big amount of clinical laboratory data to be available. This, together with data science strategies that have also evolved, has allowed alternative approaches for reference intervals calculation to arise (indirect methods). Those approaches use the already available laboratory data to calculate the reference intervals by means of statistical methods. The aim of this thesis is twofold. On the one hand, to explore the differences in the reference interval results obtained by three indirect methods (NUMBER Dutch method, Reference Limit Estimator German method and Bhattacharya traditional method) using a dataset from Vall d’hebron clinical laboratories. On the other hand, to provide easily accessible tools and descriptions that enable laboratory specialists to calculate reference intervals for their own laboratory using indirect methods.

In the first study presented within this thesis, reference intervals were calculated for 16 biochemistry tests using the Dutch indirect method NUMBER. This method considers biochemically related tests for outlier elimination and dataset cleaning and then calculate the reference intervals using the mean and two times the standard deviation. Then, obtained reference intervals were compared with the original NUMBER results obtained in the Dutch population. In addition, results were also compared with reference intervals from the Reference Limit Estimator method using the same dataset from Vall d’Hebron. For tests following a normal distribution, similar reference intervals were found between Vall d’Hebron and the Dutch study. The upper limits of Gamma-glutamyl transferase were markedly higher in the Dutch study compared to Vall d’Hebron results which suggest a lifestyle component. Creatine kinase and uric acid reference intervals were higher in both populations compared to conventional reference intervals.

In the second study presented in this thesis, 8 biochemistry laboratory tests were analysed for reference intervals calculation by the Bhattacharya method using the Excel Spreadsheet created by St Vincent’s hospital. Bhattacharya is a graphical method for identifying a Gaussian distribution (reference population) in the midst of a complete dataset. This method is known to require the subjective input of the user, which results in important between user differences in calculated reference intervals. An important reduction of between users’ variability when using the tool was found for most tests after applying the criteria defined as part of the study.

In summary, we found that medical test results following a normal distribution result in comparable and consistent reference intervals between indirect methods. Therefore, a simple indirect method including data cleaning and the calculation of percentiles (or means and standard deviations) is a feasible and cost-efficient approach for calculating reference intervals. For other tests, more statistically complex methods are necessary. Yet, for generating standardized calculated reference intervals that are traceable to higher order materials and methods, efforts should also focus on test standardization and bias assessment using commutable trueness verifiers. Future efforts should focus on creating appropriate and easy to use tools for indirect reference intervals calculation; on performing clinical validation studies, together with clinicians, in which clinical information and patient follow up is available and on investigating the added value of personalized reference intervals.