On the diagnostic ability assessment of medical tests with right-censored data

Abstract

[eng] INTRODUCTION:

A diagnostic test is a measurement taken from a subject with the aim of diagnosing a certain condition of interest, such as diseased patient or healthy individual. Typically, diagnostic tests are binary (for example, testing positive or negative for a viral infection), multi-state (for example, a test with three possible results: low, medium or high) or continuous (for example, the Prostate-Specific Antigen is a quantitative biomarker measured in a blood sample that is used to discriminate between patients with and without prostate cancer). The accuracy of a binary diagnostic test is often assessed by means of sensitivity and specificity. Sensitivity is the probability of detecting the disease when it is present and specificity is the probability of excluding the disease when it is absent. Continuous biomarkers used as diagnostic tests may be dichotomized using a threshold “c” to define the test results as positive or negative. In this context, sensitivity and specificity depend on c. Then, we can define the receiver operating characteristic (ROC) curve as the plot of 1-specificity versus sensitivity for every possible c. The area under the ROC curve, AUC, is the most well-known summary index for the ROC curve. It assesses the discriminatory capacity of a continuous biomarker and takes values between 0.5 (indicating a test that classifies the subjects randomly) and 1 (indicating a perfect test). It is usually estimated using the trapezoidal rule. Sometimes, the interest lies in the choice of a threshold that is optimal in some sense. A lot of methods to estimate optimal thresholds based on ROC curves have been proposed in the literature, being the most popular the Youden index (the sum of sensitivity and specificity diminished in one unit) maximisation. Furthermore, in the literature, a cost function based method to estimate optimal thresholds in the binary setting was proposed. It considers a cost function that incorporates the costs of the possible decisions that can be made when dichotomising a continuous diagnostic test using a threshold (true positives, true negatives, false positives and false negatives) and selects as optimal threshold the value that minimises such cost function. Closed expressions for the optimal threshold were proposed for the particular case in which the continuous biomarker follows a Normal distribution in the two subpopulations we aim to distinguish. The first one assumes equal variances among the two groups, whereas the second one assumes different variances. This cost function minimisation approach was afterwards extended to the multi-state setting. When the outcome is not categorical but it is the time to some event of interest, the objective is to find a threshold that is capable of distinguishing the individuals that will experience the event from those who will not, defining two groups of good and bad prognosis. Times-to-event are often right-censored, which has to be taken into account. Some methods have been developed to estimate optimal thresholds in this context. In this thesis, our focus is the assessment of the diagnostic ability of continuous tests in the context of right-censored data at a fixed time-point of interest t. This time t is relevant from a clinical or biological point of view. Thus, our aim is to distinguish the subjects according to their status at t. The problem arises when this status at t is unknown (missing), which happens to those individuals that have been censored before t. In this work, we propose two ways of dealing with this issue: first, exclude those patients with missing status at t from the analysis and, second, use a multiple imputation approach to deal with the missingness.

[spa] Un test diagnóstico es una medida que se toma a un individuo con el objetivo de diagnosticar una cierta condición de interés, como por ejemplo determinar si el individuo es enfermo o sano. Habitualmente, los tests diagnósticos son binarios (por ejemplo, un test que puede dar resultado positivo o negativo para una infección vírica), multiestado (por ejemplo, un test con tres resultados posibles: bajo, medio o alto) o continuo (por ejemplo, el antígeno prostático específico es un biomarcador cuantitativo que se utiliza para discriminar entre pacientes con y sin cáncer de próstata). Normalmente, la precisión de un test diagnóstico binario se evalúa utilizando la sensibilidad y la especificidad. La sensibilidad es la probabilidad de detectar la enfermedad cuando esta está presente y la especificidad es la probabilidad de excluir la enfermedad cuando esta está ausente. Los biomarcadores continuos que se usan como tests diagnósticos pueden ser dicotomizados usando un punto de corte c para definir el resultado del test como positivo o negativo. En este contexto, la sensibilidad y la especificidad dependen de c. Por tanto, podemos definir la curva característica operativa del receptor (receiver operating characteristic, ROC) como el gráfico de 1-especificidad contra sensibilidad para todos los posibles c. El área bajo la curva ROC, AUC (area under the ROC curve), es la medida más conocida para resumir la curva ROC en un solo valor. El AUC evalúa la capacidad del biomarcador continuo para discriminar entre individuos sanos y enfermos y toma valores entre 0.5 (que indica que el test clasifica a los sujetos aleatoriamente) y 1 (que indica que el test es perfecto). Generalmente, el AUC se estima utilizando la regla trapezoidal. A veces, el interés se centra en la elección de un punto de corte que sea óptimo en algún sentido. En la literatura se han propuesto muchos métodos para estimar puntos de corte óptimos basados en curvas ROC, siendo el más popular la maximización del índice de Youden (la suma de la sensibilidad y la especificidad menos 1). Además, en la literatura se propuso un método basado en una función de coste para estimar puntos de corte óptimos en el caso binario. Esta metodología considera una función de coste que incorpora los costes de las posibles decisiones que se pueden tomar cuando se dicotomiza un test diagnóstico continuo usando un punto de corte (verdaderos positivos, verdaderos negativos, falsos positivos y falsos negativos) y selecciona como punto de corte óptimo el valor que minimiza esta función de coste. Para el caso en que el biomarcador continuo sigue una distribución Normal en las dos subpoblaciones que queremos distinguir, se propusieron fórmulas (expresiones cerradas) para el punto de corte óptimo. La primera asume homogeneidad de varianzas en los dos grupos, mientras que la segunda asume varianzas diferentes. Más adelante, esta metodología basada en la minimización de una función de coste se extendió para el caso multiestado. Cuando la variable que determina el estado de los individuos no es categórica sino que es el tiempo hasta la aparición de un cierto evento de interés, el objetivo es encontrar un punto de corte con capacidad para distinguir a los individuos que experimentarán el evento de los que no lo experimentarán, definiendo dos grupos de buen y mal pronóstico. Los tiempos hasta a un evento habitualmente están censurados por la derecha, hecho que se debe tener en cuenta en el proceso de estimación. En la literatura se han desarrollado algunos métodos para estimar puntos de corte óptimos en este contexto. En esta tesis, nos centramos en evaluar la capacidad diagnóstica de tests continuos en el contexto de datos censurados por la derecha en un cierto momento de tiempo de interés t. Este tiempo t es relevante desde el punto de vista clínico o biológico. Por tanto, nuestro objetivo es distinguir los sujetos según su estado en t. El problema aparece cuando este estado en t es desconocido (missing), hecho que sucede en aquellos individuos que han sido censurados antes de t. En este trabajo, proponemos dos maneras de enfocar este problema: primero, excluir del análisis aquellos pacientes con estado missing en t y, segundo, usar imputación múltiple para afrontar este problema de datos faltantes o missingness.