Risk assessment in complex data settings: algorithmic fairness and causal inference

Abstract

We try to address some challenges in structured risk assessment tools in two application areas of recidivism risk in criminal justice and dropout risk in higher education domain. Using Machine Learning (ML) methods, we suggest a cost-benefit scenario to efficiently save time, expenses and staff in a data-driven assessment of violent recidivism risk. This leads to fewer evaluations in exchange for some small number of undetected changes. Importantly, we mitigate the model’s disparate impact in the rate of evaluation across some demographics. We obtain more accurate ML risk prediction models compared to the previous models and improve algorithmic fairness of the models across some sensitive groups in terms of error disparity and calibration. We determine the effect of a treatment on the outcome risk using statistical causal inference methods. We show that a reduction in university workload reduces dropout risk and conditional release can reduce general and violent recidivism risks.

Intentamos abordar algunos desafíos en las herramientas estructuradas de evaluación de riesgos en dos áreas de aplicación de riesgo de reincidencia y riesgo de deserción universitaria. Usando métodos de ML, sugerimos un escenario de costo-beneficio para ahorrar tiempo, gastos y personal de manera eficiente en una evaluación basada en datos del riesgo de reincidencia violenta. Esto conduce a menos evaluaciones a cambio de una pequeña cantidad de cambios no detectados. Mitigamos impacto dispar del modelo en tasa de evaluación en algunos grupos demográficos. Obtenemos modelos de predicción de riesgo de ML más precisos en comparación con los modelos anteriores y mejoramos la equidad algorítmica de los modelos en algunos grupos sensibles en términos de disparidad de errores y calibración. Usando métodos estadísticos de inferencia causal, mostramos que una reducción en carga de trabajo universitaria reduce riesgo de deserción y liberación condicional puede reducir riesgos de reincidencia general y violenta.