Discriminació algorítmica: riscs, regulació, garanties jurisdiccionals i garanties institucionals

Abstract

Aquesta tesi doctoral analitza els riscs de generar discriminació que presenta l’ús de la intel·ligència artificial i, per tant, d’afectar els drets de les persones, reproduint i en molts casos incrementant discriminacions preexistents. Estudiem les eines que proporciona la normativa europea tant per prevenir la discriminació algorítmica com perquè les persones que han patit discriminació arran de l'ús de la intel·ligència artificial puguin desafiar els sistemes amb els quals s'ha produït la discriminació. Per fer-ho abordem els punts febles i els punts forts que presenta tant la normativa antidiscriminació europea com la normativa europea de protecció de dades per donar eines a les persones que han patit discriminació per fer front a les decisions a les quals han estat subjectes. També analitzem què pot aportar en aquest sentit la futura regulació europea de la intel·ligència artificial. En aquesta anàlisi ens centrem en dues de de les problemàtiques principals que presenten aquestes normatives i com mitigar-les. En primer lloc, presenten problemes d’aplicació atesa la manca d’informació a la qual s’ha d’enfrontar qui s’ha vist subjecte de discriminació i, en segon lloc, s’articulen en base a la protecció individual de la persona perjudicada, obviant, des de la nostra perspectiva, l’element col·lectiu definitori d’una acció discriminatòria. Concloem que per com operen els sistemes algorítmics actualment es trasllueix que assumeixen perfectament els sistemes d’opressió/subordinació existents, els sistematitzen i els exploten tot beneficiant-se de l’absència d’una normativa capaç de facilitar la presentació d’indicis de discriminació; que algunes garanties que presenten les normatives estudiades, donades certes condicions, podrien ser vàlides per protegir les persones de la discriminació algorítmica (p. e. igualtat des del disseny, avaluacions d’impacte algorítmiques, documentació tècnica en virtut de la PRIA o la possibilitat de sol·licitar al tribunal que l’altra part en un litigi reveli certa informació); que la governança publicoprivada subjacent tant en l’RGPD com en la PRIA pot ser una fórmula deficient per protegir les persones de la discriminació produïda arran de sistemes algorítmics i la justificació per instaurar-la (aprofitar els recursos i l’expertesa del sector privat en la regulació pública) no compensa els riscs que genera (que el sector privat es converteixi de facto en autoregulat ja sigui perquè amb la seva expertesa i recursos pot definir i incidir discrecionalment en conceptes clau de la regulació, ja sigui perquè el poder públic no pot instaurar una rendició de comptes eficient). Proposem per millorar la protecció que es brinda actualment que s’exigeixi normativament que la precisió del sistema algorítmic per tots els grups de població concrets als quals s’aplicarà (incloent categories de dades combinades) no superi certa taxa d’error. En el cas que el sistema superi la taxa d’error establerta o bé sigui tan inescrutable que no es pugui demostrar que no la supera, s’hauria d’impossibilitar la seva comercialització o imposar la seva retirada del mercat. També proposem l’obligació a empreses, organitzacions i administracions públiques de publicar un catàleg dels sistemes algorítmics que estan utilitzant -prèviament s’hauria d’obligar a tots els proveïdors de sistemes d’IA que denominin el sistema algorítmic que pretenen comercialitzar- i una explicació de per a què els estant utilitzant (p. e. en una pàgina web accessible al públic general que s’especifiqui que s’està emprant el sistema algorítmic “x” per gestionar els processos de selecció de personal de l’empresa). Finalment, la instauració d’un sistema de protecció col·lectiva-institucional que instrumentalitzi els punts forts que ofereixen les normatives que regulen o poden regular col·lateralment la discriminació algorítmica i millori, d’aquesta manera, les possibilitats de desafiar les decisions preses mitjançant sistemes algorítmics que puguin causar discriminació.

Esta tesis doctoral analiza los riesgos de generar discriminación que presenta el uso de la inteligencia artificial y, por tanto, de afectar a los derechos de las personas, reproduciendo y en muchos casos incrementando discriminaciones preexistentes. Estudiamos las herramientas que proporciona la normativa europea tanto para prevenir la discriminación algorítmica como para que las personas que han sufrido discriminación a raíz del uso de la inteligencia artificial puedan hacer frente a los sistemas con los que se ha producido la discriminación. Para ello abordamos los puntos débiles y fuertes que presenta tanto la normativa antidiscriminación europea como la normativa europea de protección de datos para dar herramientas a las personas que han sufrido discriminación para desafiar las decisiones a las que se han visto sujetas. También analizamos lo que puede aportar en este sentido la futura regulación europea de la inteligencia artificial. En este análisis nos centramos en dos de las principales problemáticas que presentan estas normativas y cómo mitigarlas. En primer lugar, las normativas presentan problemas de aplicación dada la falta de información que debe afrontar quien se ha visto sujeto de discriminación y, en segundo lugar, las normativas se articulan en base a la protección individual de la persona perjudicada, obviando, desde nuestra perspectiva, el elemento colectivo definitorio de una acción discriminatoria. Concluimos que por cómo operan los sistemas algorítmicos actualmente se trasluce que asumen perfectamente los sistemas de opresión/subordinación existentes, los sistematizan y explotan, beneficiándose de la ausencia de una normativa capaz de facilitar la presentación de indicios de discriminación; que algunas garantías que presentan las normativas estudiadas, dadas ciertas condiciones, podrían ser válidas para proteger a las personas de la discriminación algorítmica (p. ej. igualdad desde el diseño, evaluaciones de impacto algorítmicas, documentación técnica en virtud de la PRIA o la posibilidad de solicitar al tribunal que la otra parte en un litigio revele cierta información); que la gobernanza público-privada subyacente tanto en el RGPD como en la PRIA puede ser una fórmula deficiente para proteger a las personas de la discriminación producida a raíz de sistemas algorítmicos y la justificación para instaurarla (aprovechar los recursos y la experiencia del sector privado en la regulación pública) no compensa los riesgos que genera (que el sector privado se convierta de facto en autorregulado ya sea porque con su experiencia y recursos puede definir e incidir discrecionalmente en conceptos clave de la regulación, ya sea porque el poder público no puede instaurar una rendición de cuentas eficiente). Proponemos que se exija normativamente que la precisión del sistema algorítmico para todos los grupos de población concretos a los que se aplicará (incluyendo categorías de datos combinados) no supere cierta tasa de error. En caso de que el sistema supere la tasa de error establecida o sea tan inescrutable que no se pueda demostrar que no la supera, deberá imposibilitarse su comercialización o imponer su retirada del mercado. También proponemos la obligación a empresas, organizaciones y administraciones públicas a publicar un catálogo de los sistemas algorítmicos que están utilizando -previamente debería obligarse a todos los proveedores de sistemas de IA que denominen el sistema algorítmico que pretenden comercializar- y una explicación de para qué los está utilizando (p. ej. en una página web accesible al público general que se especifique que se está utilizando el sistema algorítmico “x” para gestionar los procesos de selección de personal de la empresa). Por último, la instauración de un sistema de protección colectiva-institucional que instrumentalice los puntos fuertes que ofrecen las normativas que regulan o pueden regular colateralmente la discriminación algorítmica y mejore las posibilidades de desafiar las decisiones tomadas mediante sistemas algorítmicos.

This doctoral thesis analyses the risks of generating discrimination presented by the use of artificial intelligence and, therefore, of affecting people's rights, reproducing and eventually increasing pre-existing discrimination. We study the tools provided by European law both to prevent algorithmic discrimination from occurring and to enable people who have suffered discrimination as a result of the use of artificial intelligence to challenge the systems by which discrimination has occurred. To do this we address the weaknesses and strengths of both European anti-discrimination and data protection law to give people who have suffered discrimination tools to challenge the decisions they have been subject to. We also analyse how the future European regulation of artificial intelligence can contribute in this regard. In this analysis we focus on two of the main problems presented by these regulations and how to mitigate them. Firstly, the regulations present application problems given the lack of information that those who have been discriminated against have to face and, secondly, the regulations are articulated on the basis of individual protection, avoiding, from our perspective, the defining collective element of a discriminatory action. We conclude that the way the algorithmic systems currently operate shows that they perfectly assume the existing systems of oppression/subordination, systematize them and exploit them while benefiting from the absence of regulations capable of establishing facts from which it may be presumed that there has been a discrimination; that some guarantees presented by the regulations studied, given certain conditions, could be valid to protect people from algorithmic discrimination (e.g., equality by design, algorithmic impact assessments, technical documentation under the PRIA or the possibility for the court to order to the other party or a third party, if requested by the defendant, to disclose relevant evidence); that the public-private governance underlying both the RGPD and the PRIA may be a poor formula for protecting people from discrimination caused by algorithmic systems and the justification for establishing it (profit from the resources and expertise of the private sector in public regulation) does not compensate for the risks it generates (that the private sector becomes in fact self-regulated either because with its expertise and resources can define and discretionally influence key concepts of regulation or because public authorities cannot establish efficient accountability). We propose to improve the protection that is currently provided making mandatory to demonstrate that the accuracy of the algorithmic system for all specific population groups to which it will be applied (including combined data categories) does not exceed a certain error rate. In the event that the system exceeds the established error rate, or it is so inscrutable that it cannot be demonstrated that it does not exceed it, its commercialization will have to be prohibited or its withdrawal from the market imposed. We also propose the obligation for companies, organizations and public administrations to publish a catalogue of the algorithmic systems they are using - previously all providers of AI systems should be required to name the algorithmic system they intend to commercialize - and an explanation of what they are being used for (e.g., on a web page accessible to the general public that specifies that algorithmic system “x” is being used to manage the company's selective processes). Finally, the establishment of a system of collective-institutional protection that instrumentalizes the strengths offered by the regulations that regulate or can collaterally regulate algorithmic discrimination and improves, in this way, the possibilities of challenging the decisions taken through algorithmic systems that may cause discrimination.