Tema
La inteligencia artificial (IA) pone en tela de juicio el papel de la convicción humana que subyace a las decisiones administrativas, sujetas a la incertidumbre y a complejas limitaciones. ¿Cómo debería la inteligencia artificial guiar esas decisiones? ¿Y cómo se pueden conciliar los requisitos del Estado de Derecho y las ventajas prácticas de la automatización de decisiones públicas?
Resumen
En los últimos tiempos, los Estados dependen cada vez más de programas y algoritmos para ejercer sus potestades públicas. Sin embargo, se ha demostrado que la transformación digital de los Estados tiene aspectos sin resolver. Pero la respuesta no es negar a los Estados el acceso a la tecnología automatizadora. Este trabajo apunta hacia una visión positiva de lo que hemos bautizado como el “Estado algorítmico de Derecho”, que adopta herramientas automatizadas sólo cuando éstas mejoran, en lugar de socavar, los fundamentos de la legitimidad de los Estados democráticos.
Introducción
Los Estados y sus Administraciones Públicas se enfrentan a retos inéditos en la gestión y el gobierno de las tecnologías digitales1. Esto se debe a que cumplen diferentes funciones en relación con el cambio tecnológico. En primer lugar, son usuarios cuando adoptan las tecnologías digitales para realizar tareas específicas. Además, también apoyan directamente la innovación, ya sea mediante su fomento o con ciertos criterios de adjudicación en la contratación pública. En tercer lugar, los Estados y las Administraciones Públicas son decisivos en la regulación de la tecnología. Su misión constitucional es proteger los derechos individuales y el interés público. En lo que respecta a la aplicación, la promoción y la reglamentación de las tecnologías digitales, el desafío particular para los Gobiernos y las Administraciones deriva de las incertidumbres a las que se enfrentan, una parte de las cuales se produce con la automatización decisoria en el sector público al calor de la transformación digital.
En efecto, desde hace más de una década, los Estados viven una transformación que está convirtiendo la tecnología en un eje esencial de su gestión. Reducción de la burocracia, optimización de la atención a los ciudadanos y toma de decisiones más efectivas son los resultados que se ambicionan. En suma, se pretende que los Estados sean más ágiles, abiertos, innovadores y eficientes, apoyándose en las tecnologías digitales y en la inteligencia artificial2, con el objetivo de que con ello mejore la calidad de los servicios públicos que se ofrecen a sus ciudadanos. Incluso, más a medio plazo, la corrupción, la delincuencia, la pobreza o la desigualdad podrían superarse con facilidad gracias a la transformación digital.
Así las cosas, los Estados están sustituyendo paulatinamente el factor humano en fases decisorias, lo cual ya se ha realizado, por ejemplo, en la valoración del desempeño del puesto de trabajo de un empleado público, la asignación de ayudas públicas, la detección del fraude tributario o la concesión de la libertad condicional. Sobre ello existe, además, una rica literatura académica en todos los sistemas jurídicos.
De este modo, incluso la mera automatización con técnicas más modestas puede tener beneficios. Al automatizar las tareas secundarias, en principio las Administraciones Públicas podrían liberar recursos y personal para atender las necesidades del ciudadano de manera más individualizada. Asimismo, los gestores públicos están obligados a utilizar la tecnología para ayudar a satisfacer las crecientes expectativas de imparcialidad, transparencia y capacidad de respuesta de las sociedades actuales, lo cual la crisis del SARS-CoV-2, causante de la enfermedad COVID-19, ha hecho más urgente si cabe.
Por todo ello, el uso de sistemas automatizados de toma de decisiones en el sector público será cada vez más frecuente en el futuro cercano. Es claro que las decisiones que adopten estos sistemas deberán cumplir con las normas de Derecho administrativo. Y sobre esta nueva actividad administrativa se proyectarán, como no puede ser de otra manera, todos los principios constitucionales que ordenan la forma de actuación de los poderes públicos. No puede aceptarse una reducción de las garantías jurídicas asociadas al empleo de medios tecnológicos por parte de los Estados al socaire de consideraciones de eficiencia o de “liquidez” del Derecho, por ejemplo.
Aunque la doctrina se ha ocupado de la supervisión jurídica de estos sistemas de forma más general, especialmente en los sistemas jurídicos de common law3, hoy en día quedan sin esclarecer muchas cuestiones de calado; por ejemplo, la forma en la que los Parlamentos y Gobiernos deben responder ante el creciente uso de estos sistemas o la concreta reformulación de ciertos principios del Derecho público continental para abordar los riesgos y desafíos en el despliegue de tales sistemas. Las reglas tradicionales van a tener que cambiar, al igual que el papel del Derecho público del futuro. Al mismo tiempo, el Estado algorítmico de Derecho tiene que preservar la justicia social y la equidad, por lo que debe fijar los objetivos, finalidades y garantías de estos sistemas.
El Estado algorítmico de Derecho
Así las cosas, el “Estado algorítmico de Derecho” se erige sobre los siguientes elementos tecnológicos nucleares: Internet, cloud computing, plataformas digitales para proveer servicios públicos, Big Data, automatización de procesos mediante inteligencia artificial, sistemas de publicidad basados en tecnologías blockchain y de registro distribuido (DLT por sus siglas en inglés), así como la conectividad ubicua de las redes 5G. Pretende, por tanto, un procesamiento y toma de decisiones en tiempo real, veloz, efectivo y lo más automatizado posible. Supone una arquitectura coherente con los nuevos tiempos que se sirve de los avances tecnológicos. Y así el Estado adquirirá una capacidad de adaptación en un marco temporal más eficiente, acorde con las necesidades del siglo XXI.
Antes de proseguir, debemos aclarar que el Estado algorítmico de Derecho no se limita al machine learning o aprendizaje automático, sino que el término engloba la toma de decisiones por sistemas que implican procesos algorítmicos, incluyendo el aprendizaje automático, pero también técnicas más básicas, como sistemas de reglas o de árboles de decisión, para automatizar tareas antes desempeñadas por un empleado público. Es decir, incluye la inteligencia artificial y otras técnicas de automatización menos sofisticadas. Y, aunque no siempre los Estados son transparentes al explicar cómo introducen estos sistemas, hoy se utilizan ampliamente en sectores de actividad administrativa como la prevención del fraude fiscal, la salud pública, el bienestar de colectivos vulnerables, los servicios sociales o la seguridad ciudadana.
Se sabe que los sistemas algorítmicos plantean diversas cuestiones relacionadas con la parcialidad, la injusticia y la discriminación en las decisiones que adoptan, así como con la transparencia, la explicabilidad y la rendición de cuentas en lo que respecta a su funcionamiento o la protección de los datos, la privacidad y otras cuestiones de derechos fundamentales, entre otras. Incluso podemos hablar de “absurdos algorítmicos” para calificar sus cálculos incorrectos. Muchas investigaciones han tratado de mejorar los estándares de tales sistemas, pero a menudo no se han considerado las cuestiones jurídicas o los procedimientos públicos de toma de decisiones. Como resultado, los procesos y métricas para un Estado algorítmico justo, responsable y transparente propuestos a través de estos trabajos no siempre se acomodan fácilmente a los ordenamientos jurídicos en vigor. Por lo tanto, existen lagunas entre la investigación técnica y el Derecho público, así como entre la ley y las características técnicas de estos sistemas.
Tal vez el mayor desafío se relaciona con la transparencia y la responsabilidad de las decisiones del algoritmo, es decir, el problema emerge cuando una máquina ha asumido una tarea previamente realizada por un humano de tal manera que las garantías de transparencia, rendición de cuentas y tutela judicial efectiva se desvanecen. Como botón de muestra, vamos a traer a colación aquí un caso muy plástico sucedido en el estado de Arkansas (EEUU) hace cuatro años.
En 2016 el Departamento de Servicios Sociales de Arkansas decidió hacer un cambio en su gestión. En lugar de que una enfermera visitara a los residentes discapacitados en sus respectivos domicilios para evaluar sus necesidades de cuidado y asistencia pública, la Administración contrató a una compañía de software para diseñar un algoritmo que automatizara la valoración. La Administración esperaba ahorrar dinero. En cambio, los gestores públicos se vieron envueltos en un proceso judicial.
El algoritmo empleado clasificaba a los beneficiarios de la asistencia pública con discapacidades físicas en categorías mediante una compleja serie de clasificaciones y cálculos estadísticos. Un proveedor de software contratado por la Administración se encargaba, a continuación, de poner en práctica las evaluaciones. El proveedor utilizó el algoritmo para calcular el número de horas de atención asignadas semanalmente a las personas. Sin embargo, los beneficiarios de la asistencia, una vez clasificados en un nivel, no podían ser trasladados a otro nivel, aunque sus necesidades cambiaran.
Una vez puesto en marcha, el nuevo sistema produjo resultados arbitrarios e ilógicos, según fue puesto de manifiesto en el juicio en 20174. Si una persona había sufrido, por ejemplo, una amputación de pie, el algoritmo indicaba que la persona “no tenía problemas en el pie”, aunque la falta de la extremidad significaba que necesitaba más asistencia en lugar de menos, como es obvio. Tampoco tenía en cuenta la gravedad de las condiciones de las personas, aunque las leyes federales estadounidenses así lo imponen. Por ejemplo, el algoritmo asignaba a alguien con tetraplejia, demencia y esquizofrenia la misma atención que a alguien que sólo tiene tetraplejia, aunque es probable que la demencia y la esquizofrenia signifiquen que se necesita más tiempo de atención.
Una vez concluido el proceso judicial, un juez federal prohibió permanentemente al estado de Arkansas que automatizara las decisiones sobre la atención domiciliaria hasta que pudiera explicar las razones de esas decisiones. Y es que ni los funcionarios del estado ni los proveedores externos fueron capaces de articular una herramienta para depurar el algoritmo, a pesar de las profundas consecuencias para los residentes discapacitados.
El litigio de Arkansas arroja luz sobre las patologías en muchos de los actuales sistemas algorítmicos de toma de decisiones. Pero todavía en 2020 sigue siendo muy difícil impugnar las decisiones automatizadas, porque los sistemas carecen de mecanismos de auditoría que puedan ayudar a esclarecer el motivo de las decisiones. Estas carencias afectan a cientos de miles de personas —a menudo las más vulnerables—, desperdician cientos de millones de euros y en ocasiones desembocan en costosos litigios. Algunas Administraciones han gastado millones en la compra de sistemas automatizados y han gastado millones más para arreglar los problemas que esos sistemas crearon.
Tampoco la respuesta jurídica dada hasta la fecha ha sido satisfactoria, pues la mayoría de los ordenamientos jurídicos ha asumido simplemente que las mejoras tecnológicas hacen el sistema sencillamente más potente en cuanto a su capacidad de computación y poco más, sin establecer ninguna respuesta regulatoria ante los nuevos problemas de calado que plantean la inteligencia artificial y la plena automatización decisoria. Únicamente unos pocos Estados, como es el caso de Alemania, han optado por prohibir, de momento, estos medios. Allí, en su Ley de Procedimiento Administrativo (VwVfG o Verwaltungsverfahrensgesetz), se ha incorporado la prohibición de utilizar algoritmos para la adopción de decisiones que afecten a derechos de los ciudadanos y que puedan tener un contenido discrecional.
A nivel de la Unión Europea, el 19 de febrero de 2020 la Comisión Europea ha presentado un libro blanco para una inteligencia artificial fiable que establece las bases jurídicas para su inminente regulación a escala de la Unión. Su cometido es movilizar recursos a lo largo de toda la cadena de valor y crear los incentivos apropiados para acelerar la implantación de la IA, también entre las pequeñas y medianas empresas y, por supuesto, en las Administraciones Públicas. Para ello es imprescindible la colaboración entre los Estados miembros y la comunidad investigadora con el fin de atraer y retener el talento. Adopta un enfoque basado en la regulación y en la inversión con el objetivo de promover la adopción de la IA y de abordar los riesgos vinculados a determinados usos de esta tecnología.
En concreto, el documento propone un enfoque regulatorio basado en el riesgo para que la intervención regulatoria sea proporcionada y no lastre el crecimiento. Así, en los casos de aplicaciones de inteligencia artificial de riesgo elevado, como los que afectan a los ámbitos de la salud, las actividades policiales o la justicia, los sistemas deben ser transparentes y trazables y garantizar una verificación humana. Especialmente, las autoridades públicas deben poder probar y certificar los datos utilizados por los algoritmos, como actualmente hacen con los automóviles o los juguetes. Además, es imprescindible poder contar con datos no sesgados “para que los sistemas con un elevado nivel de riesgo se desarrollen de forma que su funcionamiento sea el adecuado y se garantice el respeto de los derechos fundamentales, en particular la no discriminación”. Para las aplicaciones de IA de menor riesgo, el libro blanco prevé un sistema de etiquetado voluntario en el que se establecerán requisitos menos onerosos.
Conclusiones
Una parte relevante de la automatización implantada hasta la fecha no ha sido una victoria clara para la eficiencia y la justicia, como esperaban los gestores públicos y habían prometido ciertos vendedores. No ha eliminado el sesgo, sino que ha cambiado la posibilidad de sesgo humano por la incorporación del sesgo sistémico de los algoritmos. Los fracasos pasados no han sido tenidos en cuenta en los planes actuales. En cambio, los problemas se han multiplicado y diversificado. Algunos Estados han ampliado la automatización obviando las claras advertencias sobre los posibles fallos. Las Administraciones han seguido utilizando sistemas algorítmicos relativamente rudimentarios basados en reglas y árboles de decisión, a pesar de sus evidentes defectos y limitaciones. Y, lo que es más preocupante, han adoptado planes aún más complejos y variados para automatizar la toma de decisiones pese a la inmadurez de ciertas tecnologías, elegidas con precipitación.
Debe adoptarse una dirección crítica, pero de igual modo constructiva. No es recomendable prohibir el uso de la tecnología automatizadora por parte de las Administraciones Públicas, sino que los gestores públicos deben seleccionar muy concienzudamente la tecnología que utilizar en la medida en que sus nuevas prestaciones, siempre adecuadamente verificadas y certificadas con carácter previo a su contratación, mejoren, en lugar de socavar, la razón de ser del Estado de Derecho. Opino que, lejos de exigir un retorno al estado anterior, la nueva tecnología nos invita a aumentar y extender nuestras expectativas de lo que el Estado puede ofrecer a sus ciudadanos.
De hecho, el auge de la inteligencia artificial implica que las Administraciones Públicas deben ser sometidas a normas más estrictas y se les debe pedir que persigan objetivos más elevados o diferentes a los actuales, ya que contarán con herramientas tecnológicas para ayudar a satisfacer las crecientes expectativas de imparcialidad y transparencia y las exigencias de las sociedades del siglo XXI. Estimo que la disponibilidad de mejores herramientas debe conducir a normas más elevadas de gobernanza y transparencia públicas. Las Administraciones tienen que buscar formas técnicas de mejorar la relación administrativa, el ejercicio de potestades discrecionales y la capacidad de individualización que justifican la atribución de las potestades públicas exorbitantes que definen el Derecho público mismo.
A la postre, en el futuro inminente el Derecho público tiene que desarrollar nuevos principios y estándares para el Estado algorítmico de Derecho a fin de abordar algunos de los problemas identificados en estas líneas, y ello requiere una investigación profunda e interdisciplinar. Si bien en relación con varias de las cuestiones antes indicadas existen propuestas académicas de soluciones técnicas, éstas aún no se han traducido en instrumentos jurídicos de uso generalizado o de fácil acceso.
Y la normativa sobre protección de datos es insuficiente, pues su finalidad no es establecer las garantías de los ciudadanos frente al ejercicio de autoridad de los poderes públicos que pueda afectar a sus derechos e intereses legítimos, sino proteger a los consumidores frente a las personas físicas y jurídicas que realizan tratamientos de datos cada vez más intensos y masivos para evitar su tratamiento ilícito o que sea lesivo para la dignidad y los derechos de los afectados.
Otros aspectos por resolver con urgencia son los relativos a los mecanismos jurídicos para evaluar la exactitud, relevancia y calidad de los datos de entrenamiento, la publicidad del código fuente y la fiscalización algorítmica, la evaluación ex ante y ex post de los sistemas, los medios para determinar y gestionar el sesgo en los sistemas de aprendizaje automático o la trazabilidad, la fundamentación de las decisiones adoptadas y las posibilidades de defensa y recurso frente a ellas.
Moisés Barrio Andrés
Letrado del Consejo de Estado, doctor en Derecho y director del Diploma de Alta Especialización en Legal Tech y transformación digital (DAELT) de la Escuela de Práctica Jurídica de la Universidad Complutense de Madrid | @moisesbarrioa
1 En detalle, por ejemplo, Barrio Andrés, Moisés (dir.) (2019): Legal Tech. La transformación digital de la abogacía, Wolters Kluwer; Barrio Andrés, Moisés (2020): Manual de Derecho digital, Tirant lo Blanch; u A. Ortega Klein (2019): “La nueva política sigue la innovación privada en la gestión de lo público: Gobernanza digital: ¿hacia una nueva utopía?”, Telos: cuadernos de comunicación e innovación, n.º 110.
2 A ello hay que sumar la irrupción de nuevas ciencias y herramientas tecnológicas disruptivas, conocidas como tecnologías NBIC (Nanotecnología, Biotecnología, Tecnologías de la Información y Ciencias Cognitivas), las cuales inauguran nuevos acontecimientos sociales, nuevas formas de organización, nuevos procesos productivos y gubernamentales e incluso nuevas formas de concebir al ser humano. Este conjunto de novedades sociales ha sido bautizado como “Cuarta Revolución Industrial”. Algunos de sus rasgos principales son la digitalización de la información, la manipulación de grandes volúmenes de datos, la utilización creciente de la inteligencia artificial, la automatización de procesos productivos y el transhumanismo o mejora del hombre, entre muchos más.
3 Por ejemplo, S. Mayson (2019), “Bias In, Bias Out”, The Yale Law Journal, vol. 128, n.º 8; o F. Pasquale (2019), “A Rule of Persons, Not Machines: The Limits of Legal Automation”, The George Washington Law Review, vol. 87, n.º 1.
4 Arkansas Department of Human Services v. Ledgerwood, 530 SW.3d 336 (Ark. Sup. Ct. Nov. 9, 2017).
Detalle del procesador cuántico D-Wave 2000-qubit. Foto: Steve Jurvetson (CC BY 2.0)
