20200821Retosticosdelainteligenciaartificialenelprocesojudicial

Vista previa del material en texto

1 
Retos éticos de la inteligencia artificial en el proceso judicial 
 
Por: Juan David Gutiérrez Rodríguez1 
 
21 de agosto de 2020 
 
Resumen: Este texto analiza las implicaciones éticas del uso de tecnologías con inteligencia 
artificial en los procesos judiciales con énfasis en el caso de Colombia. El documento 
comienza por precisar qué es la inteligencia artificial y el aprendizaje automatizado. En la 
segunda sección el texto identifica qué tiene de especial la inteligencia artificial - como 
herramienta tecnológica - desde el punto de vista del derecho.. Específicamente esta 
sección discute qué implicaciones o riesgos genera la inteligencia artificial como 
herramienta para los procesos judiciales. En la tercera sección el texto aborda los retos 
éticos del uso de la inteligencia artificial en los procesos judiciales en Colombia. En dicha 
sección se estudian tres tipos de dilemas éticos que deberían ser tenidos en cuenta por 
todos los actores interesados en el buen funcionamiento de los sistemas judiciales: i) sesgos 
que derivan en prácticas discriminatorias, ii) falta de transparencia y iii) limitaciones en la 
rendición de cuentas. La última sección resume las principales conclusiones del texto y 
señala algunos temas y retos futuros que ameritan futuros estudios. 
 
Palabras clave: Inteligencia Artificial, Ética, Justicia, Colombia 
 
Introducción 
 
“¡Que se joda el algoritmo!” Esta fue una de las arengas de los cientos de estudiantes de 
último grado de colegio del Reino Unido congregados frente al Departamento de Educación 
para protestar contra los resultados arrojados por un nuevo programa computacional 
 
1 PhD en política pública de la U. de Oxford. Profesor de cátedra en la U. de los Andes. Socio en Avante 
Abogados. Ponencia preparada para el XLI Congreso Colombiano de Derecho Procesal, septiembre de 2020. 
 2 
implementado por el gobierno para controlar sus notas finales de bachillerato.2 Lo que 
estaba en juego no era menor, los resultados afectados por el algoritmo podrían dejar a 
miles de estudiantes sin un lugar en la universidad. 
 
El origen de esta historia comienza como muchas otras del 2020: con la pandemia como 
protagonista. Como el COVID-19 impidió la realización de los exámenes finales de 
secundaria, el gobierno decidió implementar un algoritmo de estandarización con el fin de 
controlar los resultados académicos que habían sido asignados por los profesores de los 
propios alumnos. El algoritmo bajó la calificación a casi el 40% de los estudiantes y hay 
evidencia inicial de que los resultados estaban sesgados por factores socio-económicos; es 
decir, el algoritmo tendió a reducir la nota a estudiantes que provenían de entornos menos 
favorecidos y que no estudiaron en escuelas privadas.3 
 
Aprovecho esta historia para atraer al lector porque la anécdota desnuda muchos de los 
retos éticos4 que puede implicar el uso de tecnologías con inteligencia artificial en los 
asuntos públicos, como lo son los procesos judiciales. El “fiasco de las calificaciones” en el 
 
2 La arenga original en Inglés, de difícil traducción al Castellano fue: “fuck the algorithm”. Un video que registra 
la protesta del 17 de agosto de 2020 está disponible acá: 
https://twitter.com/HUCKmagazine/status/1294985562106015750?s=20. 
3 Pare entender el contexto, véase: Black, B. .(2020). “Exploring the potential use of AI in marking”. Ofqual 
Blog. Disponible en: https://ofqual.blog.gov.uk/2020/01/09/exploring-the-potential-use-of-ai-in-marking/. 
Jadhav, C. (2020). “Fairness in awarding”. Ofqual Blog. Disponible en: 
https://ofqual.blog.gov.uk/2020/08/06/fairness-in-awarding/. Ferguson, D. y Savage, M. (2020). 
“Controversial exams algorithm to set 97% of GCSE results”. The Guardian, 15 de agosto de 2020. Disponible 
en: https://www.theguardian.com/education/2020/aug/15/controversial-exams-algorithm-to-set-97-of-
gcse-results. Adams, R. y McIntyre, N. (2020). “England A-level downgrades hit pupils from disadvantaged 
areas hardest”. The Guardian, 13 de agosto de 2020. Disponible en: 
https://www.theguardian.com/education/2020/aug/13/england-a-level-downgrades-hit-pupils-from-
disadvantaged-areas-hardest. Hern, A. (2020). “Do the maths: why England's A-level grading system is 
unfair”. The Guardian, 14 de agosto de 2020. Disponible en: 
https://www.theguardian.com/education/2020/aug/14/do-the-maths-why-englands-a-level-grading-
system-is-unfair. 
4 ¿A qué ética me refiero? En este caso a una “ética aplicada” que evalúa lo que los seres humanos estamos 
obligados moralmente a hacer en determinada situación. En ese sentido, acojo la siguiente definición del 
“Grupo de expertos de alto nivel sobre inteligencia artificial” de la Comisión Europea: “La ética aplicada se 
ocupa de situaciones de la vida real, en las que es necesario tomar decisiones bajo limitaciones de tiempo y, a 
menudo, de racionalidad. La ética de la inteligencia artificial se considera generalmente un ejemplo de la ética 
aplicada que se centra en los problemas normativos que plantea el desarrollo, despliegue y utilización de la 
IA” (AI HLEG 2019, 49). 
 3 
Reino Unido pone de presente preguntas cruciales para evaluar la implementación de este 
tipo de tecnologías en los procesos estatales: ¿Quién escribe los códigos? ¿Se trata de un 
equipo no solo idóneo técnicamente sino también diverso y plural? ¿Hay suficiente 
transparencia en los procesos del algoritmo?¿Qué sesgos contiene el algoritmo y las bases 
de datos a partir de las cuales este toma decisiones? ¿La implementación del algoritmo 
genera resultados discriminatorios? ¿Quién es el responsable? 
 
Obviamente, no podríamos apreciar la luna a cabalidad si solo nos enfocáramos en su “lado 
oscuro”. En los últimos años, las tecnologías de IA han contribuido a incrementar la 
eficiencia y efectividad de las organizaciones – públicas y privadas – que las utilizan para 
tomar decisiones o que las incorporan a sus procesos y servicios. Estas tecnologías han 
incrementado la competitividad de empresas y podrían tener promisorias aplicaciones en 
el campo de la medicina y la lucha contra el cambio climático (Kelleher & Tierney, 2018). 
Estas tecnologías tienen la potencialidad de mejorar muchos aspectos de nuestras vidas y 
de transformar positivamente nuestras sociedades y economías (European Commission, 
2018, 2019a, 2019b). 
 
Sí, las IA ofrecen beneficios concretos para gobiernos y empresas, pero sus efectos no 
deseados o sus implicaciones de largo para la sociedad ameritan estudiarlas integralmente. 
En el ejemplo que abre este texto, el algoritmo usado por el gobierno británico simplemente 
implementaba un modelo estadístico que buscaba estandarizar los resultados académicos 
de los estudiantes. Es decir, ni siquiera se trataba de un algoritmo dotado de inteligencia 
artificial. Los riesgos en el caso de algoritmos que sí tienen capacidad para tomar decisiones 
automatizadas son aún mayores. 
 
Este texto comienza por precisar qué es la inteligencia artificial y el aprendizaje 
automatizado. En la segunda sección el texto identifica qué tiene de especial la inteligencia 
artificial - como herramienta tecnológica - desde el punto de vista del derecho. 
Específicamente esta sección discute qué implicaciones o riesgos genera la inteligencia 
artificial como herramienta para los procesos judiciales. En la tercera sección el texto 
 4 
aborda los retos éticos del uso de la inteligencia artificial en los procesos judiciales en 
Colombia. La última sección resume las principales conclusiones del texto y señala algunos 
temas y retos futuros que ameritan futuros estudios. 
 
1. ¿Qué es la inteligencia artificial? 
 
El término “inteligencia artificial” (en adelante IA) fue introducido por John McCarthy en 
1956, a propósito de un taller que organizó junto con un grupo de investigadores en 
Dartmouth College y que buscaba explorar el trabajo de Alan Turing sobre aprendizajeautomatizado (machine learning) (Ertel, 2017; Kelleher & Tierney, 2018; Mitchell, 2019; 
Webb, 2019). Una de las primeras definiciones de IA fue propuesta por McCarthy: “El 
objetivo de la IA es desarrollar máquinas que se comportan como si fueran inteligentes” 
(Ertel, 2017). 
 
Desde entonces, diferentes definiciones han sido planteadas, que complejizan el concepto, 
y estas han ido evolucionando a la par con la disciplina sobre IA. Una manera sencilla de 
entender la IA es como un sistema que toma decisiones automatizadas y que imita la 
inteligencia humana (Webb, 2019).5 En términos similares, la Comisión Europea 
recientemente definió la IA como “sistemas que muestran un comportamiento inteligente 
al analizar su entorno y tomar acciones, con cierto grado de autonomía, para lograr 
objetivos específicos” (European Commission, 2018, p. 2). 
 
Así como el concepto de inteligencia artificial aparece a mediados del siglo pasado, también 
es justo decir que la humanidad lleva mucho tiempo pensando en la automatización y en 
tratar de lograr que un objeto diferente a los seres humanos tenga capacidad de razonar o 
de pensar. Eso incluso llevó a muchos filósofos a escribir largos tratados sobre qué es 
 
5 La IA como área del investigación, según Ertel (2017), busca entender la inteligencia y construir sistemas 
inteligentes. 
 5 
pensar, razonar, pensamiento, para poder saber si hay inteligencia en otro ser (Webb, 
2019). 
 
El primer aparato automatizado apareció a mediados del siglo XVI: un monje de madera que 
se mueve impulsado con un mecanismo interno propio de los relojes de la época.6 Otro 
ejemplo de ese anhelo de automatización es el primer semáforo que se instaló enfrente del 
parlamento británico en 1868. Ese semáforo lo operaba un policía, entonces no era 
automatizado. Sin embargo, en 1920 instalaron el primer semáforo que operaba 
automáticamente, con las luces como lo vemos hoy, y a ese semáforo lo llamaron policía 
robot. Actualmente, ciudades del mundo cuentan con sistemas de IA que les permite regular 
el tráfico de manera dinámica; por ejemplo, los algoritmos que regulan los semáforos le dan 
prioridad a determinados flujos a lo largo del día (Kelleher & Tierney, 2018). 
 
Pero no toda máquina automatizada ni todo computador está dotado IA. Que un 
computador tenga mayor capacidad de procesamiento y memorización de información que 
un humano no lo convierte en un sistema de IA. Precisamente, uno de los aportes de Alan 
Turing en el campo de la AI, a mediados de siglo XX, fue el desarrollo de una prueba que 
buscaba identificar si una máquina exhibía un comportamiento que permitiera calificarla 
como una “máquina inteligente”, indistinguible de un ser humano (Ertel, 2017). De la misma 
forma, no todo programa computacional convierte la máquina en un sistema de IA. Hay 
algoritmos tradicionales que no tienen inteligencia artificial basados en modelos 
previamente definidos por el programador y que establecen las órdenes que debe seguir el 
computador para resolver un problema. Por ejemplo, el código puede estar formulado en 
términos de órdenes condicionales tipo “si pasa A entonces B” (if then), y el algoritmo opera 
bajo la arquitectura de un árbol de decisiones predefinido; ahí no hay aprendizaje, no hay 
 
6 Un video del monje automatizado que hace parte de la colección del Museo Nacional de Historia Americana 
en Estados Unidos está disponible acá: 
https://www.youtube.com/watch?time_continue=1&v=kie96iRTq5M&feature=emb_title. Más información 
sobre este precursor de los robots contemporáneos está disponible en la página web del museo: 
https://americanhistory.si.edu/collections/search/object/nmah_855351. 
 6 
razonamiento, la máquina simplemente ejecuta instrucciones y reglas diseñadas por el 
programador. 
 
En este texto entenderemos las herramientas con tecnología de IA como aquellas que 
cuenta con sistemas de toma decisiones automatizadas, que imitan la inteligencia humana 
y que – en algunos casos – están dotadas de la capacidad de aprender por sí mismas vía 
procesos iterativos de ensayo y error. En el contexto de la IA, el término “aprendizaje 
automatizado” (machine learning) fue usado inicialmente para describir aquellos 
“programas que le dan a un computador la habilidad de aprender de los datos”(Kelleher & 
Tierney, 2018, p. 13). Lo que distingue a los aparatos dotados de esta capacidad es que sus 
“algoritmos son capaces de analizar automáticamente una gran cantidad de conjuntos de 
datos para extraer patrones que potencialmente son interesantes y útiles” (Kelleher & 
Tierney, 2018, p. 14).7 
 
Actualmente, compañías basadas principalmente en Estados Unidos y en China, invierten 
billones de dólares en crear “agentes inteligentes” que sean capaces de resolver todo tipo 
de problemas y realizar tantas tareas diferentes como sea posible (Ertel, 2017; Webb, 
2019). El anhelo de la automatización y de las máquinas inteligentes también llegó al ámbito 
de lo jurídico. De hecho la IA ya se utiliza en diferentes asuntos de la justicia del quehacer 
de los abogados. 
 
Quizá una de las primeras aplicaciones que se le ha dado a la IA en contextos de procesos 
judiciales, es la relacionada con la predicción de “reincidencia” de cometer crímenes en 
Estados Unidos (Kelleher & Tierney, 2018; Webb, 2019). En ese sentido, en los tribunales 
en Estados Unidos está creciendo el uso de algoritmos para decidir sobre la imposición de 
medidas cautelares privativas de la libertad (Ramachandran, 2017). En China también se 
han desarrollado más de 100 chatterbots que asesoran a los tribunales y que responden 
preguntas puntuales sobre asuntos litigiosos (Flórez Rojas & Vargas Leal, 2020). También 
 
7 Como área del conocimiento, el machine learning es “el campo de estudio que desarrolla los algoritmos que 
los computadores usan para identificar y extraer patrones de los datos” (Kelleher & Tierney, 2018, p. 97). 
 7 
en el ejercicio profesional del derecho se está experimentando con IA, puntualmente para 
la realización de debidas diligencias y la revisión de contratos. ¿Pero qué problemas puede 
crear o exacerbar el uso de herramientas de IA en el contexto de las labores jurídicas? La 
próxima sección explica los riesgos asociados con las IA a partir de las características 
básicas de estas tecnologías. 
 
2. Lo que hace especial a la IA en relación con las labores jurídicas 
 
Antes de caracterizar qué hace a las tecnologías con IA especiales para el ámbito del 
derecho, es conveniente abordar primero un mito asociado a este tipo de herramientas y -
en general- con la ciencia de los datos: su supuesta objetividad e infalibilidad por basarse en 
modelos matemáticos y conjuntos de datos.8 Los datos son producto de la abstracción 
humana, son una representación imperfecta del mundo, no una descripción objetiva del 
mismo. En palabras de Kelleher & Tierney (2018, p. 46), los datos “siempre son parciales y 
sesgados” y los algoritmos que operan a partir de dicha información no funcionan de forma 
“objetiva”. 
 
La popularización de las IA las ha llevado afectar diferentes ámbitos del trabajo y de la vida 
de las personas. Pero este texto se centra en sus implicaciones en un espacio específico: el 
procedimiento judicial. Para tal efecto, es pertinente identificar que es lo que tiene de 
especial las herramientas de inteligencia artificial frente a otras tecnologías que hace años 
se utilizan en los sistemas judiciales (como el uso de computadores para almacenar, 
clasificar y publicar información). 
 
Lo que hace especial la IA no son sus ingredientes individualmente considerados, sino el 
“cóctel” de ingredientes que componen los aparatos con inteligencia artificial. Un informe 
reciente del grupo de expertos organizado por la Comisión Europea, para analizar las 
 
8 La “ciencia de los datos” consiste en los “principios, definiciones de problemas, algoritmos, y procesos quebuscan extraer patrones no obvios y útiles de grandes conjuntos de datos” (Kelleher & Tierney, 2018, p. 1). 
 8 
implicaciones de la Inteligencia artificial para los regímenes responsabilidad civil de la 
Unión Europea, identificó las siguientes siete características: i) Complejidad, ii) Opacidad, 
iii) Autonomía, iv) Predictibilidad, v) Dependencia de los datos, vi) Apertura y vii) 
Vulnerabilidad. 
 
A continuación explicaré, a partir de los ingredientes identificados por el reporte de equipo 
de expertos de la Comisión Europea, por qué estas características son particularmente 
importantes para entender las implicaciones éticas de las IA en el derecho y puntualmente 
en los procesos judiciales. 
 
2.1 Complejidad, Autonomía y Opacidad 
 
Los sistemas de IA están compuestos por diferentes partes que están interconectadas y que 
tienen una alta sofisticación técnica; hoy en día un chip del tamaño de una uña puede 
almacenar información que hace treinta años no hubiera cabido en un edificio de 
computadores. Además, los componentes pueden estar interconectados con componentes 
de terceros que interactúan entre sí, por ejemplo, intercambiando información.9 La 
complejidad de los sistemas de IA van de la mano con el gran volumen de datos que 
producimos. Según Kelleher & Tierney (2018, p. 8), desde la invención de la escritura (hace 
cinco milenios) hasta el 2003, la humanidad produjo alrededor de 5 exabytes; “desde 2003, 
la humanidad genera esa misma cantidad de información cada día”. 
 
Por otra parte, los algoritmos dotados de capacidad para el aprendizaje automatizado 
generan resultados a partir de procesos internos que no son trazables y que son 
desconocidos por sus propios programadores. Debido a que los sistemas de IA tienen 
capacidad de aprendizaje automatizado pueden modificar los algoritmos inicialmente 
 
9 Un ejemplo son los vehículos autónomos que están conectados con: i) otros vehículos a su alrededor; ii) con 
un sistema central de información; iii) con un sistema que proviene de la infraestructura de la carretera. 
Entonces por lo menos con esas tres diferentes fuentes estará interconectado todo el tiempo un vehículo 
autónomo para poder funcionar óptimamente en ese ecosistema digital. 
 9 
preinstalados porque precisamente van aprendiendo a partir de información externa que 
van recolectando (European Commission, 2019b). 
 
Amy Webb (2019) explica que los investigadores que desarrollan este tipo de tecnologías 
con frecuencia no saben cómo sus máquinas están tomando decisiones, optimizando sus 
operaciones, obteniendo resultados o generando predicciones. Esta inhabilidad para trazar 
en tiempo real los procesos de decisión de estos sistemas de IA es conocido como el 
problema de la “caja negra”.10 A pesar de que equipos de investigadores han tratado de 
hacer ejercicios de “ingeniería inversa” a los resultados arrojados por estos sistemas – con 
el fin de trazar los procesos y hacer más transparente la IA – los resultados han sido muy 
limitados (Webb, 2019). 
 
2.2 Predictibilidad y Autonomía 
 
Los sistemas de IA pueden tomar decisiones sin control o monitoreo humano; de hecho, 
para eso mismo se están desarrollando, para que puedan operar de esa manera. Esta 
autonomía está apalancada por su propio aprendizaje y – como se explicó arriba - con 
frecuencia toman decisiones o arrojan predicciones cuyos fundamentos no conoce ni puede 
entender ni si quiera su propio creador (European Commission, 2019b). 
 
La autonomía para operar de estas tecnologías gracias a su capacidad para el aprendizaje 
automatizado junto con su capacidad para conectarse a otras fuentes externas de 
información hace más difícil de predecir los resultados que producirán. Según el grupo de 
expertos de la Comisión Europea: “Cuantos más sistemas de datos externos sean capaces 
de procesar y cuanto más sofisticada sea la IA, más difícil será prever el impacto preciso que 
tendrán estos sistemas una vez entran en funcionamiento” (European Commission, 2019b, 
p. 33). 
 
10 En el mismo sentido el reporte del grupo de expertos de la Comisión Europea afirmó: “Con frecuencia, los 
algoritmos no son creados como códigos fácilmente legibles, sino como una caja negra que ha evolucionado a 
través del autoaprendizaje y que somos ser capaces de probar en cuanto a sus efectos, pero no comprenderlo” 
(European Commission, 2019b, 33). 
 10 
 
La menor predictibilidad de las herramientas de IA a medida que se tornan más complejas 
y dependientes de datos externos (de terceros), puede socavar un objetivo de todo Estado 
de Derecho y una aspiración legítima de quienes están sometidos a la ley: la seguridad 
jurídica respecto de la aplicación de la ley. 
 
2.3 Dependencia de los datos, Apertura, y Vulnerabilidad tecnológica 
 
Arriba advertimos que con frecuencia los sistemas de IA dependen de datos externos (de 
terceros) para operar. A diferencia de otras herramientas, cuando se pone en marcha un 
sistema de IA por diseño este no está “finalizado” sino que su funcionamiento puede 
cambiar a medida que se le introduzcan nuevos componentes, que tenga acceso a nuevas 
fuentes de datos o como consecuencia de su interacción con otros sistemas de IA (European 
Commission, 2019b). 
 
Esa “apertura por diseño” puede generar riesgos o vulnerabilidades adicionales en la 
operación de las herramientas de IA. Por ejemplo, los datos, que pueden provenir de 
fuentes externas, pueden estar corruptos o contener fallas, o pueden ser incompletos y 
sesgados (European Commission, 2019b). 
 
Las consecuencias de una herramienta defectuosa en el marco de un proceso judicial y que 
pueden influir en las resultas del mismo son evidentes. En este punto, quizá vale la pena 
preguntar: ¿Qué estándar de seguridad debería esperarse de este tipo de sistemas? Una 
fuente de inspiración para responder a este desafío lo ofrece la implementación de las 
normas sobre protección de datos personales en Colombia. Uno de los principios en la 
interpretación y aplicación de la ley de protección de datos personales es el “principio de 
seguridad”, según el cual el tratamiento de la información deberá manejarse “con las 
medidas técnicas, humanas y administrativas que sean necesarias para otorgar seguridad a 
 11 
los registros evitando su adulteración, pérdida, consulta, uso o acceso no autorizado o 
fraudulento.”11 
 
Exigir respecto de los sistemas de IA que se utilicen en el marco de un proceso judicial que 
sean “seguros” no equivale a esperar que las herramientas sean infalibles. Quizá ninguna 
herramienta lo sea. Lo que se espera es que quien utilice un sistema de IA para su propio 
beneficio es que las medidas de seguridad implementadas sean "robustas", lo cual implica 
adoptar correctivos oportunos y eficaces. Tomando prestada la doctrina de la 
Superintendencia de Industria y Comercio sobre la seguridad en el contexto del 
tratamiento de datos personales, se advierte que un sistema es robusto cuando inlcuye 
“mecanismos para: identificar con precisión y rapidez las vulnerabilidades que necesitan 
corrección; implementar las correcciones adecuadas para que las vulnerabilidades que se 
presenten se corrijan de forma expedita; y verificar que las vulnerabilidades hayan sido 
corregidas."12 
 
3. Tres retos éticos que plantea el uso de IA en los procesos judiciales en Colombia 
 
En Colombia, la Delegatura para los Procedimientos Mercantiles de la Superintendencia de 
Sociedades y la Fiscalía General de la Nación fueron pioneras en el uso de algoritmos para 
el ejercicio de sus funciones. En el caso de la Superintendencia de Sociedades, a finales de 
2018, se implementó un algoritmo tipo chatterbot13 que denominó Siarelis (“Sistema con 
bases de Inteligencia Artificial para la Resolución de Litigios Societarios”). Según explicó la 
Superintendencia el algoritmo, que fue desarrollado internamente, está programado para 
recibir preguntasde los funcionarios judiciales sobre los hechos del caso y responder con 
 
11 Artículo 4, literal g) de la Ley 1581 de 2012. 
12 Superintendencia de Industria y Comercio, Resolución 21478 de 2019, Hoja 3. Disponible en: 
https://www.sic.gov.co/sites/default/files/files/Proteccion_Datos/actos_administrativos/Res%2021478.pdf 
13 Sobre los diferentes tipos de chatterbots, véase Ertel (2017, pp. 66–69). 
 12 
una opinión sobre las pretensiones y casos relevantes.14 Además Siarelis actualmente 
también está disponible para usuarios que quieran hacer consultas sobre litigios 
societarios. Sin embargo, la propia Superintendencia advierte que “este sistema no profiere 
decisiones judiciales ni pretende sustituir las decisiones del juez o indicarle el sentido en 
que habrá de emitirlas”.15 
 
Por su parte, en mayo de 2019 la Fiscalía General de la Nación empezó pilotear una 
herramienta denominada PRISMA (“Perfil de Riesgo para la Solicitud de Medidas de 
Aseguramiento”). Como su nombre lo sugiere, el objetivo de PRISMA es analizar datos de 
millones de personas con el fin de predecir el riesgo de reincidencia de un sujeto procesal 
respecto de la cual un fiscal debe decidir si solicitar ante los jueces una medida de 
aseguramiento privativa de la libertad. El economista Daniel Mejía lideró ese piloto del 
proyecto PRISMA, cuya preparación había comenzado a mediados de 2018, y advirtió que 
el proyecto requería “una evaluación rigurosa de su impacto” y que debía estar sometida al 
escrutinio público.16 
 
Hay más proyectos17 que aspiran a utilizar herramientas de IA, como el sistema PRETORIA 
(anteriormente denominado Prometea), que busca contribuir con la función de apoyar y 
optimizar el “el proceso de selección, análisis y estructuración de las sentencias de tutela 
para revisión de la Corte Constitucional”.18 En su lanzamiento, la Corte advirtió 
 
14 El comunicado de prensa de la de la Superintendencia de Sociedades está disponible acá: 
https://www.supersociedades.gov.co/Noticias/Paginas/2018/Supersociedades-el-primer-juzgado-de-
Am%C3%A9rica-Latina-en-contar-con-un-robot-asistente.aspx. 
15 Los usuarios pueden acceder Siarelis a través del siguiente enlace: 
http://www.supersociedades.gov.co/delegatura_mercantiles/Paginas/siarelis.aspx. 
16 Escobar, José David (2019). “Prisma: el programa de la Fiscalía para predecir la reincidencia criminal”. El 
Espectador, 21 de junio de 2019. Disponible en: https://www.elespectador.com/noticias/judicial/prisma-el-
programa-de-la-fiscalia-para-predecir-la-reincidencia-criminal/. 
17 Recomiendo el análisis de Flórez Rojas & Vargas Leal (2020) sobre cuatro herramientas de IA desarrolladas 
en el sector público colombiano: “Watson” en la Fiscalía General de la Nación, “Prometea” en la Corte 
Constitucional, “Océano” en la Contraloría General de la República y “Sofía” en la Dirección de Impuestos y 
Aduanas Nacionales. 
18 El comunicado de prensa de la Corte Constitucional de julio 27 de 2020, titulado “PRETORIA, un ejemplo 
de incorporación de tecnologías de punta en el sector justicia”, está disponible en: 
https://www.corteconstitucional.gov.co/noticia.php?PRETORIA,-un-ejemplo-de-incorporaci%C3%B3n-de-
tecnolog%C3%ADas-de-punta-en-el-sector-justicia-8970. 
 13 
expresamente que PRETORIA no reemplazará a los funcionarios judiciales sino que busca 
“disminuir los tiempos de análisis y clasificación de la información”.19 
 
De tal manera que en Colombia el uso de IA en la justicia está a la vuelta de la esquina, 
analizar y discutir en la arena pública los riesgos y retos éticos de su implementación es una 
tarea urgente. Permítanme en insistir en el contexto del reto, para no nos quedemos 
observando el árbol cuando tenemos en frente al bosque. En 2014, Stephen Hawking 
afirmó que “El desarrollo de la inteligencia artificial completa podría significar el fin de la 
raza humana” (Mitchell, 2019, p. 12). Esta visión contrasta con la visión utópica de las 
grandes empresas de tecnología de Silicon Valley (ej. proyecto Singularity de Google) que 
apuestan por lograr que los computadores sean “más inteligentes” que los humanos en el 
futuro cercano. El futuro seguramente se encuentra en un punto intermedio entre esta dos 
visiones extremas sobre las implicaciones de la IA para la humanidad. 
 
Este texto ha explicado que así como el uso de IA promete beneficios significativos para la 
sociedad, también puede potenciar o generar nuevos riesgos de grandes proporciones. Lo 
anterior ha sido reconocido por los propios jugadores globales del sector que actualmente 
están desarrollando este tipo de herramientas. Por ejemplo, en el 2018, Microsoft presentó 
su informe anual ante Comisión de Bolsa y Valores de los Estados Unidos (Securities 
Exchange Commission) en el cual reportó – entre otros - sobre los riesgos de la compañía. En 
este informe, Microsoft declaró el siguiente riesgo respecto de las IA: 
 
“Asuntos relativos al uso de inteligencia artificial en nuestras ofertas pueden 
resultar en daños a la reputación o responsabilidad. Estamos incorporando IA en 
muchas de nuestras ofertas y esperamos que este elemento de nuestro negocio 
crezca. Visualizamos un futuro en el que la inteligencia artificial que opera en 
nuestros dispositivos, aplicaciones y la nube ayude a nuestros clientes a ser más 
productivos en su trabajo y en su vida personal. Como ocurre con muchas 
 
19 Ibídem. 
 14 
innovaciones disruptivas, la IA presenta riesgos y desafíos que podrían afectar su 
adopción y, por lo tanto, nuestro negocio. Los algoritmos de IA pueden tener fallas. 
Los conjuntos de datos pueden ser insuficientes o contener información sesgada. 
Las prácticas de datos inapropiadas o controvertidas de Microsoft u otros podrían 
afectar la aceptación de las soluciones de IA. Estas deficiencias podrían socavar las 
decisiones, predicciones o análisis que producen las aplicaciones de IA, 
sometiéndonos a daños competitivos, responsabilidad legal y daños a la marca o la 
reputación. Algunos escenarios de IA presentan problemas éticos. Si habilitamos u 
ofrecemos soluciones de inteligencia artificial que son controvertidas debido a su 
impacto en los derechos humanos, la privacidad, el empleo u otros problemas 
sociales, es posible que experimentemos daños a la marca o la reputación.”20 
 
Cuando uno adquiere un equipo electrónico nuevo, es prudente echarle un vistazo al 
manual de instrucciones, no solo para usarlo adecuadamente sino para entender sus 
riesgos. Algo similar se requiere en relación con las herramientas de IA que se planean 
adoptar para los procesos judiciales y – en general – para los asuntos públicos. 
 
La importancia de la IA como activo estratégico al tiempo que la envergadura de los riesgos 
y las implicaciones éticas de su utilización han incentivado a los gobiernos a estudiar qué 
requerimientos legales y éticos deben fijarse para las IA. Este es el caso de la Comisión 
Europea que está preparando una propuesta de legislación comunitaria para establecer 
este tipo de requerimientos a partir de un enfoque de tecnologías de IA centradas en el los 
seres humanos (human-centric AI).21 Es decir, un enfoque que pone a las personas en su 
centro y que reconoce que “la IA no es un fin en sí misma, sino una herramienta que debe 
servir a las personas con el objetivo final de aumentar el bienestar humano” (European 
Commission, 2019a, p. 1). 
 
 
20 El informe presentado por Microsoft a la Comisión (formulario 10K) de 2018 está disponible acá: 
https://www.sec.gov/Archives/edgar/data/789019/000156459018019062/msft-10k_20180630.htm. 
21 Mayor información sobre la consulta de la Comisión Europea está disponible en: 
https://ec.europa.eu/info/law/better-regulation/have-your-say/initiatives/12527. 
 15 
Recientemente, el gobierno Colombiano – a través del Departamento Nacional de 
Planeación – abrió una consulta pública sobre un documento para discusión titulado 
“Marco éticopara la inteligencia artificial en Colombia” (Guío, 2020). En este documento de 
consulta, Guío (2020, p. 7) reconoce que el uso de sistemas de IA en la justicia puede generar 
“prácticas discriminatorias, injustas y con implicaciones sociales no deseables.” 
 
En la anterior sección de este texto se advirtió sobre riesgos puntuales que pueden afectar 
los procesos judiciales, incluyendo las potenciales discriminaciones mencionadas por Guío 
(2020). En esta sección desarrollo con más detalle tres ejemplos de dilemas éticos que 
deberían ser tenidos en cuenta por todos los actores interesados en el buen 
funcionamiento de los sistemas judiciales: i) sesgos que derivan en prácticas 
discriminatorias, ii) falta de transparencia y iii) limitaciones en la rendición de cuentas. 
 
3.1 Discriminación 
 
El primer gran reto ético es prevenir que las IA contribuyan a que los jueces tomen 
decisiones sesgadas de manera sistemática. Tanto las bases de datos como el algoritmo 
pueden presentar sesgos que perjudiquen a determinadas poblaciones o comunidades. A 
continuación explicaré diferentes razones por las cuales se pueden generar los sesgos. 
 
Qué información utiliza la herramienta de IA influye en los resultados. Si las bases de datos 
están sesgadas, no sorprende que los resultados o predicciones de la IA también lo estén. 
Como explican Kelleher & Tierney (2018, p. 191), “si los datos codifican una relación 
prejuiciosa en la sociedad, es probable que el algoritmo identifique este patrón y base sus 
resultados en el patrón.” En otras palabras, las IA pueden reproducir formas de 
discriminación que subyancen en la sociedad. Luego el reto ético no es simplemente evitar 
que los programadores introduzcan conscientemente sesgos en los algoritmos sino 
 16 
también evitar que las herramientas de IA reflejen los sesgos implícitos de sus diseñadores 
y de la sociedad.22 
 
Que el sistema de IA pueda acceder a mayores fuentes de información no necesariamente 
significa mejores resultados. “Incluir muchos atributos en un conjunto de datos aumenta la 
probabilidad de que un algoritmo encuentre patrones irrelevantes o espurios en los 
datos…” (Kelleher & Tierney, 2018, p. 41). Por lo tanto, es necesario que haya absoluta 
transparencia sobre el origen y calidad de los datos de las bases de datos y el 
funcionamiento del algoritmo. 
 
En los últimos años ha emergido una literatura que ha advertido sobre los riesgos arriba 
mencionados a partir de la experiencia internacional en el uso algoritmos e inteligencia 
artificial en sistemas judiciales. Por ejemplo, Kehl, Guo & Kessler (2017) estudiaron el uso 
algoritmos usados como herramientas de análisis de riesgos por los jueces en Estados 
Unidos como insumo para proferir sentencias sobre asuntos criminales. Los autores 
discuten estudios que identificaron que algunas de estas herramientas no eran fiables y que 
tendían a discriminar racialmente (a pesar de que el modelo no incluía oficialmente la 
variable raza). 
 
Además, la interconexión de los sistemas de IA para evaluar el riesgo de reincidencia 
criminal con otras herramientas de IA que buscan predecir dónde y cuándo pueden ocurrir 
determinados crímenes puede reforzar los sesgos del primer tipo de sistema. 
Puntualmente, en Estados Unidos, los estudios de ProPublica han encontrado que las 
herramientas de IA implementadas tienden a sobrestimar la probabilidad de que un Afro-
Americano cometiera un crimen en el futuro mientras que subestiman que ello ocurra 
respecto de una persona blanca (Kehl et al., 2017; Kelleher & Tierney, 2018; Webb, 2019). 
Como explican Kelleher & Tierney (2018, p. 195): 
 
 
22 Según la ley de Conway, propuesta por el programador de sistemas informáticos Melvin Conway en 1968, 
los sistemas tienden a reflejar valores implícitos e implícitos de las personas que los diseñan (Webb, 2019). 
 17 
“La naturaleza anticipatoria de la vigilancia policial predictiva puede implicar que los 
invidividuos sean tratados de manera diferente, no por lo que han hecho sino por 
sobre qué podrían llegar a hacer según las inferencias basadas en datos. Como 
resultado, este tipo de sistemas pueden reforzar prácticas discriminatorias 
mediante la replicación de patrones en datos históricos y pueden crear profecías que 
se auto-cumplen.” 
 
3.2 Falta de transparencia y limitada rendición de cuentas 
 
El segundo riesgos ético para la implementación de herramientas de IA en procesos 
judiciales es la falta de transparencia. Como se explicó anteriormente, los algoritmos con 
inteligencia artificial operan como una caja negra: sabemos qué salió de ellos pero los 
procesos internos de toma de decisiones y optimización son opacos. Entre más complejos y 
autónomos son estos instrumentos más pueden crecer las asimetrías de información. 
 
Estas brechas no solo se refieren a la brecha de entendimiento del desarrollador respecto 
de su creación (conoce la configuración inicial y los resultados pero no los procesos que los 
producen), sino también las brechas de conocimiento de los usuarios y de los terceros que 
pueden verse negativamente afectadas por los sistemas de IA. En palabras del grupo de 
expertos de la Comisión Europea: “Cuanto más complejas se vuelven las tecnologías 
digitales emergentes, menos serán comprendidos los procesos que pueden causar daños a 
quienes se benefician de su operación o de quienes se ven expuestas a éstas” (European 
Commission, 2019b, p. 33). 
 
La complejidad, opacidad y autonomía en el funcionamiento de los algoritmos dotados de 
aprendizaje automatizado puede chocar con el derecho al debido proceso que exige como 
mínimo que las decisiones del juzgador estén debidamente motivadas. Las brechas de 
transparencia de las herramientas de IA pueden reducir significativamente la capacidad de 
las partes del proceso judicial para ejercer efectivamente su derecho a la defensa y a la 
contradicción de las pruebas. 
 18 
 
En Estados Unidos, las Cortes han cuestionado expresamente sobre cómo funcionan las 
herramientas y lamentando que los abogados de las partes de los procesos penales 
tampoco entendían cómo funcionaban (Kehl et al., 2017). Tres preocupaciones ligadas a la 
opacidad han sido identificados por los propios tribunales: i) respecto de sus insumos que 
son usados por el algoritmo (es decir los conjuntos de datos que utilizan para generar 
resultados), ii) sobre cómo el algoritmo procesa y pondera los datos, y iii) si algunas 
variables introducidas operan como proxies que de factores basados a la raza o a la 
condición socioeconómica (Kehl et al., 2017, p. 28). 
 
Finalmente, a partir del uso de herramientas de IA en procesos judiciales puede emerger 
otro dilema ético ligado a las características propias de estos sistemas: el riesgo de que el 
uso de las herramientas limite la rendición de cuentas.23 Si la herramienta de IA funciona 
como una caja negra y esta falla la hora de ofrecer información que el juez valore para 
decidir un caso, no solo será difícil trazar el error sino también el responsable del fallo. Al 
respecto, Kehl et al. (2017, p. 28) concluyeron: 
 
“La falta de información sobre cómo se ponderan los datos también hace que sea más 
difícil plantear desafíos legales al uso de estas herramientas, ya que los acusados de 
crímenes no pueden saber con certeza si factores sospechosos como el género o 
proxies raciales pueden haber influido en la puntuación de la evaluación de riesgo o 
la decisión final del juez”. 
 
Todos los anteriores retos éticos planteados por las herramientas de IA inciden en la 
capacidad del sistema judicial de respetar las garantías procesales, valores esenciales de la 
democracia, el Estado de Derecho y la justicia misma (AI HLEG, 2019). 
 
 
23 Flórez Rojas & Vargas Leal (2020) se refieren de manera análoga a este reto como el “riesgo de 
automatización sin auditoría”. 
 19 
4. Conclusiones 
 
La capacidadde almacenamiento y procesamiento de nuestros computadores crece 
exponencialmente con el paso del tiempo a medida que empresas y gobiernos siguen 
apostando por su desarrollo. En ese contexto, las tecnologías con IA han progresado 
significativamente en los últimos años, tanto en el tipo de tareas y resultados que ofrecen 
como en la expansión de su presencia en la vida de billones de personas que directa o 
indirectamente se benefician o son afectadas negativamente afectadas por la IA. 
 
Kellher & Tierney (2018) argumentan que el impulso comercial de las tecnologías de IA y la 
ciencia de los datos -en general-, tiende a generar la idea de que todo problema puede ser 
resuelto si se tiene la tecnología y la información correcta.24 A pesar de que cada día tanto 
la ciencia de los datos como el desarrollo de la IA - en particular - ofrecen nuevas 
alternativas para abordar problemas de toda naturaleza, sería muy contraproducente 
asumir que dichas tecnologías tienen la resolver cualquier problema. En ese mismo sentido, 
Flórez Rojas & Vargas Leal (2020, 23) argumentan que debe evitarse el riesgo de la 
“tecnofascinación” respecto de este tipo de herramientas: “el uso de la tecnología de IA para 
el sector público en Colombia debe ser cauteloso en cuanto a la definición de una verdadera 
necesidad o problema en el que se podrá intervenir a través de una solución tecnológica”. 
 
Los esfuerzos para incorporar las tecnologías de IA en los procesos judiciales son 
bienvenidos, pero no bajo la premisa de que estas herramientas son infalibles, objetivas, o 
que son capaces de solucionar todo. Quienes estamos interesados en la mejora del sistema 
de justicia en nuestros países no podemos caer en la tentación del niño que le dan un 
martillo y encuentra que todo debe ser martillado. Este fenómeno, que el filósofo Abraham 
Kaplan denominó la “ley del instrumento” (Kaplan, 1998, p. 28), puede conducirnos a la 
 
24 Un proceso similar ocurre cuando un abogado no se preocupa por aprender y entender disciplinas que van 
más allá del derecho y por ello tiende a proponer exclusivamente soluciones legales a problemas políticos 
sociales, económicos o culturales etc. 
 20 
dilapidación de recursos de la administración de justicia y a producir grandes perjuicios en 
contra de las partes de los procesos. 
 
En este texto se identificaron diferentes riesgos derivados del uso de las tecnologías de IA 
que generan retos éticos puntuales para su implementación en el marco de procesos 
judiciales y – en general – asuntos públicos. La adopción de herramientas con IA en 
Colombia podrá generar efectos adversos si los tomadores decisiones no dimensionan las 
limitaciones de las herramientas de IA ni las implicaciones éticas de su implementación. 
 
Por tal motivo, es recomendable que la adopción de estas herramientas esté presidida de al 
menos cuatro acciones: i) estudios de impacto previos que determinen las potenciales 
afectaciones relacionadas con aspectos centrales del proceso judicial – como el derecho 
fundamental al debido proceso – y otros aspectos que no son centrales al proceso pero que 
también incumben a los derechos fundamentales – como la protección de la privacidad; ii) 
que el proceso de selección de quiénes diseñarán la herramienta, el proceso de diseño y el 
proceso de implementación cuenten con la participación efectiva de la sociedad civil, para 
que haya control social sobre potenciales sesgos que introduzca en los procesos judiciales; 
iii) el desarrollo de directrices éticas25 para la implementación de estas tecnologías en la 
administración de justicia que esté precedido por un proceso de consulta y discusión 
pública que sea amplia e inclusiva; y, iv) que haya monitoreo y evaluación periódica del 
funcionamiento de la herramienta y de sus resultados. 
 
Actualmente, en Colombia diferentes organizaciones gubernamentales y la rama judicial 
trabajan en implementar tecnologías de IA para incorporar en sus procesos. En el futuro, 
será pertinente que la academia y la sociedad civil realicen investigaciones independientes 
 
25 Por ejemplo, la Comisión Europea conformó en junio de 2018 un “Grupo de expertos de alto nivel sobre 
inteligencia artificial” que publicó unas “Directrices éticas para una IA fiable” precedido de un proceso de 
consulta pública. Las Directrices proponen siete principios básicos para el desarrollo, despliegue y utilización 
de los sistemas de IA: “1) acción y supervisión humanas, 2) solidez técnica y seguridad, 3) gestión de la 
privacidad y de los datos, 4) transparencia, 5) diversidad, no discriminación y equidad, 6) bienestar ambiental 
y social, y 7) rendición de cuentas” (AI HLEG, 2019). Las guías están disponibles en: 
https://ec.europa.eu/newsroom/dae/document.cfm?doc_id=60423. 
 21 
que evalúen la planeación de estos proyectos, los procesos de diseño y ejecución de los 
instrumentos y el balance de los resultados obtenidos. 
 
Referencias 
 
AI HLEG. (2019). Directrices éticas para una IA fiable (p. 55). Grupo de expertos de alto nivel 
sobre inteligencia artificial (AI HLEG). https://ec.europa.eu/digital-single-
market/en/high-level-expert-group-artificial-intelligence 
Ertel, W. (2017). Introduction to Artificial Intelligence (2nd ed. 2017.). Springer International 
Publishing : Imprint: Springer. 
European Commission. (2018). Communication—Artificial Intelligence for Europe (p. 20). 
European Commission. https://ec.europa.eu/digital-single-
market/en/news/communication-artificial-intelligence-europe 
European Commission. (2019a). Communication—Building Trust in Human-Centric Artificial 
Intelligence (p. 20). European Commission. https://ec.europa.eu/digital-single-
market/en/news/communication-building-trust-human-centric-artificial-
intelligence 
European Commission. (2019b). Liability for artificial intelligence and other emerging 
technologies (p. 70). Directorate-General for Justice and Consumers (European 
Commission). 
https://ec.europa.eu/transparency/regexpert/index.cfm?do=groupDetail.groupMe
etingDoc&docid=36608 
 22 
Flórez Rojas, M. L., & Vargas Leal, J. (2020). El impacto de herramientas de inteligencia 
artificial: Un análisis en el sector público en Colombia. En C. Aguerre (Ed.), 
Inteligencia Artificial en América Latina y el Caribe. Ética, Gobernanza y Políticas. CETyS 
Universidad de San Andrés. https://guia.ai/wp-content/uploads/2020/05/GECTI-
El-impacto-de-herramientas-de-inteligencia-artificial.pdf 
Guío, A. (2020). Marco Ético para la Inteligencia Artificial en Colombia. 
https://dapre.presidencia.gov.co/AtencionCiudadana/convocatorias-
consultas/consulta-200813-marco-ia-colombia 
Kaplan, A. (1998). The conduct of inquiry: Methodology for behavioral science (New). 
Transaction. 
Kehl, D., Guo, P., & Kessler, S. (2017). Algorithms in the Criminal Justice System: Assessing the 
Use of Risk Assessments in Sentencing. Berkman Klein Center for Internet & Society, 
Harvard Law School. 
https://dash.harvard.edu/bitstream/handle/1/33746041/2017-
07_responsivecommunities_2.pdf 
Kelleher, J. D., & Tierney, B. (2018). Data science. The MIT Press. 
Mitchell, M. (2019). Artificial intelligence: A guide for thinking humans. Pelican. 
Ramachandran, V. (2017, mayo 3). Exploring the use of algorithms in the criminal justice 
system. Research & Ideas. 
https://engineering.stanford.edu/magazine/article/exploring-use-algorithms-
criminal-justice-system 
Webb, A. (2019). The big nine: How the tech titans and their thinking machines could warp 
humanity. Public Affairs. 
 23 
 
Reportes de prensa y blogs 
 
Adams, R. y McIntyre, N. (2020). “England A-level downgrades hit pupils from 
disadvantaged areas hardest”. The Guardian, 13 de agosto de 2020. Disponible en: 
https://www.theguardian.com/education/2020/aug/13/england-a-level-downgrades-hit-
pupils-from-disadvantaged-areas-hardest. 
 
Black, B. .(2020). “Exploring the potential use of AI inmarking”. Ofqual Blog. Disponible en: 
https://ofqual.blog.gov.uk/2020/01/09/exploring-the-potential-use-of-ai-in-marking/. 
 
Escobar, José David (2019). “Prisma: el programa de la Fiscalía para predecir la reincidencia 
criminal”. El Espectador, 21 de junio de 2019. Disponible en: 
https://www.elespectador.com/noticias/judicial/prisma-el-programa-de-la-fiscalia-para-
predecir-la-reincidencia-criminal/. 
 
Hern, A. (2020). “Do the maths: why England's A-level grading system is unfair”. The 
Guardian, 14 de agosto de 2020. Disponible en: 
https://www.theguardian.com/education/2020/aug/14/do-the-maths-why-englands-a-
level-grading-system-is-unfair. 
 
Jadhav, C. (2020). “Fairness in awarding”. Ofqual Blog. Disponible en: 
https://ofqual.blog.gov.uk/2020/08/06/fairness-in-awarding/. Ferguson, D. y Savage, M. 
(2020). “Controversial exams algorithm to set 97% of GCSE results”. The Guardian, 15 de 
agosto de 2020. Disponible en: 
https://www.theguardian.com/education/2020/aug/15/controversial-exams-algorithm-
to-set-97-of-gcse-results.