InteligenciaArtificialyContra_tacio_nPu_blica

Vista previa del material en texto

See discussions, stats, and author profiles for this publication at: https://www.researchgate.net/publication/342865868
Inteligencia Artificial y Contratación Pública
Chapter · February 2020
CITATIONS
4
READS
3,260
1 author:
Javier Miranzo Díaz
University of Castilla-La Mancha
32 PUBLICATIONS   43 CITATIONS   
SEE PROFILE
All content following this page was uploaded by Javier Miranzo Díaz on 11 July 2020.
The user has requested enhancement of the downloaded file.
https://www.researchgate.net/publication/342865868_Inteligencia_Artificial_y_Contratacion_Publica?enrichId=rgreq-70dc3f1260fa190a8d95d77048548521-XXX&enrichSource=Y292ZXJQYWdlOzM0Mjg2NTg2ODtBUzo5MTIwNDIyMDI1MTM0MTJAMTU5NDQ1OTIxNDY4OQ%3D%3D&el=1_x_2&_esc=publicationCoverPdf
https://www.researchgate.net/publication/342865868_Inteligencia_Artificial_y_Contratacion_Publica?enrichId=rgreq-70dc3f1260fa190a8d95d77048548521-XXX&enrichSource=Y292ZXJQYWdlOzM0Mjg2NTg2ODtBUzo5MTIwNDIyMDI1MTM0MTJAMTU5NDQ1OTIxNDY4OQ%3D%3D&el=1_x_3&_esc=publicationCoverPdf
https://www.researchgate.net/?enrichId=rgreq-70dc3f1260fa190a8d95d77048548521-XXX&enrichSource=Y292ZXJQYWdlOzM0Mjg2NTg2ODtBUzo5MTIwNDIyMDI1MTM0MTJAMTU5NDQ1OTIxNDY4OQ%3D%3D&el=1_x_1&_esc=publicationCoverPdf
https://www.researchgate.net/profile/Javier-Miranzo-Diaz?enrichId=rgreq-70dc3f1260fa190a8d95d77048548521-XXX&enrichSource=Y292ZXJQYWdlOzM0Mjg2NTg2ODtBUzo5MTIwNDIyMDI1MTM0MTJAMTU5NDQ1OTIxNDY4OQ%3D%3D&el=1_x_4&_esc=publicationCoverPdf
https://www.researchgate.net/profile/Javier-Miranzo-Diaz?enrichId=rgreq-70dc3f1260fa190a8d95d77048548521-XXX&enrichSource=Y292ZXJQYWdlOzM0Mjg2NTg2ODtBUzo5MTIwNDIyMDI1MTM0MTJAMTU5NDQ1OTIxNDY4OQ%3D%3D&el=1_x_5&_esc=publicationCoverPdf
https://www.researchgate.net/institution/Universidad-de-Castilla-La-Mancha?enrichId=rgreq-70dc3f1260fa190a8d95d77048548521-XXX&enrichSource=Y292ZXJQYWdlOzM0Mjg2NTg2ODtBUzo5MTIwNDIyMDI1MTM0MTJAMTU5NDQ1OTIxNDY4OQ%3D%3D&el=1_x_6&_esc=publicationCoverPdf
https://www.researchgate.net/profile/Javier-Miranzo-Diaz?enrichId=rgreq-70dc3f1260fa190a8d95d77048548521-XXX&enrichSource=Y292ZXJQYWdlOzM0Mjg2NTg2ODtBUzo5MTIwNDIyMDI1MTM0MTJAMTU5NDQ1OTIxNDY4OQ%3D%3D&el=1_x_7&_esc=publicationCoverPdf
https://www.researchgate.net/profile/Javier-Miranzo-Diaz?enrichId=rgreq-70dc3f1260fa190a8d95d77048548521-XXX&enrichSource=Y292ZXJQYWdlOzM0Mjg2NTg2ODtBUzo5MTIwNDIyMDI1MTM0MTJAMTU5NDQ1OTIxNDY4OQ%3D%3D&el=1_x_10&_esc=publicationCoverPdf
[1] 
 
 
 
 
 
Inteligencia Artificial Y Contratación Pública1 
 
Javier Miranzo Díaz 
Doctor en Derecho 
Universidad de Castilla-La Mancha 
 
SUMARIO.- 1.INTRODUCCIÓN.- 2. LA INTEGRIDAD Y LA BUENA 
ADMINISTRACIÓN COMO ÁMBITO APROPIADO PARA LA IA.- 3. 
MODELOS DE APLICACIÓN E IMPLICACIONES JURÍDICAS.- 
3.1.Aprendizaje automático vs criterios predefinidos.- 3.2.La relevancia del 
algoritmo en la decisión final: de la fase de actuaciones previas al acto 
administrativo.- 3.3.Fuentes de datos, permisos de acceso y gestión de la 
información.- 4.LA CONTRATACIÓN PÚBLICA COMO HERRAMIENTA 
DE APROVISIONAMIENTO DE IA.- 5.CONCLUSIONES 
 
 
1.- INTRODUCCIÓN2 
 
La inteligencia artificial (en adelante IA) remonta sus orígenes a las técnicas 
computacionales desarrolladas por Alan Turing y otros grupos de investigadores en la 
década de los cincuenta3. Sin embargo, su desarrollo ha sido irregular hasta años 
recientes en los que esta tecnología ha ejercitado una atronadora entrada en la vida 
diaria de los ciudadanos, en el funcionamiento empresarial y en la Administración 
 
1 El autor de estas páginas desea agradecer a la profesora Dolors Canals i Ametller los valiosos 
comentarios realizados a la versión provisional de este trabajo en el marco del Congreso INNOVAP, 
celebrado en Toledo los días 14 y 15 de noviembre de 2019. 
2 A lo largo del trabajo se utilizarán las siguientes siglas: Inteligencia Artificial (IA), Unión Europea 
(UE), Tribunal de Justicia de la Unión Europea (TJUE), Tribunal Supremo (TS), Reglamento General de 
Protección de Datos (RGPD), Fondo Europeo de Desarrollo Regional (FEDER), Dirección General de 
Tráfico (DGT), Ley de Transparencia y Buen Gobierno (LTBG), Ley de Contratos del Sector Público 
(LCSP), Transparencia Internacional (TI), International Organization for Standardization (ISO), 
Objetivos para el Desarrollo Sostenible (ODS), Parallel Distributed Processing (PDP), Artificial Neural 
Networks (ANNs) 
3 BODEN, M.A. Artificial Intelligence: Avery short introduction. Oxford University Press, 2018, p. 1 
[2] 
 
Pública4. El derecho, que anteriormente había permanecido ajeno al fenómeno, se ha 
visto obligado a voltear la mirada hacia una realidad que, por sus particulareidades, 
ofrece tantas oportunidades como riesgos. 
 
Esta tecnología está cambiando la forma en que opera nuestra sociedad, en la forma de 
tomar decisiones judiciales, de realizar diagnósticos médicos o conducir automóviles, 
etc. Y las instituciones públicas y políticas, así como la doctrina legal están comenzando 
a ser conscientes de ello. Tanto es así que en fechas recientes se han publicado, tanto a 
nivel europeo como nacional, diferentes documentos que tratan de elaborar una 
estrategia de implantación y regulación de la IA en la Administración Pública, con el 
objetivo de crear un entorno que estimule la inversión en I+D+i en esta materia. Así, la 
Comunicación de la Comisión Europea sobre Inteligencia Artificial para Europa (2018) 
hace hincapié en la necesidad de adaptar el sector público a esta nueva tecnología y 
realidad en la gestión diaria del interés público, al tiempo que impone a las autoridades 
públicas la obligación de velar por que los marcos normativos para el desarrollo y el uso 
de las tecnologías de la IA estén en consonancia con los valores y los derechos 
fundamentales5. Y del mismo modo, la Estrategia Española de I+D+I en Inteligencia 
Artificial (2019) recoge expresamente entre sus prioridades la aplicación de este tipo de 
tecnologías al sector administrativo: 
 
“España, a través de su sistema de I+D+I, está preparada para contribuir en la 
aplicación de la IA en áreas estratégicas alineadas con los ODS como son: la salud; la 
administración pública; la educación; las ciudades y territorios inteligentes y 
sostenibles; los recursos naturales, la energía y el medio ambiente; la industria 
conectada 4.0; el turismo e industrias creativas y culturales y basadas en la 
experiencia; y la seguridad” 
 
 
4 Para mayores detalles sobre la evolución de la IA, véase McMAHON, C. C. Machines Who Think: A 
Personal Inquiry into the History and Prospects of Artificial Intelligence. Nueva York: A K Peters/CRC 
Press, 2004. 
5 Artificial Intelligence for Europe, abril de 2018, COM(2018) 237 final; véase a su vez, el documento 
más reciente EU guidelines on ethics in artificial intelligence: Context and implementation, de septiembre 
de 2019. Sobre el papel de la ética en el desarrollo de la política de IA, véase COTINO HUESO, L. “Ética 
en el diseño para el desarrollo de una inteligencia artificial robótica y big data confiables y su utilidad 
desde el Derecho”. Revista Catalana de Dret Public, n 58, 2019, pp. 30-48. 
[3] 
 
La contratación pública, por su parte, no ha sido ajena a este proceso divulgativo que ha 
tenido la Inteligencia Artificial, y los estudios y opiniones sobre su aplicabilidad en este 
sector son cada vez más comunes. Y sin embargo, las aplicaciones de este tipo de 
tecnologías en la práctica administrativa de la compra pública son, por el momento, 
escasas, y en todo caso, dispersas y veladas6, lejos aún de lo que podría entenderse 
como una verdadera estrategia de implantación y uso de la IA. En todo caso, la parcela 
en la que quizá más incidencia haya tenido la IA hasta la fecha en materia de contratos 
públicos sea el control del procedimiento y la detección de irregularidades relacionadas 
con la corrupción, cuyas características particulares convierten en un fenómeno propicio 
para erigirse como la génesis de la implantaciónde la IA en los procedimientos de 
contratación pública, que puede actuar como marco ejemplificador de cara futuras 
aplicaciones7. 
 
2.- LA INTEGRIDAD Y LA BUENA ADMINISTRACIÓN COMO ÁMBITO 
APROPIADO PARA LA IA 
 
El fenómeno de la corrupción es tan antiguo como la propia humanidad, y sus raíces, 
causas, consecuencias y patrones son tan complejos que a lo largo de la Historia han 
permanecido, en uno u otro grado, inalcanzables para el Derecho8. La corrupción 
permea de un sector a otro y presenta lazos complejos con diferentes tipos de 
irregularidades y actividades delictivas que por sí mismas no pueden ser consideradas 
constitutivas de corrupción. Estas características hacen que la corrupción no pueda ser 
abordada ya (o al menos no exclusivamente) desde una aproximación negativa al 
problema, a través de sanciones y una regulación que trate de impedir la corrupción. 
Como algunos importantes juristas ya se han encargado de advertir, no se puede luchar 
contra la corrupción simplemente luchando contra la corrupción9. Al contrario, el 
 
6 Este es, como señala COTINO HUESO, uno de los problemas que nos encontramos en el estudio de la 
IA en la Administración pública, la opacidad y dispersión en su utilización, que evidencia una falta clara 
de estrategia y transparencia. “Ética en el diseño…” op. cit. 
7 COTINO HUESO, L. “Ética en el diseño…” op. cit. 
8 Para un estudio más detallado de las complejidades del fenómeno, véase: MIRANZO DÍAZ, J. “Causas 
y efectos de la corrupción en las sociedades democráticas” Revista de la Escuela Jacobea de Posgrado, 
n.º 14, 2018, pp. 1-26. https://www.jacobea.edu.mx/revista/numero14.php 
9 KAUFMANN, D. “Back to the Basics – 10 Myths About Governance and Corruption” IMF Journal 
‘Finance and Develop-ment’, vol. 3, n.º 42, 2005; véase a su vez TREPTE, P. “Transparency and 
Accountability as Tools for Promoting Integrity and Preventing Corruption in Procurement: Possibilities 
and Limitations.” Document prepared for the OECD Public Governance and Territorial Development 
Directorate, Public Governance Committee, Expert Group Meeting on Integrity in Public Procurement. 
[4] 
 
fenómeno debe enfrentarse basándose en conceptos que permitan una acción positiva, 
como el de integridad o buena administración, los cuales han de desempeñar un papel 
central en la prevención y control de la actividad contratante del sector público, 
contribuyendo a la creación de un entorno éticamente saludable que dificulte la 
aparición de prácticas corruptas10. 
 
A menudo las actuaciones corruptas se ocultan detrás de contratos innecesarios11, 
procedimientos inadecuados12, la creación de necesidades ficticias o elementos sujetos a 
discrecionalidad como los terrenos en los que se desarrolla una obra o las características 
del bien o del servicio demandado –especificaciones técnicas o solvencia técnica13– que 
pueden limitar en exceso la concurrencia y esconder contratos dirigidos ad hoc a 
determinadas empresas o grupos de empresas14. En gran parte de las irregularidades que 
dan lugar a casos de corrupción, el elemento determinante para apreciar su falta de 
integridad se encuentra en el adjetivo que acompaña a la práctica, y no en la práctica en 
sí. De esta forma, determinadas prácticas que violentan el principio de integridad y 
buena administración cuando son constantes, excesivas, injustificadas, repetitivas, etc., 
pueden ser perfectamente justificadas si son proporcionales, necesarias, motivadas, etc. 
 
OECD Document No: Unclassifed - GOV/PGC/ETH, 2005; en el mismo sentido, véanse, a modo de 
ejemplo, los trabajos de GIMENO FELIÚ, J.M. “El necesario big-bang contra la corrupción en materia de 
contratación pública y su modelo de control”. Revista Internacional Transparencia e Integridad, n.º 2, 
2016, p. 6; PONCE SOLÉ, J. La prevención de riesgos de mala administración y corrupción, la 
inteligencia artificial y el Derecho a una buena administración”. Revista Internacional Transparencia e 
Integridad, n 6, 2018, p. 7. 
10 GIMENO FELIÚ, J.M “Corrupción y seguridad jurídica. La necesidad de un marco normativo de las 
decisiones públicas anclado en los principios de Integridad y de Transparencia.” Revista Internacional De 
Transparencia E Integridad, nº 9, 2019; en el mismo sentido, véase el trabajo MIRANZO DÍAZ, J. “El 
necesario cambio de paradigma en la aproximación a la corrupción en la contratación pública europea: 
propuestas para su sistematización”, Revista General de Derecho Administrativo, 51, 2019. 
11 FAZEKAS, M., JANOS TOTH, I. y KING L.P. “Corruption manual for beginners: “Corruption 
techniques” in public procurement with examples from Hungary”. Corruption Research Center Budapest 
Working Paper series: CRCB-WP/2013:01, 2013, p. 16. 
12 GONZÁLEZ SANFIEL, A.M. “Integridad en la contratación pública: patologías al uso”. En: GIMENO 
FELIÚ, J.M. et al. Observatorio de los contratos públicos. Las nuevas directivas de contratación pública. 
Cizur Menor: Aranzadi, 2015, pp. 253-263. 
13 MATECHAK, J.P. “Fighting corruption in public procurement”. Center for International Private 
Enterprise, 2005. p. 2; MEDINA ARNÁIZ, T. “La necesidad de reformar la legislación sobre 
contratación pública para luchar contra la corrupción: las obligaciones que nos llegan desde Europa”. 
Revista Vasca de Administración Pública, 104, 2016, pp. 77-112; FAZEKAS, M., JANOS TOTH, I. y 
KING L.P. “Corruption manual for…” op. cit. en p. 14; GALLEGO CÓRCOLES, I. “La prevención de la 
corrupción en la contratación pública”. En: NIETO MARTÍN, A. y MAROTO CALATAYUD, M. Public 
Compliance: Prevención de la corrupción en administraciones públicas y partidos políticos. Ediciones de 
la Universidad Castilla-La Mancha, 2014, pp. 61-92. 
14 JAREÑO LEAL, A. “La justificación del contrato público y el control del expediente de contratación 
como formas de prevenir los delitos de corrupción”. Revista Internacional Transparencia e Integridad, 
n.º 9, 2019, p. 3. 
[5] 
 
En muchas ocasiones el elemento concluyente en la corrupción tiene carácter adjetival y 
no nominal, y su categorización como tal dependerá de una ponderación valorativa que 
necesita conocer y combinar una multiplicidad de elementos, relaciones, y tendencias. 
 
Así, un procedimiento de contratación idealmente íntegro debería, al menos cumplir con 
las siguientes condiciones: 
 
a) En la fase de preparación y diseño del contrato: (1) que en el diseño del contrato 
no se creen necesidades innecesarias o manipuladas; no se seleccione el 
procedimiento con el único objetivo de esquivar las normas de publicidad o 
concurrencia; (2) que no se modifique artificialmente el valor estimado del 
contrato para evitar determinadas obligaciones de control o publicidad15; (3) que 
se de un correcto uso de las consultas preliminares de mercado, de la 
participación de expertos externos en la elaboración del contrato y de la 
información proporcionada a los licitadores, de manera que evite la aparición de 
conflictos de intereses y ventajas indebidas16; (4) evitar y controlar la inclusión 
de criterios de solvencia técnica y especificaciones técnicas poco claros o 
excesivos que sean discriminatorios y generen distorsiones en el mercado o que 
estén diseñados ad hoc para uno o varios operadores económicos17; (5) la 
división en lotes debe realizarse teniendo en cuenta las condiciones del mercado 
concreto para evitar una segmentación artificial del mismo o una reducción 
artificial de la competencia que pudiera facilitar prácticas colusorias o 
corruptas18; (6) evitar, en definitiva, cualquier característica del contrato que 
limitase voluntariamente la competencia o el grado de transparencia de proceso. 
 
b) En la fase de adjudicación del contrato: (1) que la publicidad sea suficiente y los 
plazos de presentación de las ofertas no se acorten indebidamente19; (2) que no 
 
15 FAZEKAS, M., JANOS TOTH, I. y KING L.P. “Corruption manual for…” op. cit. en p. 16. 
16 En DEGUERRERO MANSO, M.C. “Las consultas preliminares al mercado: una herramienta para 
mejorar la eficiencia en la contratación pública”. En: GIMENO FELIÚ, J.M. (dir.) Estudio Sistemático de 
la Ley de Contratos del Sector Público. Cizur Menor: Aranzadi, 2018, pp. 1.047-1.072 en pp. 1.065 y ss. 
17 Sobre los riesgos que este tipo de prácticas a través de criterios de las especificaciones técnicas pueden 
esconder, véase: TJUE asunto C-288/08, Nordiska Dental, de 19 de noviembre de 2009; TJUE asunto C-
613/14, James Elliot Construction, de 26 de octubre de 2016. 
18 TRYBUS, M. “Favouring Small and Medium Sized Enterprises with Directive 2014/24/EU?”. EPPPL, 
n 3, 2017. p. 224-238. 
19 FAZEKAS, M., JANOS TOTH, I. y KING L.P. “Corruption manual for…” op. cit. en pp. 38 y ss. 
[6] 
 
existan porcentajes desproporcionados de los criterios de adjudicación que 
pudieran esconder criterios dirigidos; (3) en el mismo sentido, una correcta 
elaboración y publicación de los métodos de evaluación de los criterios, 
evitando especialmente metodologías de evaluación relativas que pudieran 
desvirtuar el porcentaje inicial publicado20; (4) que los métodos de valoración 
sean sencillos y comprensibles por cualquier potencial licitador; (5) que se 
eviten licitaciones basadas en un único criterio de adjudicación, pues ofrece 
mayores facilidades de manipulación a través de criterios diseñados ad hoc 
(especialmente cuando dicho criterio único es el precio)21. 
 
c) En la fase de ejecución del contrato: (1) que se asegure que no existen 
ineficiencias provocadas por una mala calidad de los materiales utilizados, una 
deficiente prestación del servicio, o un retraso temporal en la entrega o 
incumplimiento de plazos de ejecución; (2) que las eventuales modificaciones 
del contrato cumplan con las prerrogativas legales y respondan a situaciones de 
idoneidad y/o necesidad. (3) controlar adecuadamente la subcontratación, ya que 
puede dar lugar a conflictos de interés o actos colusorios que no seencontraban 
presentes durante el proceso de contratación, que se escondieron o se pasaron 
por alto durante la fase de adjudicación. 
 
En esta lista no exhaustiva de aspectos indeterminados que deben cumplirse para que se 
respete el principio de integridad en la contratación pública se pone de manifiesto cómo 
el número y tipología de las actividades que pueden dañar la integridad en un proceso 
de licitación pública son prácticamente inabarcables, y en todo caso, su integridad 
depende de aspectos que exceden lo meramente legal para entrar en conceptos más 
 
20 Las entidades adjudicadoras están obligadas a publicar y mantener estables los porcentajes asignados a 
cada criterio, pero ésta obligación no se extiende a las metodologías de evaluación (véase el considerando 
90 y el artículo 67 de la Directiva 2014/24/UE), y sin embargo, como han puesto de manifiesto TELGEN 
y MANUNZA, la metodología puede realmente dejar sin relevancia el porcentaje atribuido a cada uno de 
los criterios. TELGEN, J. y MANUNZA, E.R. “Non-intentional price preferences” Working paper 
presented at 12th June 2017 Global Revolution VII, University of Nottingham, 2017.; TELGEN, J. y 
TIMMER, J. “Conditions for Rank Reversal in Supplier Selection” University of Twente working paper, 
2016. Disponible en: https://www.researchgate.net/publication/307575475; TELGEN, J. y 
SCHOTANUS, F. “The effects of full transparency in supplier selection on subjectivity and bid quality” 
University of Twente working paper, 2010. Disponible en: 
https://www.researchgate.net/publication/254860242 
21 FAZEKAS, M., JANOS TOTH, I. y KING L.P. “Corruption manual for…” op. cit. en pp. 38 y ss.; 
SADDY, A. “Front-line public…” op. cit.en p. 345. 
[7] 
 
subjetivos como la corrección en las actuaciones y en la toma de decisiones22. Podemos 
categorizar una serie de irregularidades, riesgos de corrupción e indicadores que han 
sido identificados en los diferentes estudios23, pero la naturaleza escurridiza y subjetiva 
de las actividades corruptas implica, en la práctica, que las situaciones que pueden dar 
lugar a casos de corrupción no pueden regularse de manera exhaustiva – especialmente 
sin provocar una asfixia del sistema de contratación pública o eliminar el poder de 
discrecionalidad de los órganos contratantes24. 
 
En definitiva, durante todo este proceso de estudio en la materia por parte de las más 
importantes organizaciones y expertos en la lucha contra la corrupción, se han 
elaborado un gran número de indicadores, que sin embargo varían en su grado de 
utilidad e impacto. Así, KENNY y MUSATOVA clasificaron en 2010, en un trabajo 
para el Banco Mundial, los indicadores existentes hasta la fecha en cuatro tipos:25 
 
- Indicadores inobservables: se trata de aquellas red flags que son difíciles o 
imposibles de apreciar incluso realizando una supervisión “sobre el terreno” del 
contrato. Es el caso de las presiones a los miembros de la mesa de contratación, 
falsificación de currículums en prestación de servicios, etc. 
- Indicadores irrecopilables: son aquellos que, si bien pueden observarse en un 
proceso de supervisión o fiscalización estándar, no dejan un rastro palpable en 
los documentos de contratación, y son difíciles de identificar en un examen “de 
oficina”. En este tipo se podrían encuadrar, entre otros, la elaboración de 
 
22 GIBERT ha puesto de manifiesto, con gran acierto, la levedad y la intangibilidad de las actuaciones 
irregulares que él llama “pecados” de la Administración, y que sin embargo, generan dinámicas 
clientelares basadas en la burocracia, la confianza y el falso mecenazgo, y que constituyen, en efecto, el 
caballo de Troya de la gestión pública actual. GIBERT I BOSCH, A. “Administración Local y 
competencia. Una visión económica (con "pecados" clasificados)”. En: CANEDO ARRILLAGA, M.P. y 
GORDILLO, PÉREZ, L.I. La autonomía local en tiempos de crisis: (reformas, fiscalidad y contratación 
pública). Cizur Menor: Aranzadi, 2015, pp. 307-322; en el mismo sentido, PIGA ha hecho hincapié sobre 
la estrecha relación y, en ocasiones, las dificultades para diferenciar, entre corrupción e incompetencia, y 
las múltiples facetas que puede adquirir su materialización. PIGA, G. “A fighting chance against 
corruption in public procurement?”. En: ROSE-ACKERMAN, S. y SOREIDE, T. International 
Handbook on the Economics of Corruption, Volume Two. Massachusetts: Edward Elgar, 2011, pp. 141-
181, concretamente en pp. 149-165. 
23 Por todos, vése FERWERDA, J., DELEANU, I. y UNGER, B. “Corruption in Public Procurement: 
Finding the Right Indicators”. Eur J Crim Policy Res, 2016. 
24 TREPTE, P. “Transparency and Accountability…” op. cit. 
25 KENNY, C. y MUSATOVA, M. “‘Red Flags of Corruption’ in World Bank Projects: An Analysis of 
Infrastructure Contracts”, Policy Research Working Paper, n.º 5243, 2010, pp. 6-7; ANITA, N. y 
TÜNDE, T. New warning systems for the identification of red flags in public procurements. Transparency 
International Hungary, 2015, p. 6. 
[8] 
 
especificaciones técnicas o criterios de selección en exceso limitadores de la 
concurrencia. 
- Indicadores irrelevantes: este tipo de red flags se encuentran en un gran número 
de contratos, tanto corruptos como íntegros, y aunque pueden ser indicadores de 
corrupción, su relación con el fenómeno es difusa y no puede afirmarse una 
relación clara. Ej.: la falta de publicidad de determinados aspectos. 
- Indicadores relevantes, detectables y recopilables: este tipo de indicadores son 
aquellos que deben ser especialmente tenidos en cuenta a la hora de evaluar la 
posibilidad de actos corruptos en un contrato, ya que se consideran directamente 
relacionados con el fenómeno y son fácilmente observables. 
 
Hasta ahora, aunque otro tipo de indicadores pueden complementar el estudio de un 
contrato sospechoso de corrupción, lo cierto es que para que éstos puedan ser efectivos, 
de cara a que las agencias de supervisióny fiscalización puedan seleccionar los 
contratos a ser investigados, la función de supervisión humana se ha basado en red flags 
visibles y relevantes. No obstante, la utilización de técnicas avanzadas de tratamiento y 
análisis de datos como el data mining 26 y la IA, puede ampliar el espectro de 
indicadores visibles, permitiendo identificar anomalías que previamente era intangibles 
al ojo humano. Del del análisis de la literatura científica en la materia se pueden llegar a 
identificar algunas características que presentan un mayor peso específico como señal 
de irregularidades, como el plazo para la presentación de ofertas;27 el uso del 
procedimiento de urgencia u otro procedimiento no competitivo28; los contratos 
 
26 La minería de datos es el proceso que permite la estracción de información de grandes cantidades de 
datos, identificando patrones en grandes volúmenes de conjuntos de datos a través de diferentes técnicas 
de extracción y análisis. MAIMON, O. y ROKACH, L. Data Mining and Knowledge Discovery 
Handbook. Springer, New York, 2010. 
27 KENNY, C. y MUSATOVA, M. “‘Red Flags of…” op. cit. en p. 8; WENSINK, W. y MAARTEN DE 
VET, J. Identifying and Reducing… Op. Cit enp. 367-368; BANCO MUNDIAL. Fraud and Corruption 
Awareness Handbook. How it Works and what to look for: a handbook for staff. Banco Mundial, 2013, p. 
11; ANITA, N. y TÜNDE, T. New warning systems… op. cit. en p. 15 
28 FERWERDA, J., DELEANU, I. y UNGER, B. “Corruption in Public Procurement: Finding the Right 
Indicators”. Eur J Crim Policy Res, 2016, p. 6; WENSINK, W. y MAARTEN DE VET, J. Identifying and 
Reducing Corruption in Public Procurement in the EU. Bruselas: PwC EU services, 13 de junio 2013, pp. 
367-368; ANITA, N. y TÜNDE, T. New warning systems… op. cit. en p. 14; FERRANDO GAMIR, A. 
“Mapping high-level corruption risks in Spanish public procurement”. Corruption Research Center 
Budapest, 2015. p. 20 ; OLAF. Detección de conflictos de intereses en los procedimientos de 
contratación pública en el marco de las acciones estructurales. Guía práctica para los responsables de la 
gestión. Bruselas: Comisión Europea, 2014, p. 25; en España se ha producido en este sentido, durante 
muchos años, un uso indiscriminado del procedimiento negociado por razón de cuantía que llegó a 
alcanzar un uso del 60%, y que en ocasiones podía dar cobijo a prácticas irregulares y manipulaciones de 
los contratos. CNMC. PRO/CNMC/001/15: Análisis de la contratación pública en España: 
[9] 
 
celebrados sutilmente por debajo de los umbrales que imponen obligaciones de 
transparencia o competencia adicionales;29 la limitada concurrencia de licitadores;30 la 
celebración de acuerdos marco con grandes sumas de dinero, que celebra con tres o 
menos operadores económicos o que tiene una duración extensa en el tiempo;31 la 
existencia de un gran porcentaje de ofertas declaradas excluidas por no cumplir con 
alguno de los requisitos expuestos en los pliegos de condiciones o pocas empresas de 
las que solicitaron información se presentan a la licitación;32 el excesivo el tiempo 
invertido en la evaluación de las ofertas;33 diferencias positivas entre las ofertas 
presentadas y el presupuesto del contrato, que pueden implicar presupuestos inflados y 
prácticas anticompetitivas;34 las características técnicas o de solvencia que definen el 
objeto del contrato que se ajustan únicamente a una de las empresas proveedoras en el 
mercado;35 el tamaño del contrato que parece excesivamente grande y/o incluye 
prestaciones muy diversas;36 una duración del contrato que se renueva de manera 
 
oportunidades de mejora desde el punto de vista de la competencia. Comisión Nacional de los Mercados 
y la Competencia. 5 de febrero de 2015, p. 16; BELMONTE, E. “El 60% de los contratos de los 
ministerios en 2014 se adjudicaron sin concurso”. En Quién cobra la obra. Consultado el 31 de marzo de 
2016. Disponible en: http://quiencobralaobra.es/el-60%25-de-los-contratos-de-los-ministerios-en-2014-
se-adjudicaron-sin-concurso/ 
29 BANCO MUNDIAL. “Most Common Red Flags of Fraud and Corruption in Procurement”. Acceso el 
19 de octubre de 2017. Disponible en: 
http://siteresources.worldbank.org/INTDOII/Resources/Red_flags_reader_friendly.pdf ; BANCO 
MUNDIAL. Fraud and Corruption… op. cit. en p. 11; en este sentido, cabe destacar cómo, en España, se 
ha detectado a través de los datos proporcionados por la Plataforma de Contratos del Sector Público un 
elevado número de contratos que se celebran apenas unos euros por debajo de los umbrales del contrato 
menor, con las exenciones de publicidad, transparencia y control que ello supone. RIAÑO, M. “Contratos 
menores: 12.228 adjudicaciones a dedo para esquivar el concurso público”. El Independiente, 21 de 
Febrero de 2017. Acceso el 20 de octubre de 2017. Disponible en: 
https://www.elindependiente.com/politica/2017/02/21/contratos-menores-12-228-adjudicaciones-a-dedo-
para-esquivar-el-concurso-publico/ 
30 KENNY, C. y MUSATOVA, M. “‘Red Flags of…” op. cit. en p. 8; FERWERDA, J., DELEANU, I. y 
UNGER, B. “Corruption in Public…” op. cit. en p. 6; WENSINK, W. y MAARTEN DE VET, J. 
Identifying and Reducing… op. cit enp. 367-368; ANITA, N. y TÜNDE, T. New warning systems… op. 
cit. en pp. 6 y 17. 
31 ANITA, N. y TÜNDE, T. New warning… op cit. en p. 11. 
32 OLAF. Detección de conflictos... op. cit. en p. 27. 
33 Ibidem; véase a su vez ANITA, N. y TÜNDE, T. New warning systems… op. cit. en p. 18. 
34 KENNY, C. y MUSATOVA, M. “‘Red Flags of…” op. cit. en p. 8; WENSINK, W. y MAARTEN DE 
VET, J. Identifying and Reducing… op. cit. enp. 367-368; ANITA, N. y TÜNDE, T. New warning 
systems… op. cit. en pp. 12 y 18. 
35 Aunque tradicionalmente ha sido catalogado como un indicador imperceptible, recientemente el Banco 
Mundial, no obstante, aporta algunos subindicadores, como la presencia de especificaciones innecesarias 
o inapropiadas, de descripciones e informaciones vagas y/o escasas, o la exclusión de un gran número de 
licitadores. FERWERDA, J., DELEANU, I. y UNGER, B. “Corruption in Public…” op. cit. en p. 6; 
OLAF. Detección de conflictos... op. cit. en p. 26, BANCO MUNDIAL. Fraud and Corruption… op. cit. 
en p. 12. 
36 FERWERDA, J., DELEANU, I. y UNGER, B. “Corruption in Public…” op. cit. en 6; MOODY-
DTUART, G. How business bribes damage developing countries. UK: World View Publishing, 1997; 
WENSINK, W. y MAARTEN DE VET, J. Identifying and Reducing… op. cit. enp. 367; BANCO 
[10] 
 
periódica de manera indefinida;37 la existencia recursos u otro tipo de reclamaciones por 
parte de los licitadores;38 la existencia relaciones entre las empresas licitadoras, ya sean 
organizativas o de otro tipo;39 comportamientos extraños entre las ofertas presentadas;40 
la obtención por parte de la misma empresa de contratos sucesivos celebrados por la 
misma entidad adjudicadora;41 inexistencia de publicidad adecuada a los documentos de 
adjudicación del contrato;42 modificaciones sustanciales en un corto lapso de tiempo tras 
la adjudicación del contrato, o de forma claramente beneficiosa para el licitador, etc.43 
 
La elaboración de este tipo de indicadores supone sin duda un gran paso adelante en lo 
relativo al control de la integridad en la contratación pública. Sin embargo, conviene 
subrayar que estas herramientas no identifican casos de corrupción y no suponen 
irregularidades en sí mismas, sino que sirven para localizar situaciones o contratos que 
presentan un cierto riesgo dibujando un mapa de riesgos44, y en todo caso tendrán que 
ser evaluados e investigados con detalle por parte de los organismos competentes para 
esclarecer la existencia o no de irregularidades, lo cual afecta al tipo de aplicación que 
se está dando a las tecnologías en este sentido.45 
 
Pues bien, tras lo expuesto, se debe tener en cuenta que un mero listado de indicadores 
no puede ser eficaz si no se proporciona un medio eficiente de análisis contractual a que 
 
MUNDIAL. “Most Common Red…” op. cit.;BANCO MUNDIAL. Fraud and Corruption… op. cit. en 
pp. 12 y 16; ANITA, N. y TÜNDE, T. New warning systems… op. cit. en p. 12. 
37 ANITA, N. y TÜNDE, T. New warning systems… op. cit. en p. 12. 
38 FERWERDA, J., DELEANU, I. y UNGER, B. “Corruption in Public…” op. cit. en p. 6; WENSINK, 
W. y MAARTEN DE VET, J. Identifying and Reducing… op. cit. enp. 367; BANCO MUNDIAL. “Most 
Common Red…” op. cit. 
39 FERWERDA, J., DELEANU, I. y UNGER, B. “Corruption in Public…” op. cit. en p. 6; WENSINK, 
W. y MAARTEN DE VET, J. Identifying and Reducing… op. cit. enp. 367. 
40 En los resultados de la evaluación las empresas están muy cerca o muy lejos unas de otras, existen 
ofertas anormalmente altas o con cifras redondas (lo que puede implicar falsas ofertas para cumplir con 
los requisitos de competencia), rotación de los ganadores en contratos sucesivos, los licitadores 
perdedores se convierten en subcontratistas, etc. BANCO MUNDIAL. “Most Common Red…” op. cit. ; 
BANCO MUNDIAL. Fraud and Corruption… op. cit. en pp. 14-15. 
41 BANCO MUNDIAL. “Most Common Red…” op. cit. 
42 FERWERDA, J., DELEANU, I. y UNGER, B. “Corruption in Public…” op. cit. en p. 6; WENSINK, 
W. y MAARTEN DE VET, J. Identifying and Reducing… op. cit. enp. 368; ANITA, N. y TÜNDE, T. 
New warning systems… op. cit. en p. 17. 
43 FERWERDA, J., DELEANU, I. y UNGER, B. “Corruption in Public…” op. cit. en p. 6; WENSINK, 
W. y MAARTEN DE VET, J. Identifying and Reducing… op. cit. enp. 367; BANCO MUNDIAL. “Most 
Common Red…” op. cit. 
44 MEDINA ARNÁIZ, T. “El mapa de la corrupción en la contratación pública”. En: Los nuevos desafíos 
del Derecho Público Económico. Homenaje al Profesor José Manuel Sala Arquer, pendiente de 
publicación. Madrid: Cortes Generales, 2019, pp. 779 y ss. (pendiente de publicación). 
45 ANITA, N. y TÜNDE, T. New warning systems… op. cit. en p. 28. 
[11] 
 
permita manejar, reutilizar y cruzar información de diferentes bases de datos, filtrar 
parámetros, comprobar la concurrencia de estas situaciones y comparar contratos 
administrativos de diversa índole en todo el ámbito nacional, europeo o global46. Por 
ello, iniciativas como la desarrollada en Hungría por Trancpasencia Internacional (TI) y 
la UE, o el sistema de algoritmos puesto en funcionamiento en la Comunidad 
Valenciana, sobre los que profundizaremos más adelante, unido a la implantación 
efectiva de la Administración electrónica que permita crear bases de datos útiles, 
pueden resultar de notable interés para dotar a estos indicadores de funcionalidad. 
 
Deben configurarse, en este sentido, como una herramienta para dotar de funcionalidad 
a las actuaciones de los órganos de auditoría o de supervisión externa a la hora de 
seleccionar los contratos objeto de análisis y poner fin a la excesiva formalidad que 
caracteriza a dichos procesos y que afecta a la eficiencia final de las actuaciones de 
fiscalización. 
 
Como se ha mencionado, existen diversos aspectos que hacen especialmente compleja 
la aplicación de una política anticorrupción efectiva en el sector de los contratos 
administrativos. El primero de ellos es la imposibilidad de regular de forma exhaustiva 
y burocrática la actividad contractual de la administración sin eliminar la 
discrecionalidad de la Administración esencial en un sector que demanda agilidad y 
flexibilidad como la contratación pública, debido la incapacidad de prever la aparición 
de corrupción como consecuencia de la mencionada complejidad del fenómeno y la 
forma esquiva y multiforme en que se materializan los actos de corrupción en los 
procesos contratación pública47. Además, una aproximación tal implicaría el riesgo de 
someter a las entidades adjudicadoras a una sobrerregulación, que afectaría 
directamente a la eficiencia de la compra pública al incrementar la carga burocrática y 
anular la discrecionalidad, aspecto esencial para el diseño de los contratos de acuerdo a 
las necesidades específicas de los ciudadanos y las administraciones48. 
 
 
46 PONCE SOLÉ, J. “La prevención de riesgos…” op. cit. p. 10. 
47 GONZÁLEZ SANFIEL, A.M. “Integridad en la…” op. cit. pp. 2453-263. 
48 TEJEDOR BIELSA, J. La contratación pública en España ¿sobrerregulación o estrategia?. Civitas, 
2018. 
[12] 
 
Unido al hecho de que las irregularidades se cometen frecuentemente, como se ha 
puesto de manifiesto, en abuso de un poder discrecional que no tiene por qué dejar 
rastro visible para una fiscalización puramente legal (ej. criterios, condiciones de 
solvencia o especificaciones técnicas a medida), las medidas de detección y control 
deben poder individualizarse e ir un paso más allá para abordar la corrección en la 
actuación de las Administraciones Públicas, de forma que no debe ser la corrupción, 
sino sus alrededores y sus rastros, el objeto de supervisión. Por todo ello, unido a un 
correcto sistema de incentivos y reparto de responsabilidades, que deben configurar una 
arquitectura institucional que convierta a los actores participantes en verdaderos 
supervisores del sistema49, se requieren herramientas que permitan a esos actores, en 
particular a los organismos de supervisión, pero también a los propios gestores del 
contrato y a la sociedad civil, que con la nueva regulación adquieren un peso importante 
en estas tareas, para dotarles de una capacidad de supervisión efectiva. 
 
Así, la utilización de indicadores en la elaboración de un programa de control efectivo 
es esencial para una actuación eficiente de los agentes de supervisión. Un sistema de 
control que, sin embargo, debe configurarse cuidadosamente con el objetivo de no poner 
en riesgo los principios de legalidad y de seguridad jurídica que deben gobernar todas 
las normas de Derecho Público. 
 
3.- MODELOS DE APLICACIÓN E IMPLICACIONES JURÍDICAS 
 
En la actualidad, como se ha mencionado y debido a las particularidades del fenómeno 
expuestas, las principales aplicaciones de sistemas de IA en contratación pública se 
localizan en actividades de la supervisión y de control de la integridad. Así, en España, 
la Comunidad Valenciana fue pionera en la materia al desarrollar un sistema de 
algoritmos que es capaz de analizar grandes cantidades de datos y, en base a 
determinados criterios e indicadores preestablecidos, señalar el nivel de riesgo que 
presenta cada contrato celebrado por la Generalitat. Otros sistemas, como ARACHNE 
(UE)50 y Red Flags (Hungría)51, así como otros más novedosos desde el punto de vista 
 
49 CANALS AMETLLER, D. “El sistema administrativo de control interno y de supervisión de la 
contratación pública”, Revista Galega de Administración Pública, 55, 2018, pp. 409-446. 
50 ARACHNE, una herramienta especifica de prospección de datos ofrecida por la Comisión para detectar 
proyectos que puedan tener riesgo de conflicto de intereses que puede aumentar la eficacia de los 
controles de gestión y selección de proyectos y ayudar a reforzar la identificación, la prevención y la 
[13] 
 
tecnológico por sus uso de IA de red neuronal, como el algoritmo DoZorro utilizado en 
Ukrania52, son buenos ejemplos de las aplicaciones que estas tecnologías pueden tener 
para la integridad en la contratación pública53. 
 
Todos ellos, sin embargo, presentan características diferenciadas y determinados puntos 
que, desde el punto de vista legal, conviene tener en consideración. 
 
3.1.- Aprendizaje automático vs criterios predefinidos 
 
El artículo 27 de la Ley 22/2018, de 6 de noviembre, de Inspección General de 
Servicios y del sistema de alertas para la prevención de malas prácticas en la 
Administración de la Generalitat y su sector público instrumental, prevé que se 
desarrollará un sistema de indicadores con el objetivo de detectar la presencia de 
posibles irregularidades o malas prácticas, en cada uno de los ámbitos de gestión, y que 
los resultados de las actuaciones de investigación serán objeto de una codificación 
estandarizada, con la finalidad de que el sistemadisponga de información estructurada 
que permita su retroalimentación. Es decir, se trata de un sistema que tiene 
predeterminados y codificados los indicadores, y por tanto, los criterios y su peso 
específico, y que realiza las evaluaciones en base a dicha información. 
 
Este sistema actúa por tanto, como un modelo de gestión y cruce de datos que, cuando 
se cumplen unos determinados requisitos, atribuye un riesgo específico al contrato. Se 
trata de un sistema de red flags automatizado que se sirve de sistemas de procesamiento 
de big data o data mining54, pero que no lleva a cabo proceso de aprendizaje 
automático. Operan, en su inmensa mayoría, como herramientas de identificación de 
 
detección del fraude. Desarrollada por la Comisión Europea y la OLAF, puede hacer uso de ella cualquier 
entidad que gestiones Fondos Estructurales (FSE y FEDER)50. Esta herramienta de gestión de big data 
recoge, enriquece, y pone a disposición de las entidades adjudicadoras datos tratados en base a unos 
indicadores de riesgo, de forma que contribuye a la compleja labor de identificar posibles situaciones de 
fraude, conflicto de interés, manipulación del contrato, etc. 
51 ANITA, N. y TÜNDE, T. New warning systems… op. cit. 
52 Véase https://dozorro.org 
53 Existen otras experiencias transoceánicas al respecto, como es el caso de la Controloría General de 
Brasil, que analiza VALLES BENTO en su trabajo “Aplicación de inteligencia artificial y big data en el 
control de la administración pública y en el combate a la corrupción: la experiencia del gobierno 
brasileño”, Revista General de Derecho Administrativo, 50, 2019. 
54 CAPDEFERRO VILLAGRASA, O. “Las herramientas inteligentes anticorrupción: entre la aventura 
tecnológica y el orden jurídico”. Revista General de Derecho Administrativo, n50, 2019; PONCE SOLÉ, 
J. La prevención de riesgos de…” op. cit. en p. 12. 
[14] 
 
riesgos, las cuales maniobran en base a unos criterios o indicadores más o menos 
definidos y estáticos, que pueden ser reemplazados o actualizados de forma externa, 
pero no de forma autónoma por parte de los algoritmos55. Se trata de funcionamientos 
automatizados pero que, en ningún caso, utilizan tecnologías de deep learling o 
aprendizaje automático. Esta predeterminación del sistema facilita, por un lado 
identificar cualquier posible error o disfunción en el algoritmo, y por otro lado, 
repararlo mediante la modificación de los indicadores con los que trabaja para que actúe 
de forma diferente. La Ley 22/2018, que regula su funcionamiento, incluso prevé que 
los propios trabajadores puedan proponer nuevos indicadores, y del mismo modo, los 
indicadores pueden ser modificados por el sistema de revisión propuesto. 
 
En este punto, DoZorro, el algoritmo ucraniano, presenta importantes adelantos 
tecnológicos on respecto al resto de algoritmos analizados que le hacen particularmente 
interesante, pero que al tiempo acarrean nuevos retos y riesgos jurídicos56. A diferencia 
del resto de sistemas de análisis citados, la inteligencia artificial DoZorro es muy 
diferente de los tradicionales indicadores de riesgo, en los cuales un sistema analiza una 
serie de datos y los clasifica conforme a una combinación de factores previamente 
establecida en su lenguaje de programación o código fuente. 
 
Cabe destacar que la Administración ucraniana ya había desarrollado previamente un 
sistema de análisis basado en indicadores preestablecidos denominado ProZorro. En él, 
el Servicio Estatal de Auditoría de Ucrania gestionaba desde 2018 la verificación 
automática de las ofertas en ProZorro sobre la base de 35 indicadores de riesgo. 
Incluyen violaciones del procedimiento de licitación, licitadores que no tengan 
facultades para participar, ausencia de firmas digitales, violaciones de plazos de 
revisión, ausencia del acuerdo concluido, ausencia de documentación de licitación 
cargada electrónicamente, ausencia de la descripción del artículo adquirido, una gran 
cantidad de lotes incluidos en una licitación, etc. Cuantos más indicadores se 
identifiquen por el programa concurriendo al mismo tiempo en un contrato, mayor será 
el riesgo asignado, y por tanto mayor la posibilidad de que la oferta sea inspeccionada 
por los auditores. 
 
55 CAPDEFERRO VILLAGRASA, O. “Las herramientas inteligentes…” op. cit. 
56 COMISIÓN EUROPEA. EU guidelines on ethics in artificial intelligence: Context and 
implementation, septiembre de 2019. 
[15] 
 
 
El sistema DoZorro, no obstante, es más flexible y no tiene una lista exhaustiva de 
indicadores. Se trata de un sistema de red neuronal de aprendizaje automático –en otras 
palabras, lo que se viene considerando IA, en sentido estricto–, el cual comenzó a 
aprender a –o a ser entrenado para– identificar violaciones en las adquisiciones en julio 
de 2018. Los desarrolladores enviaron a 20 expertos alrededor de 3.500 ofertas para 
analizar. Se les pidió que respondieran a una sola pregunta, si tienen algún riesgo o no. 
Los expertos no conocían los importes ni los nombres de las entidades contratantes para 
que su evaluación fuera lo más objetiva posible. Finalmente, todas las respuestas se 
introdujeron en el algoritmo de IA. 
 
En un sistema de deep learning como DoZorro, por tanto, el sistema es “entrenado” y 
aprende de forma experimental, desarrollando sus propios indicadores y criterios, lo que 
hace especialmente difícil su corrección. Este cambio, más allá del interés tecnológico 
que pueda tener, presenta algunos riesgos jurídicos que no están presentes en un sistema 
automatizado que utiliza criterios predeterminados. 
 
Si bien se percibe que los sistemas de IA son imparciales, en ocasiones, los algoritmos, 
si no son programados con los debidos filtros, pueden identificar patrones que les lleven 
a desarrollar nuevos criterios de evaluación originariamente no incluidos o previstos 
que, bajo una decisión administrativa llevada a cabo por humanos, nunca hubieran sido 
tenidos en cuenta –por ejemplo, un sistema de IA puede identificar, como factor de 
riesgo para corrupción, elementos como el origen étnico de los gestores, su sexo, 
orientación sexual, etc.57 Existe, por tanto, un riesgo de ponderación de variables que en 
un contexto de decisión humano hubieran sido consideradas irrelevantes para la toma de 
decisiones, e incluso improcedentes conforme a otros estándares de Derechos Humanos, 
discriminación, etc58. 
 
La Ley 22/2018 valenciana prevé, en este sentido, en su artículo 29 un sistema 
evaluación periódica del sistema con el objeto de corregir errores en las alertas, 
identificar y prevenir nuevos riesgos. Para ello, anualmente la Inspección General de 
 
57 COTINO HUESO, L. “Ética en el diseño…” op. cit. en pp. 30-48. 
58 COTINO HUESO, L., “Big data e inteligencia artificial. Una aproximación a su tratamiento jurídico 
desde los derechos fundamentales”, DILEMATA, 24, 2017, pp. 131-150. 
[16] 
 
Servicios elaborará un informe que incluirá propuestas de mejora. Al mismo tiempo, se 
prevé que el sistema pueda ser evaluado por organismos externos a la Inspección 
General de Servicios, que es la encargada de su gestión, con la finalidad de verificar su 
adecuado funcionamiento. En este sentido, la ley menciona expresamente la Agencia de 
Prevención y Lucha contra el Fraude como organismo auditor, sin excluir la posibilidad 
de que esta verificación se realice por agentes externos a la Administración Pública. 
 
Sin embargo, los sistemas de toma de decisiones por medio de algoritmos como 
DoZorro han sido criticados por ser opacos en sus procesos de toma de decisiones, y 
este tipo de evaluaciones de funcionamiento pueden ser considerablemente más 
difíciles. Y es que los usuarios del sistema de IA, e incluso los programadores, a 
menudo tienen dificultades para entender la lógica de los sistemas de IA de deep 
learning que tienen la capacidad de programar sus propios algoritmos. Estacuestión es 
del todo fundamental, por un lado, para motivar las posibles decisiones administrativas 
tomadas de este modo, ya que de ello depende la capacidad de los posibles afectados 
para impugnar las decisiones y poder fundamentar ante los tribunales sus pretensiones, 
y por otro, para poder corregir e identificar los fallos en el sistema. 
 
Los sistemas de IA tienen dificultades en la motivación y revisión de sus resultados 
debido a al efecto denominado “black box”59. Fruto de la ausencia de causalidad entre 
los inputs y los outputs del algoritmo, es imposible discernir qué criterios específicos ha 
seguido para determinar su decisión en un sentido u otro60. A grandes rasgos, los 
algoritmos de IA deep learning están fundados sobre sistemas de Artificial Neural 
Networks (ANNs), o Red Neuronal Artificial, que a su vez utilizan un método 
denominado Parallel Distributed Processing (PDP) o conexionismo. Se trata de 
máquinas virtuales compuestas por una multiplicidad de unidades o nodos, cada una de 
ellas capaz de procesar una sola cosa. La IA convencional o simbólica se centra 
generalmente en la estructura de símbolos explícitos (modelos mentales) y reglas 
sintácticas para su manipulación a nivel interno (lenguaje de programación), mientras 
que el PDP se centra en el aprendizaje mediante estímulos procedentes del medio y en 
 
59 BATHAEE, Y. “The Artificial Intelligence Black Box and the Failure of Intent and Causation”. 
Harvard Journal of Law & Technology, 31(2), 2018, pp. 890 y ss. HILDEBRANDT, M. Smart 
technologies and the end(s) of law, Chetlenham: Elgar, 2016, pp. 72 y ss. 
60 COGLIANESE, C., LEHR, D. “Regulatory by Robot: administrative decision-making in the machine-
learning era”. Faculty Scholarship, University of Pennsylvania Law School, 2017, p. 1734 y ss. 
[17] 
 
el almacenamiento de esta información en forma de –o a imitación de– las conexiones 
entre las neuronas del cerebro humano61. Estos sistemas son capaces de corregir pruebas 
o fuentes parcialmente inconsistentes aportadas por sus unidades, así como de tolerar la 
inconsistencia como parte de su solución a una pregunta o problema concreto, ya que el 
output que proporcionan es el resultado de la red de nodos una vez que las 
inconsistencias o contradicciones han sido minimizadas. Además, es capaz de 
autocorregirse en base a los errores que haya cometido, enmendando las unidades que 
participaron en la decisión otorgándoles una responsabilidad proporcional a cada una. 
Un sistema PDP está formado por, al menos, tres capas de unidades: una capa de input, 
otra de output y otra intermedia, denominada “capa oculta”. Cada capa está compuesta 
de multitud de unidades interconectadas entre sí (lateralmente), y del mismo modo, 
existe interconexión entre unidades de las tres capas (verticalmente). Estas tres capas 
imitan la sinapsis cerebral, de forma que los nodos o unidades se comunican entre ellos 
por medio de conexiones y condicionamientos excitatorios o inhibitorios, para lo cual, 
en IA se utilizan unos pesos con valor de entre +1 (excitación) y -1 (inhibición) en las 
conexiones. Cuanto más alto sea el peso recibido por un nodo, mayor probabilidad de 
que éste se active y que, por tanto, participe o tenga relevancia en la respuesta final. 
 
Inicialmente, como hemos mencionado, estos sistemas utilizaban modelos con una sola 
capa oculta, pero recientemente cada vez se opera más con sistemas multinivel, en los 
que hay numerosas capas ocultas entre las de entrada y de salida. Además, no todos los 
sistemas de ANNs son fijos, sino que, por el contrario, cada vez más frecuentemente, el 
aprendizaje o evolución implica no sólo una modificación en los pesos asignados a las 
relaciones entre nodos, sino que el sistema es capaz de crear nodos y conexiones nuevas 
y eliminar otras, alterando la fisionomía de la red. Por último, existen incluso otros 
avances como los gases simulados que, a imagen de las interacciones gaseosas que se 
producen en el cerebro, modulan las propiedades intrínsecas de los nodos y conectan 
nodos inicialmente inconexos de forma diferente62. 
 
Todas o algunas de estas características derivan en lo que se ha denominado aprendizaje 
automático. Este sistema cambiante, multidireccional e impredecible hace que, a pesar 
 
61 BODEN, M.A. Artificial Intelligence… op. cit. 
62 BODEN, M.A. Artificial Intelligence… op. cit en p. 80. 
[18] 
 
de los mecanismos de backprop63, sea prácticamente imposible rastrear y entender el 
proceso que tiene lugar entre un input y un output, ya que el software mencionado trata 
de recrear, aunque aún con limitaciones, una suerte de inconsciencia humana, que por 
tanto no responde de manera directa al raciocinio y al razonamiento lógico64. 
 
A menudo, los errores en los resultados o las acciones erróneas se producen por el 
conflicto entre dos o varias de las reglas lógicas con las que funciona el algoritmo. 
Cuando un mecanismo basa su actuación en un número limitado de reglas lógicas, en 
sistemas primitivos, es relativamente sencillo identificar cuál de ellas ha provocado el 
conflicto, pero sin embargo, en los sistemas actuales, que operan con un amplio número 
de cánones lógicos, dichos conflictos son virtualmente indescifrables65. Las relaciones 
entre las variables, la lógica y los factores utilizados son, en este sentido, inaccesibles al 
usuario del algoritmo. En este tipo de herramientas subyace la premisa de que es la 
precisión y la exactitud del resultado, y no la razonabilidad y la causalidad, el parámetro 
de medición que determina su utilidad. Es decir, es el resultado o la decisión, y no el 
proceso o razonamiento, lo que la IA maximiza. Con los resultados de aprendizaje 
automático, las relaciones causales entre los inputs y los outputs pueden simplemente no 
existir, no importa cuán intuitiva pueda parecer dicha relación. Si un algoritmo de 
aprendizaje automático tiende a pronosticar que las personas mayores cometen menos 
delitos que las personas más jóvenes, o las mujeres menos que los hombres, por 
ejemplo, no se puede afirmar sobre la base del proceso de aprendizaje automático que la 
edad avanzada o el sexo tiene una relación causal en la propensión a cometer crímenes, 
y el algoritmo será incapaz de explicarlo en términos científicos o causales66. 
 
Esto, que en el sector privado no ha parecido representar ningún problema –Netflix, 
Google, Amazon u otras grandes empresas hacen descansar sus principales decisiones 
 
63 Para aquellos casos en los que la respuesta es insatisfactoria total o parcialmente, esos sistemas cuentan 
con un mecanismo de autocorrección denominado backprop (back propagation) que actualiza los pesos 
asignados a cada nodo. Para ello, el algoritmo necesita saber el estado de la capa de output cuando se da 
la respuesta correcta. Este algoritmo traza la responsabilidad del error o el acierto en una determinada 
situación desde las capas de salida o outputs hasta la capa oculta, identificando individualmente los nodos 
responsables del error cuyos pesos deben ser adaptados o modificados. Y del mismo modo, cambios 
proporcionales en el peso se llevan a cabo en las capas precedentes hasta llegar a la capa de entrada o 
input. 
64 BODEN, M.A. Artificial Intelligence… op. cit en p. 80 
65 BODEN, M.A. Artificial Intelligence… op. cit en p. 28. 
66 COGLIANESE, C., LEHR, D. “Regulatory by Robot: administrative decision-making in the machine-
learning era”. Faculty Scholarship, University of Pennsylvania Law School, 2017, p. 1734 y ss. 
[19] 
 
estratégicas en estos sistemas– genera determinadas reservas en el ámbito del derecho 
público y la toma de decisiones administrativas, ya que genera un marco de opacidad 
que puede derivar en una falta de legitimidad democrática de las instituciones e incluso 
en una utilización de criterios que bajo un prisma de razonamiento jurídico-humano 
deberían ser considerados irrelevantes oimprocedentes por ser discriminatorios o 
atentar contra los derechos individuales67. 
 
La Ley 39/2015, en este sentido, señala en su artículo 35, establece que todas las 
decisiones discrecionales deben estar en disposición de explicarse68. En determinados 
supuestos decisiorio complejos, especialmente aquellos estratégicos o de planifiación –
diseño de programas de conservación ambientales, priorización de zonas de protección 
o de asignación de recursos de protección ambiental, o en el caso de la contratación, el 
diseño del contrato, análisis de mercados previos a la contratación, etc– la IA puede 
entrar a sustituir o complementar la actividad de los técnicos expertos de la 
administración que informan sobre determinadas necesidades, tendencias o realidades, y 
en base a los cuales, aunque no tengan carácter vinculante, la Administración conforma 
la voluntad administrativa y toma la decisión final. Pues bien, incluso en estos 
supuestos, el Tribunal Supremo ha establecido que la discrecionalidad técnica, si bien 
admite un importante margen en la toma de decisiones, también se impone la necesidad 
de justificar los juicios técnicos que la fundamentan en aquellos casos en los que sean el 
fundamento principal de un eventual recurso69. En particular, en materia de contratación 
pública, se hace especialmente relevante que la justificación del gasto público y la 
conformación del objeto del contrato responda a determinadas necesidades y criterios 
racionales70, así como que los criterios de adjudicación sean comprensibles por el 
licitador, con el objetivo, por un lado, de permitirle elaborar su oferta en base a unos 
criterios preestablecidos y cuya valoración sea suficientemente previsible71, y por el 
 
67 Este riesgo relacionado con la legitimidad es lo que algunos autores han denominado algocracia. Véase 
DANAHER, J. “The Threat of Algocracy: Reality, Resistance and Accommodation”. Philos Technol, 29, 
2016, pp. 245-268. 
68 En el mismo sentido, véase NAVARRO GONZÁLEZ, R. M. La motivación de los actos 
administrativos. Thompson Reuters Aranzadi, 2017, pp. 474. 
69 STS de 10 de mayo de 2007, recurso 545/2002. 
70 JAREÑO LEAL, A. “La justificación del contrato público y el control del expediente de contratación 
como formas de prevenir los delitos de corrupción”. Revista Internacional Transparencia e Integridad, 
n.º 9, 2019. 
71 BERNAL BLAY, M. A. “La Motivación de las resoluciones de adjudicación de contratos públicos” 
Revista de estudios locales. Cunal, n. extra 161, 2013, pp. 189-216. 
[20] 
 
otro, de fundar un posible recurso y, en su caso, cuestionar la presunción de validez de 
la que gozan los informes o conclusiones técnicos en la Administración72. 
 
Del mismo modo, el TJUE ha tenido oportunidad de pronunciarse sobre escenarios 
similares en los asuntos C‑293/17 y C‑294/17 Coöperatie Mobilisation for the 
Environment, de 7 de noviembre de 2018, en los que el TJUE parecía exigir, como 
requisito de aplicación de sistemas informáticos, la necesidad de demostrar que el 
software cumple con las exigencias científicas o técnicas necesarias y de que el juez 
tenga la certeza de que cumple dichas exigencias73. Pues bien, por las razones expuestas 
anteriormente en cuanto al funcionamiento de los sistemas de IA como DoZorro, que 
limitan su capacidad de verificación y motivación, podrían encontrarse importantes 
dificultades para dar cumplimiento a este requisito que ha sido denominado por la 
doctrina principio de explicabilidad74. 
 
3.2.- La relevancia del algoritmo en la decisión final: de la fase de actuaciones 
previas al acto administrativo 
 
Sin embargo, más allá de lo expuesto en al apartado anterior, el papel que juega el 
algoritmo en el procedimiento administrativo para la conformación de la voluntad 
administrativa o para la emisión de actos administrativos adquiere también una 
relevancia capital, y puede entrañar una modulación relevante de los requisitos legales 
exigibles al algoritmo. Así, actualmente, y al igual que ocurre en el resto de esferas 
administrativas75, el papel de los mecanismos de inteligencia artificial citados en el 
presente trabajo dentro de las actividades de control y supervisión de actividades 
administrativas se encuadra esencialmente en la fase de actuaciones previas del artículo 
 
72 Resolución 092/2019, de 26 de abril, del Tribunal Administrativo de Contratos Públicos de la 
Universidad de Canarias. 
73 TJUE, asuntos acumulados asuntos acumulados C-293/17 y C-294/17, Coöperatie Mobilisation for the 
Environment, de 7 de noviembre de 2018, párrafo 106: si bien corresponde a los órganos jurisdiccionales 
nacionales realizar un examen minucioso y completo de la solidez científica de la «adecuada 
evaluación», en el sentido del artículo 6, apartado 3, de la Directiva «hábitats», que acompañe a un 
enfoque programático y a las diversas modalidades de aplicarlo, incluido, en particular, el recurso a un 
software, como el controvertido en el litigio principal, destinado a contribuir al proceso de autorización. 
Solo en el caso de que el juez nacional tenga la certeza de que esta evaluación previa cumple dichas 
exigencias, estarán facultadas las autoridades nacionales competentes para autorizar ese proyecto 
individual sobre la base de tal evaluación 
74 PONCE SOLÉ, J. La prevención de…” op. cit. p. 7; COTINO HUESO, L. “Ética en el diseño…” op. 
cit.. 
75 CAPDEFERRO VILLAGRASA, O. “Las herramientas inteligentes…” op. cit. 
[21] 
 
55 de la Ley 39/2015, de forma que no se les ha asignado a estos sistemas, por el 
momento, poder decisorio como autoridad administrativa76. Sin embargo, tal y como 
señala el grupo de investigación Derecho Administrativo e Inteligencia Artificial 
(DAIA) en sus conclusiones de octubre de 2019, el hecho de que los algoritmos se estén 
usando para asistir o apoyar decisiones públicas, especialmente en fases previas 
o preparatorias, no elimina el riesgo que estos mecanismos entrañan para una correcta 
observancia de las normas de Derecho Administrativo. Y es que “este tipo de usos 
quedan fuera de la actuación formal y por ello se facilita una huida del 
Derecho: garantías de transparencia, respeto del derecho a una buena administración, 
garantías del procedimiento, etc. Debe haber una clara trazabilidad y transparencia 
del uso de sistemas algorítmicos en cualquier fase y tipo de actuación administrativa –
formal o informal– que, entre otras cosas, permita determinar el grado 
real de intervención humana en la toma de decisiones”77. 
 
El nivel y los tipos de garantía jurídica exigibles, así como la trazabilidad y audibilidad 
necesaria, deben permitir, en efecto, una salvaguarda suficiente de los derechos de una 
buena administración y las garantías de transparencia y procedimientales mínimas, pero 
los grados legales de exigibilidad serán variables, y dependerán en todo caso de 
factores como la relevancia del acto administrativo o decisión final y su afectación a 
derechos individuales78. Sistemas que se utilizan para influir en las decisiones que 
afectan a derechos individuales, como la elección de un tratamiento médico, precisan 
una mayor rigidez jurídica y unas exigencias de motivación mucho mayores que 
aquellos que realizan tareas de menor incidencia directa en las personas, como las 
recomendaciones de películas o de música que utilizan algunas plataformas de servicios, 
pues la capacidad de asumir las consecuencias de un posible error difieren notablemente 
en un caso u otro. Y del mismo modo, producción reglamentaria, la adopción de 
disposiciones administrativas (discrecionales y no discrecionales) y actividades 
administrativas en el ejercicio de facultades administrativas (por ejemplo, inspección, 
 
76 PONCE SOLÉ, J. La prevención de…” op. cit p. 15. 
77 Declaración final II Seminario internacional derecho administrativo inteligencia artificial en el sector 
público: la importancia de las garantías jurídicascelebrado en la Facultad de Derecho de la Universitat 
de Valencia, Jueves 10 y viernes 11 de octubre de 2019. Disponible en: 
https://www.dropbox.com/s/zlth1wq0n2z8c0b/DAIA_Valenciadeclaracion.pdf?dl=0 
78 MARTÍNEZ MARTÍNEZ, R. “Inteligencia artificial, derecho y derechos fundamentales”. En: DE LA 
QUADRA-SALCEDO, T. y PIÑAR, J. L. (dirs.), Sociedad digital y Derecho. Madrid: BOE- Red.es, 
2018, pp. 259-278. 
[22] 
 
organización de la labor de los funcionarios públicos, publicación de información para 
cumplir con las obligaciones de transparencia...) precisarán de niveles y formas de 
garantía diferenciados79. 
 
En un segundo estadio, encontramos el grado de facilidad de impugnar una decisión y 
reparar el posible daño, así como la disponibilidad de alternativas sin perjuicio grave, 
que actúan como factores relevantes a la hora de determinar hasta qué punto aspectos 
como la motivación de las decisiones representan un papel central80. Por ejemplo, si un 
sistema de IA fuera utilizado por un restaurante para asignar mesas, una explicación de 
la decisión podría no ser trascendental en caso de error, ya que los comensales 
insatisfechos podrían simplemente solicitar una mesa diferente o ir a otro lugar. Por el 
contrario, un sistema de IA utilizado en las necesidades de audiencias de libertad 
condicional81 requiere una capacidad de explicación mucho mayor, pues las potenciales 
lesiones de derechos son mayores, y la capacidad de repararlo menor. 
 
Finalmente, otro aspecto apreciable es la relevancia del juicio emitido por el software de 
IA con respecto a la decisión final. Existen casos en los que los algoritmos son 
utilizados como fundamento o fuente científica para evaluar un aspecto concreto o 
específico que, sin embargo, únicamente tiene un peso relativo reducido en la decisión 
administrativa final. Así, un software de IA puede ser utilizado para recopilar opiniones 
de la ciudadanía82, o para predecir las emisiones de CO2 de un determinado operador 
económico o proceso productivo. En estos casos, la IA determina el resultado de dicha 
sub-valoración, pero en ninguno de los casos el resultado del juicio computacional 
implica una decisión administrativa final o acto administrativo en un sentido u otro, sino 
que tendrá que ser contrapuesto y combinado con otros múltiples factores o sub-
valoraciones que, una vez ponderados en base a los criterios jurídicos y administrativos, 
 
79 MARTÍN DELGADO, I. “Automazione, intelligenza artificiale e pubblica amministrazione: vecchie 
categorie concettuali per nuovi problemi?”, Istituzioni del Federalismo: Rivista di studi giuridici e 
politici, 3, 2019, pp. 643 y ss. 
80 COTINO HUESO, L. “Ética en el diseño…” op. cit. en p. 38; ZALNIERIUTE, M.; BENNETT 
MOSES, L. y WILLIAMS, G. “The Rule of Law and Automation of Government Decision-Making”. The 
Modern Law Review, 82(3), 2019, pp. 425-455. 
81 Como se ha mencionado supra, este problema ya ha tenido lugar con el sistema de evaluación de riesgo 
de reincidencia COMPAS, en EEUU. Véase: https://medium.com/thoughts-and-reflections/racial-bias-
and-gender-bias-examples-in-ai-systems-7211e4c166a1 
82 CANALS AMETLLER, D. “El proceso normativo ante el avance tecnológico y la transformación 
digital (inteligencia artificial, redes sociales y datos masivos)”, Revista General de Derecho 
Administrativo, n 51, 2019. 
[23] 
 
darán lugar a una decisión final. Por otro lado, sin embargo, encontramos aquellos 
supuestos en los que la integridad de la decisión administrativa, o buena parte de ella, 
recae sobre un algoritmo, los cuales requerirán de una mayor exigencia de garantías 
jurídicas para su funcionamiento. Pero, incluso en estos supuestos, los requerimientos 
jurídicos en materias de transparencia, responsabilidad e igualdad, y los posibles riesgos 
a considerar, dependerán en buena medida de si existe un filtro humano o las decisiones 
son tomadas y ejecutadas de forma automatizada –y en el mismo sentido, en qué medida 
ese filtro humano tiene capacidad efectiva de revisar la decisión informática. 
 
Actualmente, las divergencias en el marco normativo aplicable a decisiones con y sin 
intervención humana son notables. Así, tal y como lo ha expuesto Valero Torrijos, de la 
jurisprudencia europea parece desprenderse que “la legitimación para el tratamiento de 
datos personales a través de un algoritmo, sin intervención humana, solo sería 
admisible previa la oportuna regulación que, además, ha de establecer garantías 
adecuadas a la luz de los mecanismos y principios ue contempla el propio RGPD”83, 
exigiendo por tanto determinadas garantías a las decisiones automatizadas, al tiempo 
que las previsiones del artículo 41 de la Ley 40/2015 relativas a la actuación 
administrativa automatizada recogen ciertas garantías y exigencias de transparencia y 
publicidad84. Pues bien, una interpretación literal de estas disposiciones derivaría, como 
afirma el propio Valero Torrijos, en la inaplicación de los principios y garantías 
contenidos en estos preceptos a aquellos casos en los que la actividad digital debiera ser 
validada, en cualquier sentido, bien por el titular del órgano o bien por personal al 
servicio de la entidad85. Una regulación específica de aquellas situaciones en las que el 
algoritmos no automatiza por completo el procedimiento, sino que tiene incidencia 
parcial o previa, debe ser abordada para una adecuada seguridad jurídica. 
 
Ejemplo de uso de inteligencia artificial con filtro humano lo componen, por ejemplo, el 
uso de drones para detectar infracciones en el uso del teléfono móvil en la carretera 
 
83 VALERO TORRIJOS, J. “Las garantías jurídicas de la inteligencia artificial en la actividad 
administrativa desde la perspectiva de la buena administración”, Revista Catalana de Dret Public, n 58, 
2019, pp. 83-96 en p. 90. 
84 Deberán publicarse las especificaciones, programación, mantenimiento, supervisión y control de 
calidad y, en su caso, auditoría del sistema de información y de su código fuente. Para un mayor 
desarrollo del concepto de administración automatizada, véase MARTÍN DELGADO, I. “Naturaleza, 
concepto y régimen jurídico de la actuación administrativa automatitzada”. Revista de Administración 
Pública, n.º 180, 2009, pp. 353-386. 
85 VALERO TORRIJOS, J. “Las garantías jurídicas…” op. cit. en p. 87. 
[24] 
 
utilizado en España por la Dirección General de Tráfico (DGT)86. En este caso, para que 
la denuncia sea tramitada, la cámara detecta la matrícula y el modelo del coche 
grabándolo desde la parte delantera. Las imágenes, enviadas a un centro de tratamiento 
de denuncias, son analizadas por un programa informático capaz de discriminar entre 
las imágenes que podrían ser constitutivas de una infracción y las que no. Una vez 
realizada la distinción entre las fotografías, las susceptibles de ser utilizadas como 
prueba en una denuncia son enviadas a los técnicos que evalúan si en la imagen se ve, 
efectivamente, al conductor manipulando el teléfono móvil. En caso de que esto sea así, 
la imagen se envía a la jefatura provincial de Tráfico correspondiente para que denuncie 
los hechos. 
 
No obstante, esta verificación no siempre se presenta de forma tan evidente o tan 
sencilla como en el ejemplo expuesto. Cuando la IA es utilizada para desarrollar 
métodos de optimización para la planificación de la conservación de la vida silvestre, 
por ejemplo, o para, a través de datos históricos, crear modelos de comportamiento de 
cazadores furtivos y utilizarlos para optimizar las estrategias de vigilancia, debido a la 
limitada capacidad del ser humano para identificar aquellos factores que han sido 
tomados como determinantes por el sistema informático, es en esencia imposible que 
exista una auténtica verificación o examen de las decisiones sugeridas87. En este tipo de 
casos, en la práctica, el algoritmo o sistema de IA estará tomando las decisiones de 
facto, independientementede que haya una intervención humana última de carácter 
formal. 
 
Es interesante, en este sentido, el doble papel o el doble uso que se les ha otorgado al 
algunos sistemas de identificación por IA, por un lado como mecanismo al servicio de 
un control ex post o de carácter sancionador, y por el otro, como herramienta de 
asistencia y prevención. Así pues, la Ley 22/2018 de la Generalitat recoge que 
“asimismo, se estima necesario reforzar por ley la estructura, potestades y funciones de 
la Inspección General de Servicios, que, además de investigar las posibles 
 
86 DGT. Tráfico pone en marcha la II Operación especial del verano y comenzará a denunciar las 
infracciones captadas por drones, 2019. Disponible en: http://www.dgt.es/es/prensa/notas-de-
prensa/2019/Trafico-pone-en-marcha-la-II-Operacion-especial-del-verano-y-comenzara-a-denunciar-las-
infracciones-captadas-por-drones.shtml 
87 DANAHER, J. “The Threat of Algocracy… “ op. cit. 
[25] 
 
irregularidades, se implicará de manera directa en tratar de evitar que se produzcan 
malas prácticas mediante su detección y corrección temprana”. 
 
El sistema desarrolla, de manera interesante, dos posibilidades de actuación. Por un 
lado, encontramos una funcionalidad de asistencia en relación a una eventual incoación 
de expediente sancionador o disciplinario88. En estos casos, la regulación que lleva a 
cabo la Generalitat garantiza una “reserva de humanidad”89, de forma que el 
procedimiento de investigación será llevado a cabo de forma tradicional. Así, la 
Inspección General de Servicios podrá iniciar las investigaciones basándose, entre otros, 
en los datos obtenidos a través del sistema de alertas, pero la iniciación de un ulterior 
procedimiento sancionador, disciplinario o penal, debería fundarse en las deducciones y 
resultados derivadas de la labor de investigación IGS, y no en los resultados del 
algoritmo, si bien la norma no se pronuncia sobre el rol que pueden o no tener los 
resultados del software como prueba o como elemento determinante de cara al informe 
final de la Inspección. 
 
Esta forma de iniciación del procedimiento no implica, a priori, ningún automatismo en 
el desarrollo del procedimiento, recayendo la carga de la prueba sobre los propios 
servicios de inspección. El sistema de alertas basado en IA funciona aquí, pues, a 
imagen de lo que ocurre en otros ámbitos, como algunos ejemplos usados por la 
inspección de sanidad o de trabajo, que ya utilizan indicadores que dirigen su actuación 
hacia los focos de riesgo identificados. 
 
De manera similar, el sistema ARACHNE utilizado por la UE para la ejecución de 
fondos europeos, excluye de forma expresa la posibilidad que se produzcan sanciones o 
se tome cualquier medida administrativa de forma automatizada a partir de las 
conclusiones o resultados del software. No tiene por objeto evaluar la conducta 
individual particular de los beneficiarios de los fondos y, como tal, no sirve para excluir 
automáticamente a los beneficiarios o tomar cualquier otra medida que afecte a 
derechos individuales. La herramienta proporciona alertas de riesgos muy valiosas para 
 
88 PONCE SOLÉ, J. La prevención de…” op. cit. en p. 14. 
89 COTINO HUESO lo denomina también autonomía humana, frente a una posible injerencia o una 
autonomía artificial. COTINO HUESO, L. “Ética en el diseño…” op. cit. en p. 38. 
[26] 
 
enriquecer las verificaciones de gestión, pero no suministra ninguna prueba de error, 
irregularidad o fraude. 
 
No se establece, como hace la Comunidad Valenciana, un sistema específico de 
investigación o el peso concreto que deberán tener las informaciones algorítmicas en la 
misma –esto corresponderá, en todo caso, a los procedimientos previstos en el derecho 
nacional–, pero fija un límite claro a su uso que trata de evitar posibles riesgos 
mencionados que los algoritmos presentan en la toma de decisiones. El sistema 
ARACHNE, por tanto, en ningún caso podrá tomar decisiones o usarse como criterio 
único de las mismas, y requerirá, en todo caso, de una intervención humana para 
generar cualquier efecto administrativo90. 
 
Pero, por otro lado, como se ha mencionado, en un primer lugar, fruto del carácter 
inicialmente preventivo de la herramienta, la Ley 22/2018 de la Generalitat Valenciana 
prevé el personal de la Inspección General de Servicios podrá elaborar recomendaciones 
e informes para determinados tipos contractuales o servicios de la Generalitat que en los 
que se estén detectando vicios o anomalías recurrentes, y en los que se podrá estimular 
la adopción de nuevos hábitos de contratación que respondan de manera más fiel a los 
estándares de buenas prácticas de contratación. En este punto, si bien el algoritmo no 
dicta de forma directa las recomendaciones, y no pueda utilizarse como prueba en un 
procedimiento sancionador91, su influencia de cara a su elaboración, como fuente 
justificativa de la misma, será probablemente mayor. En aquellos casos dirigidos a 
sanciones, las exigencias del principio de legalidad y tipicidad exigen una labor humana 
probatoria considerable, de forma que los inspectores deberán probar que en efecto 
concurren una serie de hechos que dan lugar a un ilícito administrativo o penal. Sin 
embargo, en una recomendación, las medidas propuestas y los fundamentos que las 
justifican pueden encontrarse, en gran medida, basados en los resultados del 
 
90 Esto es especialmente relevante a la hora de impugnar posibles decisiones, como manifiestan 
ZALNIERIUTE, M.; BENNETT MOSES, L. y WILLIAMS, G. “The Rule of Law…” op. cit. pp. 425-
455. 
91 El algoritmo, o más bien sus resultados e informaciones, podrán utilizarse como medio de prueba y 
pasar a formar parte del procedimiento administrativo, pero en ese caso, deberán serle de aplicación todas 
las garantías de dicho procedimiento. MONTOYA MARTÍN, E. “Consideraciones sobre las actuaciones 
previas y su incidencia en el procedimiento administrativo sancionador y en las garantías del 
administrado”, Documentación Administrativa, n 280-281, 2008. 
[27] 
 
algoritmo92. Y en este sentido, si bien este tipo de actos administrativos no afectan de 
forma tan evidente los derechos individuales como las sanciones, conviene tener 
presente que el TS, en sus sentencia de 6 de mayo de 2011, estableció que “los valores 
que subyacen a los derechos fundamentales en juego exigen a las diligencias de prueba 
en el orden administrativo unas mínimas condiciones objetivas y subjetivas que hagan 
posible su fiabilidad”. 
 
Si analizamos todos estos factores para el caso de los sistemas de alertas estudiados, 
podemos entender que: 
 
(1) Una eventual sanción o condena por corrupción o mala praxis afecta, sin duda, a 
derechos individuales de los ciudadanos (empleados públicos) de forma notablemente 
grave; 
(2) El grado o la efectividad de revisión humana en los sistemas de IA utilizados como 
ejemplo se antoja significativo, ya que los inspectores o encargados de iniciar y tramitar 
el procedimiento administrativo deben llevar a cabo sus investigaciones de forma 
autónoma, sin que los resultados del sistema de IA puedan entenderse más que como 
indicios. El peso relativo de la decisión del algoritmo en la decisión final por parte del 
órgano supervisor de sancionar o no, o de realizar las instrucciones o recomendaciones 
oportunas, es por tanto, o al menos formalmente, considerablemente reducido; 
(3) Una conclusión o resultado erróneo del algoritmo dará lugar, por tanto, y en todo 
caso, a una investigación infructuosa o que deba ser archivada. No obstante, esta 
investigación crea ya, per se, ciertos efectos negativos sobre el empleado que la recibe, 
esencialmente relacionados con la posible crítica o condena social, inversión de tiempo 
en la defensa o justificación de su actuación en el procedimiento, y otros posibles 
problemas en el trabajo. Un error por parte del algoritmo, por tanto,