TFG_GUILLERMO_VAQUERO_DE_MIGUEL

Vista previa del material en texto

Universidad Politécnica
de Madrid
Escuela Técnica Superior de
Ingenieros Informáticos
Grado en Ingeniería Informática
Trabajo Fin de Grado
Aproximaciones a la Explicación de
Decisiones Algorítmicas:
Inteligencia Artificial Explicable
Autor: D. Guillermo Vaquero de Miguel
Tutor: D. Luis Magdalena Layos
Madrid, Julio de 2020
Este Trabajo Fin de Grado se ha depositado en la ETSI Informáticos de la
Universidad Politécnica de Madrid para su defensa.
Trabajo Fin de Grado
Grado en Ingeniería Informática
Título: Aproximaciones a la Explicación de Decisiones Algorítmicas:
Inteligencia Artificial Explicable
Julio de 2020
Autor: D. Guillermo Vaquero de Miguel
Tutor: D. Luis Magdalena Layos
Departamento de Matemática Aplicada a las TIC
ETSI Informáticos
Universidad Politécnica de Madrid
Agradecimientos
A mi tutor Luis Magdalena,
quien me ha guiado y ayudado en la realización de este proyecto. Ante todas las
dificultades que se han presentado, siempre ha estado dispuesto a dedicarme su
tiempo y su conocimiento. Gracias por tu apoyo y compañía durante esta bonita eta-
pa la cual hemos compartido.
A mi familia,
quienes han sido culpables de mis éxitos y mi principal apoyo en los momentos
difíciles. En especial, gracias a mi padre y a mi madre por su apoyo incondicional
durante toda mi vida, principalmente a lo largo de esta etapa académica.
3
Resumen
La Inteligencia Artificial Explicable (XAI) supone un conjunto de métodos y técni-
cas desarrollados para transformar la Inteligencia Artificial (AI) en términos de trans-
parencia, auditabilidad y trazabilidad.
Constituye, por tanto, el punto de partida para garantizar la correcta inclusión de la
inteligencia artificial y los algoritmos de aprendizaje automático en nuestra sociedad,
los cuales poseen actualmente un alto grado de incidencia en la misma.
A lo largo del proyecto se han expuesto los motivos que han generado la necesidad
de la aparición de la XAI y, además, se ha profundizado en sus características más
representativas y en los objetivos que persigue. También se han detallado los princi-
pales actores involucrados, así como el papel que realiza en los sectores económicos
más importantes como el sector sanitario, el sector financiero o el sector industrial, o
en los sectores con mayor potencial a futuro como el sector judicial o automovilístico.
Finalmente, se han examinado sus principales condicionantes legislativos y se han
analizado las principales técnicas explicables empleadas actualmente.
Por último, se ha realizado una conclusión en líneas generales de la situación de la
XAI en la actualidad y en líneas futuras.
5
Abstract
Explainable Artificial Intelligence (XAI) is a set of methods and techniques develo-
ped to transform Artificial Intelligence (AI) in terms of transparency, auditability, and
traceability.
It constitutes, therefore, the starting point to guarantee the correct inclusion of AI
and automatic learning algorithms in our society, which currently have a high degree
of incidence.
Throughout the project, the reasons that have generated the need for the appearance
of the XAI have been explained and, also, the most representative characteristics and
the objectives it pursues have been deepened. The main actors involved have also
been detailed, as well as the role it plays in the most important economic sectors,
such as the health, financial and industrial sectors, or in the sectors with the grea-
test potential for the future, such as the judicial and automobile sectors. Lastly, its
main legislative conditions have been examined and the main explainable techniques
currently used have been analysed.
Finally, a general conclusion has been drawn regarding the situation of the XAI at
present and in the future.
7
Tabla de contenidos
Resumen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
Abstract . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1. Introducción 13
1.1. Inteligencia Artificial Explicable:
Acercamiento y análisis preliminar. . . . . . . . . . . . . . . . . . . . . . . 13
1.2. Planteamiento del problema y objetivos del proyecto. . . . . . . . . . . . . 14
2. Explicabilidad: ¿qué es exactamente? 15
2.1. Principios básicos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
2.1.1. Fiabilidad del sistema . . . . . . . . . . . . . . . . . . . . . . . . . . 16
2.1.2. Causalidad del sistema . . . . . . . . . . . . . . . . . . . . . . . . . 16
2.1.3. Transferibilidad del sistema. . . . . . . . . . . . . . . . . . . . . . . 16
2.1.4. Imparcialidad del sistema. . . . . . . . . . . . . . . . . . . . . . . . 17
2.1.5. Accesibilidad del sistema. . . . . . . . . . . . . . . . . . . . . . . . . 17
2.1.6. Interactividad del sistema. . . . . . . . . . . . . . . . . . . . . . . . 17
2.1.7. Responsabilidad del sistema con la privacidad de los datos. . . . . 17
2.1.8. Sistema informativo. . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.2. Principales beneficios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.2.1. Solución de problemas clásicos de sistemas IA. . . . . . . . . . . . 18
2.2.1.1. Sesgo algorítmico de los algoritmos ML. . . . . . . . . . . 18
2.2.1.2. Correlación existente entre la precisión y explicabilidad
del sistema. . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
2.2.2. Detección de errores y vulnerabilidades. . . . . . . . . . . . . . . . 19
2.2.3. Incremento del rendimiento. . . . . . . . . . . . . . . . . . . . . . . 19
2.2.4. Transparencia. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.2.5. Aumento de confianza en la Inteligencia Artificial. . . . . . . . . . 20
3. Principales actores relacionados. 21
3.1. Desarrolladores del sistema. . . . . . . . . . . . . . . . . . . . . . . . . . . 22
3.2. Expertos con conocimientos previos y usuarios del sistema. . . . . . . . 22
3.3. Personas afectadas. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
3.4. Cuerpos regulatorios. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
3.5. Gestor del sistema. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
3.6. Stakeholders. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
4. Principales sectores involucrados. 25
4.1. Sector sanitario. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
4.1.1. Aplicaciones de la IA en el sector sanitario . . . . . . . . . . . . . . 25
4.1.1.1. Modelos basados en percepción visual. . . . . . . . . . . . 26
9
TABLA DE CONTENIDOS
4.1.1.2. Modelos basados en interpretación matemática. . . . . . 27
4.1.1.3. Modelos basados en el procesamiento y comparación de
datos clínicos. . . . . . . . . . . . . . . . . . . . . . . . . . 28
4.1.2. Actores en el sector sanitario. . . . . . . . . . . . . . . . . . . . . . 28
4.1.3. Factores condicionantes de la IA el sector sanitario. . . . . . . . . 29
4.1.4. Conclusión. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
4.2. Sector financiero. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
4.2.1. Aplicaciones de la IA en el sector financiero. . . . . . . . . . . . . . 31
4.2.2. Actores en el sector financiero. . . . . . . . . . . . . . . . . . . . . . 34
4.2.3. Factores condicionantes de la IA en el sector financiero. . . . . . . 34
4.2.4. Conclusión. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
4.3. Sector industrial. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
4.3.1. Aplicaciones de la IA en el sector industrial. . . . . . . . . . . . . . 39
4.3.2. Actores en el sector industrial. . . . . . . . . . . . . . . . . . . . . . 40
4.3.3. Factores condicionantes de la IA en el sector industrial. . . . . . . 41
4.3.4. Conclusión. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
4.4. Otros sectores . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
4.4.1. Sector Judicial . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . 44
4.4.2. Sector automovilístico. . . . . . . . . . . . . . . . . . . . . . . . . . 45
5. Metodología XAI. 47
5.1. Principales técnicas empleadas. . . . . . . . . . . . . . . . . . . . . . . . . 47
5.1.1. LIME . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
5.1.2. Árboles de decisión. . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
6. Resultados y conclusiones 55
10
Índice de figuras
1.1. Esquema del funcionamiento de un algoritmo de caja negra (blackbox) . 14
2.1. Ilustración gráfica de la correlación existente entre la precisión y la expli-
cabilidad del algoritmo, y el efecto de la inteligencia artificial explicable
(color verde). [2] . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
3.1. Representación gráfica de los objetivos y las diferentes explicaciones que
puede proporcionar un algoritmo en función de la audiencia a la que
están destinadas. Imagen obtenida en la fuente [4]. . . . . . . . . . . . . 21
4.1. Descripción gráfica de un proceso de decisión mostrando la diferente
influencia de cada variable de entrada. [12] . . . . . . . . . . . . . . . . . 26
4.2. Mapa de calor generado empleando tecnología Grad-CAM. [12] . . . . . . 27
4.3. Representación gráfica de la presencia de los sistemas ML en la cadena
de valor del sector financiero. [31] . . . . . . . . . . . . . . . . . . . . . . . 32
4.4. Explicación proporcionada por el servicio ExpliClas. . . . . . . . . . . . . 33
4.5. Representación gráfica de los organismos reguladores de la ESFS: Eu-
ropean System of Financial Supervision, y las representaciones locales
españolas [34]. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
4.6. Diagrama de barras representando la inversion en billones de euros (bn
EUR) en IA entre 2012 y 2017 en el sector financiero [41] . . . . . . . . . 36
4.7. Representación del creciente número de publicaciones científicas sobre
la inteligencia artificial explicable (XAI) entre 2004 y 2018. [41] . . . . . 37
4.8. Estimación del impacto futuro de la IA en términos de productividad la-
boral, personalización, ahorro de tiempo y calidad en la economía mun-
dial, llegando a alcanzar 15.7 trillones de dólares americanos en 2030.
[28] (PWC) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
4.9. Representación gráfica de los diferentes factores influyentes en el desa-
rrollo hacia la industria inteligente. [50] . . . . . . . . . . . . . . . . . . . 39
4.10.Representación gráfica del valor añadido bruto (VAB) de la industria al
PIB español (color azul) y al PIB europeo (color amarillo), y el diferencial
entre ambos (diagrama de barras de color rojo). Fuente: Ministerio de
Industria, Comercio y Turismo: MincoTur. . . . . . . . . . . . . . . . . . . 42
5.1. Clasificación de las técnicas XAI más representativas en la actualidad
[41]. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
5.2. Representación gráfica de la explicación generada por LIME para la cla-
sificación de documentos llevada a cabo por la CNN de Google. [5] . . . . 50
11
ÍNDICE DE FIGURAS
5.3. Representación gráfica de la aplicación de LIME a un proceso de predic-
ción fotográfico sobre la presencia de un gato. [72] . . . . . . . . . . . . . 50
5.4. Representación gráfica de la aplicación de LIME a un proceso de pre-
dicción fotográfico sobre la presencia de un perro labrador y diferentes
objetos. Las probabilidad obtenidas fueron: Guitarra eléctrica p=0.32 ,
Guitarra acústica p = 0.24 y Perro Labrador p=0.21. [5] . . . . . . . . . 51
5.5. Árbol de decisión para predecir el consumo de gas de viviendas alema-
nas. El primer número que aparece en cada nodo hace referencia al
consumo estimado de gas en esa rama, mientras que el segundo hace
referencia al porcentaje de viviendas de la muestra que pertenecen a ese
nodo. [73] . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
5.6. Conjunto de reglas lógicas del árbol de decisión de la figura 5.5. [73] . . 53
12
Capítulo 1
Introducción
1.1. Inteligencia Artificial Explicable:
Acercamiento y análisis preliminar.
Hoy en día, la sociedad se encuentra inmersa en un proceso constante de transfor-
mación digital. Las personas, con el fin de optimizar procesos, así como su tiempo y
recursos, delegan decisiones en sistemas dotados de inteligencia artificial, los cuales
obtienen progresivamente un mayor grado de influencia en nuestras vidas.
Entendemos como Inteligencia Artificial el área científica de la informática encar-
gada de la creación de algoritmos y mecanismos automatizados, que mediante su
implantación en un sistema tienen como objetivo optimizar el rendimiento de un pro-
ceso o aumentar las posibilidades de éxito de una tarea.
Este proceso de transformación se ve reflejado tanto en la vida familiar como en la
vida laboral de las personas, y, por ende, es perceptible también a mayor escala: en
múltiples sectores y a diferentes niveles de actuación. Desde el nivel más básico, co-
mo el tratamiento de los datos de cada usuario por parte de los diferentes buscadores
para mostrarle anuncios relacionados con sus intereses, pasando por compañías que
basan, por ejemplo, su proceso de contratación en sistemas que analizan el rendi-
miento a futuro según qué individuos contraten, hasta un nivel más elevado como en
el caso de entidades económicas que delinean su camino a seguir en función de la
taxonomía de los mercados que esbocen los sistemas mencionados anteriormente.
Concisamente, gran parte de las decisiones que influyen en nuestro día a día no son
tomadas por humanos, si no que son tomadas por sistemas inteligentes.
Por lo tanto, ha surgido la necesidad de intentar trazar la estructura de dichos siste-
mas y entender cómo operan los distintos algoritmos empleados, pero su naturaleza
supone un factor limitante para ello puesto que se trata de sistemas opacos, clasifi-
cados como algoritmos de caja negra.
13
1.2. Planteamiento del problema y objetivos del proyecto.
Figura 1.1: Esquema del funcionamiento de un algoritmo de caja negra (blackbox)
Esta terminología proviene del estudio desde el punto de vista de las entradas que
recibe un algoritmo y las salidas que produce sin poder observar su funcionamiento
interno. La Figura 1.1 ilustra esta situación, mostrando cómo la relación entre en-
tradas y salidas del sistema se produce a través de un objeto (Caja Negra) del que
desconocemos su funcionamiento. El término Caja Negra traslada un significado de
opacidad, de no poder ver lo que hay en el interior.
En otras palabras, mediante el uso de estos algoritmos podemos llegar a comprender
qué es lo que hacen, pero no cómo lo hacen, constituyendo así el punto de partida
de la Inteligencia Artificial Explicable (XAI).
1.2. Planteamiento del problema y objetivos del proyecto.
Llegada esta situación, ha surgido la necesidad de explicar los diferentes sistemas
inteligentes que tanto influyen en nuestra sociedad. Es preciso, por ende, conocer
cómo operan los diferentes algoritmos para poder seguir delegando la toma de deci-
siones en ellos.
Conocer cómo las entradas influyen en las salidas; conocer concretamente cómo se
toman las diferentes decisiones, para poder depositar así plena confianza en los
algoritmos, dejando de ser, en consecuencia, algoritmos de caja negra.
De esta forma, es posible saber a ciencia cierta si una decisión tiene sentido o si
una decisión es justa acorde a la regulación pertinente (puesto que las personas
tenemos el derecho a la explicación de las decisiones que nos influyen) así como
otras múltiples ventajas que se analizarán detalladamente a lo largo del proyecto.
El objetivo, por tanto, es crear una serie de técnicas que produzcan modelos expli-
cables a partir de los sistemas de caja negra empleados actualmente tratando de
mantener su nivel de precisión.
Recapitulando, y tal como se ha mencionado anteriormente, a lo largo del documen-
tose revisarán los beneficios de la Inteligencia Artificial Explicable, los diferentes
actores implicados desde un punto de vista generalista, la variación del nivel de expli-
cabilidad según a qué actores esté destinada la explicación, los principales sectores
afectados, las principales técnicas empleadas y la conclusión de cara al futuro de la
Inteligencia Artificial Explicable.
14
Capítulo 2
Explicabilidad: ¿qué es
exactamente?
En el capítulo de Introducción se ha plasmado de dónde surge la necesidad de revelar
cómo operan los diferentes algoritmos para llegar a entender no tan solo qué hacen,
si no cómo lo hacen. Se ha planteado por primera vez el concepto de explicabilidad.
Para ello es necesario establecer un punto común de entendimiento acerca de dicho
término en el contexto de la Inteligencia Artificial.
Este es el objetivo del presente capítulo: esbozar una definición concreta de explica-
bilidad, exponer cuáles son sus principios básicos que la caracterizan y por último,
explicar los diversos beneficios que conlleva.
Uno de los principales problemas que obstaculiza la comprensión del término “ex-
plicabilidad” es la confusión de su acepción con la del término “interpretable”.
Son conceptos que, aunque a priori estén fuertemente relacionados, son plenamente
diferentes. [4]
Entendemos como interpretabilidad la capacidad implícita del sistema que permite
que sea lógico a los ojos del humano que lo observa. Por el contrario, la explicabili-
dad hace referencia a la capacidad ‘activa’ del sistema para llevar a cabo acciones o
procesos concretos que tienen por objetivo detallar su funcionamiento interno.
Es decir, la explicabilidad no se centra en si el diseño de un algoritmo es intuitivo,
lo cual está relacionado con su interpretabilidad, si no que se centra en el comporta-
miento del propio algoritmo para facilitar la comprensión de su actividad intrínseca;
en los detalles o razones que un algoritmo proporciona para clarificar su funciona-
miento. Por ende, un algoritmo puede llegar a ser explicado mediante una serie de
técnicas, pero su interpretabilidad es una característica que parte del diseño del al-
goritmo en sí mismo.
Llegados a este punto, podemos observar que la propia definición de explicabilidad
parte de una ambigüedad puesto que la comprensión de los detalles que pueda pro-
porcionar el algoritmo dependerá de la audiencia a la que esté destinado. Teniendo
en cuenta esta observación, una definición más acertada de explicabilidad en el área
de la Inteligencia Artificial podría ser la siguiente:
15
2.1. Principios básicos
“Partiendo de una audiencia dada, un sistema con IA explicable (XAI) 1.1 es aquel
sistema que produce detalles o razones para clarificar su funcionamiento con el fin de
simplificar su comprensión”. [4]
Esta definición es el producto común de las contribuciones por parte de los principa-
les organismos relacionados, y es la definición a la que se hará referencia a lo largo
del proyecto, asumiendo que el resultado de la aplicación de las diferentes técnicas
que persiguen la explicabilidad de los sistemas radicarán en la audiencia a la que
estén destinados.
2.1. Principios básicos
En los últimos años, los principales organismos han expuesto una serie de metas en
las que se deben centrar los diferentes algoritmos para obtener un mayor grado de
explicabilidad. No obstante, no existe por consenso un criterio común y en ningún
artículo científico se recoge una serie de pautas universales que, tras cumplirlas,
doten al sistema de una explicabilidad mínima.
Por ello, se sintetizan y enumeran a continuación las principales definiciones que
constituyen los principios básicos por los que se debe regir un sistema de Inteligencia
Artificial Explicable [4] [6].
2.1.1. Fiabilidad del sistema
La gran mayoría de los organismos coinciden en que la búsqueda de la fiabilidad del
sistema constituye el primer objetivo de los modelos explicables. La fiabilidad supone
la capacidad del sistema para actuar como está previsto y manteniendo el máximo
nivel de precisión ante cualquier situación problemática, lo cual es indispensable
para la confianza por parte de los usuarios del sistema y afectados por el mismo.
2.1.2. Causalidad del sistema
Otro principio común a múltiples organismos es el encontrar correlaciones entre las
variables involucradas en el proceso de un sistema. La investigación de las relaciones
causales es un campo que se ha estudiado a lo largo del tiempo con el objetivo de
desvelar las relaciones de causa-efecto, lo cual arrojaría luz a la cuestión de cómo
afectan los inputs o causas a los outputs o efectos del algoritmo.
2.1.3. Transferibilidad del sistema.
La transferabilidad de un sistema hace referencia a la posibilidad de trasladar el
entendemiento de sus relaciones causales a otros sistemas similares. Es decir, un
sistema transferible es un sistema que gracias al entendimiento de sus procesos per-
mite reutilizar ese conocimiento en otro sistema parecido, lo cual es posible gracias a
que el sistema original es explicable. No obstante, existen casos en los que el entendi-
miento de un modelo puede acabar en el uso incorrecto de presunciones trasladadas
a otro sistema, por lo que es necesario estar seguros de la relacion directa entre ellos,
pues no todos los sistemas transferibles deben ser considerados explicables.
16
Explicabilidad: ¿qué es exactamente?
2.1.4. Imparcialidad del sistema.
Desde un punto de vista social, la imparcialidad debe ser considerada como la ca-
pacidad del sistema para actuar de forma legítima y no discriminatoria, acorde con
la regulación pertinente de cada país. La incidencia de los algoritmos es cada vez
mayor en el día a día de las personas, condicionando plenamente su vida, por lo que
es absolutamente necesario asumir un comportamiento ético y justo por parte del
algoritmo.
2.1.5. Accesibilidad del sistema.
La explicabilidad de un sistema permite que personas de carácter no técnico puedan,
en un momento dado, aprender a trabajar con un algoritmo que previamente no
podían comprender. Esta característica se conoce como accesibilidad. Un sistema es
accesible cuando usuarios no expertos pueden emplear dicho sistema adaptado a las
necesidades concretas de cada uno.
2.1.6. Interactividad del sistema.
Ciertos organismos incluyen la habilidad de un modelo de ser interactivo con sus
usuarios como uno de los principios a seguir para lograr una correcta explicabilidad.
Mediante la interacción con el sistema, se puede fomentar el correcto entendimien-
to del mismo, lo cual afianza su comprensión y facilita la posterior deposición de
confianza en él.
2.1.7. Responsabilidad del sistema con la privacidad de los datos.
Como se ha explicado anteriormente en el apartado de Imparcialidad del sistema, los
algoritmos cada vez tienen más presencia en el día a día de las personas. Por esta
razón, el uso de los datos obtenidos de las mismas por parte del algoritmo debe ser
siempre responsable y acorde a la regulación pertinente de cada país.
2.1.8. Sistema informativo.
Los sistemas explicables son usados principalmente en el proceso de la toma de deci-
siones de un problema dado. Por lo tanto, es indispensable que el sistema produzca
y facilite toda la información necesaria acerca del problema para poder garantizar el
correcto entendimiento de la situación y poder tomar la decisión más óptima para
cada situación.
2.2. Principales beneficios
A lo largo del documento se ha demostrado que la explicabilidad se ha convertido
en una necesidad imperativa para la sociedad. No obstante, el proceso de explicar
un sistema no sólo satisface tal necesidad, si no que además proporciona múltiples
ventajas.
17
2.2. Principales beneficios
2.2.1. Solución de problemas clásicos de sistemas IA.
2.2.1.1. Sesgo algorítmico de los algoritmos ML.
Uno de los principales problemas que ha afectado a los sistemas machine learning
a lo largo de su historia, y que se soluciona gracias a la ‘apertura’ de su caja negra
es el sesgo algorítmico.
MachineLearning o Aprendizaje Automático es una rama de la inteligencia artificial
cuyo objetivo es desarrollar técnicas que permitan que los algoritmos aprendan. Se
dice que un algoritmo aprende cuando su desempeño mejora con la experiencia; es
decir, cuando adquieren de forma autónoma (sin intervención humana) habilidades que
no estaban presentes en su diseño original. [10]
El sesgo algorítmico, por definición, es un error sistemático que puede incidir en el co-
rrecto funcionamiento del algoritmo produciendo outputs erróneos. Este error parte
de la premisa de que la toma de decisiones en las personas a menudo es defectuosa;
siendo un cúmulo de decisiones mal tomadas o ejecutadas la causa de este error.
La necesidad de eliminar el sesgo es doble: por razones de fiabilidad (que un modelo
esté haciendo lo que debería hacer) y por razones de transparencia y equidad para
los consumidores y demás partes interesadas.
Actualmente, se puede distinguir el sesgo en tres variantes para poder comprender
de dónde procede exactamente: [7] [8]
Sesgo de entrada.
El sesgo de entrada hace referencia al error sistemático en un sistema machine
learning que es producido por la naturaleza de los datos con los que opera. Si los
datos de origen están sesgados porque carecen de ciertos tipos de información
relevante para la toma de decisiones, no son representativos o reflejan sesgos
históricos, el sistema no podrá alcanzar el rendimiento necesario para tomar
decisiones óptimas.
Sesgo de programación.
El sesgo de programación incurre en el proceso de diseño del algoritmo original,
siendo los humanos propensos a escribir en el algoritmo sus propios sesgos de
parcialidad o toma de decisiones defectuosa. Por ende, si el diseño original del
sistema es defectuoso, su funcionamiento también lo será.
Sesgo provocado en el tiempo.
Esta variedad reside en la propia naturaleza de los algoritmos inteligentes: los al-
goritmos machine learning pueden aprender y modificarse a sí mismos a través
de contactos sucesivos con usuarios humanos. Este sesgo se debe a la asimila-
ción de datos existentes o la introducción de datos nuevos, pudiendo dar lugar
a modificaciones incorrectas en el tiempo que sean notorias en los outputs.
2.2.1.2. Correlación existente entre la precisión y explicabilidad del sistema.
Otro de los principales problemas que ha afectado a los sistemas IA durante su desa-
rrollo es la correlación existente entre el nivel de precisión logrado por el sistema
y la complejidad del mismo. En consecuencia, conforme aumenta la complejidad
del algoritmo, disminuye su trasparencia.
18
Explicabilidad: ¿qué es exactamente?
Por esta razón, la inteligencia artificial explicable supone el punto de partida para
tratar de mantener el nivel de precisión de los sistemas machine learning a la vez que
se incrementa la transparencia y disminuye su complejidad, aumentando por tanto
la explicabilidad. Este objetivo se ilustra en la figura 2.1. Sin embargo, es un proceso
complejo que no siempre garantiza mantener el mismo nivel de precisión, pero palia
considerablemente la proporcionalidad inversa entre ambas propiedades.
Figura 2.1: Ilustración gráfica de la correlación existente entre la precisión y la expli-
cabilidad del algoritmo, y el efecto de la inteligencia artificial explicable (color verde).
[2]
2.2.2. Detección de errores y vulnerabilidades.
Gracias a que la explicabilidad de un sistema permite desengranar cada proceso
que se lleva a cabo, la dificultad que conlleva el proceso de detección de errores y
vulnerabilidades en el código del algoritmo se ha reducido considerablemente. De
esta forma, se incrementa la fiabilidad del sistema.
2.2.3. Incremento del rendimiento.
Debido a la opacidad de los sistemas de caja negra, mejorar el rendimiento de los
procesos era una tarea técnicamente imposible. Gracias a la explicabilidad podemos
acceder a un mundo nuevo de posibilidades en el que se puede mejorar drástica-
mente los algoritmos, incrementando de esta forma el rendimiento de los mismos en
todos los sectores involucrados. Por ejemplo, el aumento de rendimiento permitiría
crear una economía más fuerte o sostenible en ciertos países, mejorar la detección de
enfermedades en el sector sanitario, conocer patrones de desarrollo para favorecer el
crecimiento de los lugares más empobrecidos,etc.
19
2.2. Principales beneficios
2.2.4. Transparencia.
La Inteligencia Artificial Explicable no sólo supone un avance para poder ’abrir’ las ca-
jas negras, si no que también se ha convertido en una gran oportunidad de aumentar
la transparencia e imparcialidad de la toma de decisiones basadas en la información
obtenida.
2.2.5. Aumento de confianza en la Inteligencia Artificial.
El hecho de clarificar el funcionamiento de los sistemas fomentará confianza por par-
te de la sociedad en las nuevas tecnologías. De esta forma se delegará más en ellas,
se destinarán cada vez más recursos económicos a su expansión y perfeccionamiento
y de esta forma se permitirá aprovechar el gran margen de beneficios que supone su
uso frente a los posibles riesgos [1].
20
Capítulo 3
Principales actores relacionados.
Observando la definición de explicabilidad propuesta en el apartado 2 ’Explicabili-
dad ¿qué es exactamente?’, podemos comprobar que la explicabilidad es una pro-
piedad que varía en función de la audiencia a la que esté destinada la explicación del
algoritmo.
La interacción con un sistema XAI puede realizarse desde diferentes perspectivas
o roles; de ahora en adelante actores. Cada actor poseerá conocimientos previos
diferentes y tendrán distintos objetivos entre sí. Por ejemplo, con el mismo sistema
interactúan directamente tanto los programadores que lo diseñan o los usuarios que
se apoyan en él para desempeñar su trabajo, así como indirectamente los usuarios
afectados por la toma de decisiones del mismo.
Por tanto, podemos afirmar que cada actor tendrá una interacción concreta con el
sistema, y una ’necesidad de entendimiento’ diferente. La figura 3.1 ilustra esta
idea.
Figura 3.1: Representación gráfica de los objetivos y las diferentes explicaciones que
puede proporcionar un algoritmo en función de la audiencia a la que están destina-
das. Imagen obtenida en la fuente [4].
21
3.1. Desarrolladores del sistema.
A continuación, se realizará una taxonomía general de los principales actores que
interaccionan con un sistema XAI abordando cómo es la ’necesidad de entendimiento’
para cada uno de ellos [4] [3]. Cabe destacar que esta taxonomía variará en función
de cada situación, pudiendo existir diferentes actores a los expuestos.
3.1. Desarrolladores del sistema.
Los desarrolladores son los actores encargados del diseño del algoritmo. Entre sus
objetivos destaca la mejora del rendimiento del sistema, el control de errores, la de-
tección de vulnerabilidades en el código, el incremento de la escalabilidad del sistema
y la posibilidad de realizar modificaciones manuales.
Por ello, estos actores necesitarán un alto grado de explicabilidad para satisfacer
su necesidad de entendimiento, de tal forma que al acceder al código del algoritmo
puedan conocer cómo opera con detalle.
3.2. Expertos con conocimientos previos y usuarios del sis-
tema.
Los expertos con conocimientos previos son los actores que emplean en su campo
de trabajo un sistema ML para mejorar la toma de decisiones en un contexto dado.
Esta toma de decisiones incide directamente en el aumento del rendimiento y pro-
ductividad del ususario, el aumento del valor generado, la automatización de tareas
permitiendo optimizar recursos y tiempo,etc.
Un ejemplo concreto podría ser el de un profesional sanitario que emplee un sistema
ML con el objetivo de diagnosticar una enfermedad con un alto grado de precisión.
Por consiguiente, los expertos con conocimientos previos y a su vez, usuarios de
un sistema ML, necesitarán la explicabilidad necesaria para poder entender cómo
funciona el algoritmo en su dominio de trabajo con el fin de encontrar la mejor forma
de complementarse:conocer qué patrones son usados, conocer la naturaleza de la
toma de decisiones...
3.3. Personas afectadas.
Las personas que ven su vida afectada por las decisiones tomadas por un algorit-
mo son actores de gran importancia puesto que constituyen una de las principales
motivaciones de la explicabilidad: tienen derecho a la explicación acerca de cómo se
ha realizado ese proceso, el cual debe haberse desarrollado de forma justa y con un
tratamiento correcto de sus datos personales.
En consecuencia, las personas afectadas únicamente requieren una explicación su-
perficial de la generación de los outputs (decisiones) del algoritmo que les conciernen
en función de sus input (situación personal de cada una).
22
Principales actores relacionados.
3.4. Cuerpos regulatorios.
A raíz del tratamiento de los datos privados de las personas se convierte en necesaria
la existencia de un cuerpo regulatorio que garantice el correcto funcionamiento del
sistema en todos los ámbitos relacionados: tratamiento pulcro de los datos, regula-
ciones, auditorías... El cuerpo regulatorio aplicará un punto de vista ético al sistema.
En cuanto al grado de explicabilidad, los cuerpos regulatorios exigirán conocer el
funcionamiento del algoritmo con el fin de comprobar si cumple con la legislación
pertinente de cada país en el que opere el sistema.
3.5. Gestor del sistema.
El gestor del sistema es una figura que surge como nexo de unión entre los desarro-
lladores, lo usuarios del sistema y los cuerpos regulatorios. El gestor tiene múltiples
objetivos, entre los que destacan garantizar el correcto funcionamiento del sistema,
asegurar el cumplimiento de la normativa, poner en conocimiento de los desarrollado-
res las necesidades requeridas por los usuarios y transmitir la información pertinente
por parte de los cuerpos regulatorios a los desarrolladores.
Para poder desarrollar sus funciones, los gestores no necesitan un nivel de conoci-
miento tan profundo como en el caso de los desarrolladores (por lo que no necesitan
su mismo nivel de explicabilidad) pero sí lo suficientemente extenso para poder ga-
rantizar una correcta gestión del sistema.
3.6. Stakeholders.
Entendemos como stakeholders a los inversores y demás partes interesadas con áni-
mo de lucro en relación al valor generado por el sistema XAI. Los stakeholders, en
consecuencia, requerirán saber de una forma cuantitativa el valor que genera el sis-
tema XAI en pos de su beneficio.
Respecto al grado de explicabilidad del sistema, los stakeholders no necesitan com-
prender cómo funciona si no que necesitan conocer el funcionamiento desde un pun-
to de vista ecónomico, centrado en el análisis de riesgos, beneficios y ’pros y contras’
de cada modificación al sistema.
23
Capítulo 4
Principales sectores involucrados.
4.1. Sector sanitario.
Recientemente, la IA mediante los sistemas ML ha obtenido protagonismo en el sector
sanitario con un gran volumen de proyectos de investigación basados en el diagnósti-
co automático y en la prognosis de enfermedades. No obstante, se trata de un sector
restrictivo pues a diferencia de otros sectores existen factores limitantes que deben
ser tomados en cuenta.
Las decisiones tomadas en el sector sanitario influyen directamente en la salud de las
personas, por lo que la transparencia debe ser máxima y el riesgo mínimo. Debe ser
posible explicar la toma de decisiones y predicciones del algoritmo para la posterior
comprensión por parte de los expertos, así como garantizar su rendimiento.
Además, a parte de las cuestiones que puedan surgir desde un punto de vista ético
en relación con el tratamiento de los datos y la responsabilidad de las posibles con-
secuencias que puedan surgir, la incidencia de los sistemas ML en el sector sanitario
puede suponer una catástrofe si se desarrolla con intenciones maliciosas.
Por consiguiente, los cuerpos regulatorios pertinentes, en concreto la UE, mediante
el Reglamento General de Protección de Datos (GPDR) 2016/679 [14] basado en el
ISO/IEC 27001 [16], aplicado el 25 de mayo de 2018, dificultó enormemente la pre-
sencia de modelos “blackbox” en este sector y, por tanto, la XAI se ha posicionado
como el punto de partida para satisfacer las necesidades anteriormente mencionadas,
dando lugar a la presencia progresiva de los sistemas ML en el sector sanitario.
4.1.1. Aplicaciones de la IA en el sector sanitario
A continuación, se categorizarán las principales aplicaciones de la inteligencia artifi-
cial, concretamente de de los sistemas machine learning, en el sector sanitario. [12]
[13]
25
4.1. Sector sanitario.
4.1.1.1. Modelos basados en percepción visual.
Esta categoría hace referencia a los sistemas ML que generan imágenes para propor-
cionar a los expertos información interpretable complementaria sobre una cuestión
clínica. Esta información también sirve para justificar su lógica interna. De esta for-
ma, las relaciones causales entre las entradas y salidas del algoritmo son perceptibles
de forma visual, permitiendo comprender con detalle su proceso de decisión tal como
se ilustra en la figura 4.1, la cual muestra cómo un algoritmo predice que un paciente
padece gripe a partir de una serie de síntomas. Además, se muestra como mediante
la aplicación de LIME [2] se destaca la influencia de cada síntoma en la predicción
final.
Figura 4.1: Descripción gráfica de un proceso de decisión mostrando la diferente
influencia de cada variable de entrada. [12]
La información clínica puede mostrarse con imágenes en dos dimensiones (2D) o con
formatos más complejos como NIFTI [20] o DICOM [21], que contiene imágenes en 3D
y hasta en 4D (volúmenes en 3D con evolución espaciotemporal). Esta información no
es fácil de obtener puesto que requiere el consentimiento por parte de los pacientes y
otras barreras burocráticas.
Así mismo, se requiere un gran rendimiento computacional para poder procesar los
datos de manera que no comprometan el análisis. Un ejemplo de esta tecnología es la
tecnología Grad-CAM, que permite generar mapas de calor en 3D obtenidos a partir
de tomografía crioelectrónica celular.
Gradient-weighted Class Activation Mapping (Grad-CAM) [19] es un método que extrae
gradientes a partir de la capa final de una red neuronal convolucional (CNN) [18] y
emplea esa información para destacar las regiones probables y responsables de un
suceso.
26
Principales sectores involucrados.
Las posibilidades de estos mapas de calor son muy extensas, destacando entre ellas
la posibilidad de conocer la localización exacta de células cancerígenas cuando se ha
formado un tumor, o la posibilidad de poder conocer la región exacta de una lesión
celular. En la figura 4.2 se muestra cómo mediante la aplicación de esta tecnología
se localiza la región donde se ha producido una lesión cerebral.
Figura 4.2: Mapa de calor generado empleando tecnología Grad-CAM. [12]
4.1.1.2. Modelos basados en interpretación matemática.
De forma genérica, los modelos matemáticos predefinidos proporcionan de forma
cuantitativa el efecto que tiene una variable de entrada en la salida de un sistema.
Estos modelos se basan en información empírica y en la observación de patrones.
En relación con el sector sanitario, gracias al rendimiento computacional de ciertos
algoritmos ML basados en modelos matemáticos, los expertos pueden tratar de cuan-
tificar (y por consiguiente, llegar a interpretar de forma más precisa) la influencia
de ciertas variables medibles en el paciente en procesos físicos del cuerpo humano.
Por ejemplo, basándose en el modelo cinético del riego sanguíneo expuesto en la
ecuación 4.1 y analizado en profundidad en [22], los expertos pueden conocer de
forma cuantitativa la influencia de variables como la presión arterial1 (la cual se
puede obtener del paciente con facilidad) en el flujo sanguíneo cerebral (CBF) .
CBF = f(ΔM) =
6000βΔMexp(PLDT1b )
2αT1b(SIPD)(1− exp(− τT1b ))
(4.1)
Modelo cinético del flujo sanguíneo cerebral (CBF) en ml/100g/min.
Otro ejemplo es la aplicación de combinacioneslineales [23] para determinar y tratar
de cuantificar el impacto de las variables que influyen en el desarrollo de enferme-
dades mentales como el alzhéimer [24], o para poder determinar el riesgo de padecer
epilepsia a partir de datos extraídos de electroencefalogramas [25].
La información interpretable de estos sistemas reside en los modelos matemáticos
que proporcionan la posibilidad de relacionar y cuantificar variables presentes en
procesos físicos del cuerpo humano como los anteriormente expuestos. Esta infor-
mación se puede proporcionar a los expertos de diferentes maneras en función de la
1La presión arterial es la variable de donde se obtiene ΔM , empleada en la ecuación 4.1,
27
4.1. Sector sanitario.
implementación de cada algoritmo. Actualmente, los formatos más comunes son los
diagramas estadísticos, las tablas y los informes autogenerados.
4.1.1.3. Modelos basados en el procesamiento y comparación de datos clínicos.
Cabe destacar otra perspectiva basada en Case Based Reasoning (CBR), que hace
referencia al proceso de hallar la solución de un problema actual partiendo de las
soluciones empleadas en el pasado problemas similares.
En relación con el sector sanitario, gracias al rendimiento computacional de los siste-
mas ML basados en CBR, existe la posibilidad de procesar, tratar y analizar los datos
clínicos de un paciente para compararlos con todos los casos similares almacenados
en una base de datos de otros pacientes ya curados. [26]
Mediante este proceso, los sistemas ML pueden proporcionar a los expertos los pro-
cedimientos más adecuados (basándose en los datos históricos y en el proceso com-
parativo) para que esta información complemente sus conocimientos con el fin de
realizar el diagnóstico y proporcionar al paciente el tratamiento más conveniente.
Al igual que en el caso anterior, los modelos basados en procesos comparativos pue-
den proporcionar la información interpretable a los expertos mediante diferentes pro-
cedimientos en función de la implementación de cada algoritmo, destacando de igual
manera los diagramas estadísticos y las tablas.
4.1.2. Actores en el sector sanitario.
En la sección 3 "Principales actores relacionados", se ha realizado un análisis sobre
la variación de la importancia de los actores como de la explicación que reciben por
parte de los sistemas ML según el sector que se esté analizando.
En el caso del sector sanitario, el actor principal es el médico, que hace referencia al
experto con conocimientos previos y usuario del sistema. El médico obtiene informa-
ción interpretable por parte del sistema ML, el cual complementa sus conocimientos
y le permite aumentar su rendimiento en su puesto de trabajo.
Otro actor de gran importancia en este sector es el Cuerpo Regulatorio, que se centrará
en cuestiones de privacidad y aspectos éticos, y en caso de una posible negligencia
médica o fallo del algoritmo profundizará en las explicaciones proporcionadas por el
mismo en busca de responsabilidades.
Además, en ciertos sectores sanitarios de índole privada podrían cobrar importancia
los stakeholders en relación al valor generado por las explicaciones en el sector en
pos de su beneficio.
Por otra parte, la postura del paciente que se corresponde con la persona afectada
apenas tiene participación en el sector salvo en cuestiones que necesiten su consen-
timiento directo, como el tratamiento de sus datos. Esto mismo ocurre con el gestor
del sistema al no participar directamente con los sistemas explicables de diagnóstico.
Por último, aunque los desarrolladores no participen activamente con los sistemas,
siempre poseerán cierto protagonismo al ser los encargados de diseñarlos y actuali-
zarlos si es preciso.
28
Principales sectores involucrados.
4.1.3. Factores condicionantes de la IA el sector sanitario.
El principal condicionante de la inteligencia artificial en el sector sanitario se da en
el proceso del tratamiento de las historias clínicas y datos personales del paciente. El
25 de mayo de 2018 entró en vigor el reglamento 2016/679 [14] [15] a nivel europeo,
el cual exige una serie de buenas prácticas con las que se debe ser consistente. Estas
prácticas exigen niveles de transparencia muy altos para poder asegurar el correcto
tratamiento de los datos personales de los pacientes, siendo un impedimento para
los sistemas machine learning debido a su naturaleza ’opaca’.
A continuación, se analizará el reglamento 2016/679 y la norma ISO en la que está
basado.
El 27 de abril de 2016 se presentó en el Parlamento Europeo y Consejo de la Unión
Europea el reglamento 2016/679 perteneciente al Reglamento General de Protección
de Datos. Este reglamento establece mediante el artículo 8, apartado 1, de la Carta de
los Derechos Fundamentales de la Unión Europea («la Carta») y el artículo 16, aparta-
do 1, del Tratado de Funcionamiento de la Unión Europea (TFUE) que toda persona
tiene derecho a la protección de los datos de carácter personal que le conciernan,
siendo un derecho fundamental.
Así mismo, el reglamento 2016/679 está acompañado por el ISO/IEC 27001 [16]
[17], un estándar para la seguridad de la información aprobado y publicado como es-
tándar internacional en octubre de 2005 por la comisión internacional International
Organization for Standardizaion y por la comisión internacional International In-
ternational Electrotechnical Comission. En él, se especifican los requisitos necesarios
para establecer, implantar, mantener y mejorar un sistema de gestión de la seguridad
de la información.
A pesar de ser implantada en 2005, la norma ISO 27001 se ha convertido en una
norma internacional de referencia para gestionar y garantizar la seguridad de la in-
formación en empresas y organizaciones. Esta norma se ha tomado como punto de
partida para el desarrollo de normas que verifiquen el cumplimiento del RGPD, como
la anteriormente expuesta.
En España, en el año 2004 se publicó la UNE 71502 titulada Especificaciones para
los Sistemas de Gestión de la Seguridad de la Información (SGSI) que fue elaborada
por el comité técnico AEN/CTN 71, pero con la publicación del ISO/IEC 270001
dejó de estar vigente, siendo la norma ISO/IEC 27001 la única acreedora de estas
competencias en la actualidad.
Por último, cabe destacar que en el ámbito sanitario existen organismos internacio-
nales que se encargan de asesorar y trazar el camino desde un punto de vista ético
como la Organización Mundial de la Salud (OMS). A nivel nacional, destaca la Orga-
nización Médica Colegial de España.
29
4.1. Sector sanitario.
4.1.4. Conclusión.
Como hemos podido comprobar, la inteligencia artificial, y más concretamente los
algoritmos machine learning (ML), abren un mundo nuevo de posibilidades al sector
sanitario. Se ha demostrado que pueden aportar información interpretable muy útil
para complementar a los expertos del sector con el fin de aumentar su rendimiento y
poder salvar así la vida de más personas.
Sin embargo, tal como se ha explicado en 4.1, la presencia de los sistemas ML en
el sector sanitario no está exenta de riesgos. Además, si el aprendizaje automáti-
co puede llegar a complementar e incluso superar al conocimiento humano, poder
comprender su lógica se convierte en algo básico y prioritario.
Por esta razón, la inteligencia artificial explicable (XAI) se ha convertido en el punto
de partida para minimizar estos riesgos y permitir el avance de esta tecnología en
el sector, la cual se está desarrollando de forma más lenta en comparación a otros
sectores debido a la regulación a la que está sometida.
Cabe destacar que el proceso de explicabilidad es lento y no garantiza una solución
perfecta del problema, quedando aún mucho camino por recorrer y muchos ries-
gos que minimizar. De entre ellos, destaca el sesgo algorítmico analizado en 2.2.1.1
que puede afectar a los sistemas ML del sector sanitario. Si el modelo cuenta con
constantes incompletas, o la información clínica recibida es incorrecta o parcial, la
información generada estará sesgada y no será válida.Por este motivo, a lo largo de
la sección se ha realizado hincapié en que esta información es complementaria al
criterio profesional, siendo este último predominante.
En definitiva, el sector sanitario es un sector que podría verse muy beneficiado por
la inclusión de la inteligencia artificial, pues no debemos olvidar que realizar un
diagnóstico y aplicar el tratamiento necesario a tiempo puede suponer la diferencia
entre la vida o la muerte de una persona. Pese a ello, tampoco debemos obviar que
debe ser un sector restrictivo en el que no se pueden asumir riesgos. Por tanto, el
desarrollo y avance de la XAI y los algoritmos ML será lento pero progresivo, a la vez
que cumple con la regulación pertinente.
30
Principales sectores involucrados.
4.2. Sector financiero.
Uno de los componentes más importantes de la actividad financiera es la competi-
tividad empresarial. Desde su creación, todas las entidades que componen el sector
financiero se ven obligadas a competir en el mercado con sus análogas por lo que
se conoce como ventajas competitivas. Para conseguirlas, las entidades deben evo-
lucionar progresivamente al igual que lo hace la sociedad; adaptarse a las nuevas
necesidades de la población, adaptarse a las nuevas formas de trabajo, adaptarse a
las nuevas tecnologías...
Todo ello ha creado un ecosistema de competitividad feroz entre entidades financieras
que ha fomentado considerablemente la inclusión y adaptación de la IA en el sector,
con el fin de facilitar la obtención de ventajas competitivas y alcanzar posiciones
privilegiadas en el mercado. Por esta razón, el sector financiero se ha convertido
en el sector en el que más se han integrado los sistemas machine learning y, en
consecuencia, es de los sectores más afectados por los condicionantes legislativos y
en los que la XAI tendrá mayor protagonismo.
A continuación, se realizará un análisis acerca de las principales aplicaciones de la
IA, en concreto de los algoritmos ML, en el sector financiero, de los principales actores
involucrados, de los factores condicionantes del sector y, por último, se realizará una
reflexión analizando el papel de la Inteligencia Artificial Explicable de cara al futuro
del sector financiero.
4.2.1. Aplicaciones de la IA en el sector financiero.
Tal como muestra la figura 4.3, los algoritmos machine learning están presentes en
el sector financiero a lo largo de toda la cadena de valor empresarial, desde el back
office hasta el front office , incluyendo el middle office. Esto significa que la presencia
de los sistemas ML se expande a las tres grandes categorías en las que se divide
comúnmente el ciclo de vida de una operación financiera.
En relación con el front office, que es la categoría destinada a la interacción directa
con los clientes mediante la realización de análisis y creación de nuevos productos, la
aplicación de los sistemas machine learning está centrada en mejorar la experiencia
de los usuarios mediante la implementación de sistemas de autenticación biométrica,
asistentes de voz o chat-bots, entre otros.
Respecto al middle-office, que se corresponde con la categoría encargada de dar
soporte al front office para que las operaciones se realicen correctamente acorde
al cumplimiento normativo, destacan las aplicaciones basadas en la prevención del
fraude empresarial, así como el análisis y control de riesgos financieros. También
destacan las aplicaciones que permiten controlar y garantizar la identidad de los
clientes, así como la prevención del blanqueo de capitales.
Finalmente, en referencia al back-office, que es la categoría encargada de todas las
operaciones relacionadas con la gestión empresarial tales como la contabilidad, la
logística o la gestión de recursos humanos, destaca la aplicación de los sistemas ma-
chine learning con el fin de incrementar el rendimiento de los procesos relacionados
con el análisis y procesamiento de datos. Esto permite a su vez incrementar la fiabi-
lidad de todos los procesos relacionados con la gestión del riesgo de las concesiones
de activos, tales como la concesión de créditos o la concesión de seguros, así como
31
4.2. Sector financiero.
procesos de contratación en los que se manejan grandes cantidades de información
sobre los candidatos y las vacantes laborales.
Además, gracias a la capacidad de análisis de estos sistemas, es posible obtener
información relevante acerca del mercado que de otra forma no se podría conseguir,
con el objetivo de incrementar el rendimiento en el mundo de la inversión o en el
asesoramiento financiero, así como en la creación de contratos inteligentes [39].
Figura 4.3: Representación gráfica de la presencia de los sistemas ML en la cadena
de valor del sector financiero. [31]
Respecto a los servicios involucrados, todas las aplicaciones anteriormente expuestas
se podrían clasificar en cuatro servicios destacables: la gestión de capital como
la realización de inversiones, la concesión de activos a terceros como créditos o
seguros, la gestión de recursos humanos como los procesos de contratación y la
gestión de la interacción con el cliente mediante la creación de asistentes de voz o
chat-bots.
Concisamente, la inclusión de los sistemas ML en el sector financiero supone una
revolución en la oferta bancaria con el fin de satisfacer las necesidades individuales
de los clientes, permitiendo una personalización más rápida, escalable y precisa, a la
vez que se incrementan los beneficios económicos de las entidades financieras.
32
Principales sectores involucrados.
Respecto a la progresiva inclusión de la XAI en el sector financiero, la explicabilidad
de los sistemas ML residirá en la capacidad de los mismos para facilitar su trans-
parencia, proporcionando una explicación sobre su lógica interna. Este proceso se
encuentra en pleno desarrollo en consecuencia con la legislación actual (en vigencia
desde 2018), por lo que todavía no existe un criterio sobre cómo un sistema debe pro-
porcionar explicaciones según a qúe actor estén destinadas. Por lo tanto, este proceso
dependerá de la implementación de cada algoritmo y de su actividad concreta.
Entre las soluciones actuales, cabe destacar el uso de modelos de predicción como
los árboles de decisión. Los árboles de decisión [42] son estructuras lógicas que
plasman de forma gráfica y analítica todos los eventos o variables que pueden influir
en el transcurso de un proceso. En el campo de la inteligencia artificial, los árboles
de decisión suponen una herramienta muy útil para explicar la toma de decisiones
de los algoritmos machine learning.
Así mismo, es necesario destacar el uso de sistemas basados en la generación de
explicaciones en lenguaje natural. Estos sistemas son modelos computacionales
que permiten traducir a tiempo real el estado interno, las acciones y las decisiones
tomadas por los sistemas machine learning de forma fácilmente interpretable por las
personas.
Estas dos soluciones las podemos observar implementadas y combinadas en la figura
4.4, que muestra cómo el servicio web ExpliClas [43] provee una explicación concreta
a un usuario del ámbito bancario apoyándose en un árbol de decisión y en una
explicación generada en lenguaje natural del mismo.
Figura 4.4: Explicación proporcionada por el servicio ExpliClas.
33
4.2. Sector financiero.
4.2.2. Actores en el sector financiero.
La presencia de los sistemas ML en el sector financiero es muy extensa, por lo que el
grado de importancia de cada actor variará en función del servicio y del sistema que
se analice.
De forma genérica, en el sector financiero los stakeholders poseen un papel muy
destacable puesto que la principal prioridad en este sector es el beneficio económico.
Por este motivo, los stakeholders requerirán explicaciones adaptadas y relacionadas
con el valor generado por los sistemas ML en sus áreas de actuación.
Por el mismo motivo, tanto los gestores de los sistemas como los usuarios del sistema
con conocimientos previos adquieren cierta importancia debido a que tienen interés
en comprendertales explicaciones. La motivación económica debe estar presente en
todos los niveles jerárquicos de la entidad financiera. De esta forma, todos pueden
comprender cómo opera el sistema con el fin de mejorar su rendimiento laboral.
Otra de las figuras que cobran gran relevancia en este sector es el de las personas
afectadas por las decisiones algorítmicas. Si estas personas cuestionan las decisiones
que les afectan, tienen derecho a una explicación. Por ejemplo, en el caso de las
aseguradoras, si el usuario no entiende por qué se le ha denegado el seguro de su
vivienda, puede requerir una explicación con el fin de entender su situación. De esta
forma, podría tratar de cambiarla y acceder así al seguro. Dicha explicación, como ya
se ha visto en el capítulo 3, deberá estar adaptada a nivel usuario.
Respecto al cuerpo regulatorio y al igual que en otros sectores, recientemente ha co-
brado gran relevancia debido a la progresiva inclusión de los sistemas ML y a la
necesidad de fomentar su transparencia. Concretamente, en el sector financiero, el
cuerpo regulatorio se centra en garantizar los derechos de los consumidores sobre las
decisiones que les influyen (derecho a la explicación), así como garantizar el correcto
tratamiento de sus datos privados. Además, el cuerpo regulatorio también se encarga
de perseguir e impedir el fraude financiero en las diversas entidades.
Por último, aunque no participen activamente en los sistemas ML del sector financie-
ro (análisis de mercados, gestión de riesgos,etc), los desarrolladores siempre estarán
presentes al ser los encargados de diseñar la arquitectura de los sistemas y actuali-
zarlos si fuese necesario una vez llegado el momento.
4.2.3. Factores condicionantes de la IA en el sector financiero.
Los principales condicionantes de la adaptación e inclusión de la IA en el sector
financiero son la falta de transparencia a la hora de explicar cómo los sistemas toman
decisiones, así como la no detección de un posible sesgo algorítmico a tiempo, causas
principalmente ocasionadas por la naturaleza opaca del sistema al operar con un
modelo de caja negra.
Dada esta situación, las entidades financieras podrían realizar prácticas empresaria-
les fraudulentas motivadas por su ánimo de lucro, aprovechando el desconocimiento
de la influencia de las variables de entrada en la salida de los algoritmos.
Otra de las barreras que se ha convertido en objeto de regulación por parte de los
sistemas encargados es la imparcialidad de los sistemas a la hora de operar. Un claro
ejemplo de esta práctica es la acusación (y posterior condena) a la empresa tecno-
34
Principales sectores involucrados.
lógica Apple con relación a sus líneas de crédito. Se demostró que Apple empleaba
algoritmos sesgados para establecer límites de crédito, y como resultado, las muje-
res eran discriminadas por razón de género. Se llegó a estimar que los hombres que
solicitaban la Apple Card recibían entre 10 y 20 veces más crédito que sus esposas.
[9].
En Europa, los cuerpos regulatorios encargados, concretamente el ESFS (European
System of Financial Supervision), han centrado su actividad en garantizar los dere-
chos de los usuarios o consumidores de los distintos servicios del sector financiero
en los que los sistemas machine learning tienen presencia.
Para ello, el ESFS está compuesto por varias autoridades de supervisión (figura 4.5)
entre las que se encuentran la Autoridad Europea de Valores y Mercados (ESMA); la
Autoridad Bancaria Europea (EBA); la Autoridad Europea de Seguros y Pensiones de
Jubilación (EIOPA); la Junta Europea de Riesgo Sistémico (ESRB) y el Banco Central
Europeo.
A nivel local, el sistema está representado por el Banco de España (con poderes de-
legados), la Comisión Nacional del Mercado de Valores (CNMV), el Servicio Ejecutivo
de la Comisión de Prevención del Blanqueo de Capitales e Infracciones Monetarias
(SEPBLAC), el Fondo de Garantía de Depósitos en Entidades de Crédito (FDG) y el
Fondo de Reestructuración Ordenada Bancaria (FROB). [34].
Figura 4.5: Representación gráfica de los organismos reguladores de la ESFS: Euro-
pean System of Financial Supervision, y las representaciones locales españolas [34].
Entre las medidas más importantes aprobadas por estos organismos con influen-
cia en los sistemas machine learning del sector financiero destacan normativas para
el control de los servicios de pago como PSD2 [37] (instaurada en España median-
te el real decreto-ley 19/2018) o normativas para el control del fraude y seguridad
financiera, como por ejemplo AMLD [38] (Anti-money Laundering / Prevención del
blanqueo de capitales) o reglamentos de la GDPR (analizada en 4.1.3).
35
4.2. Sector financiero.
Cabe destacar que la supervisión y la regulación de los sistemas ML en el sector
financiero se encuentran en el corazón de la agenda actual de la Unión Europea, con
el objetivo anteriormente mencionado: salvaguardar la integridad y transparencia
en la operativa europea y mantener la estabilidad financiera en la UE.
4.2.4. Conclusión.
Considerando el valor añadido que proporciona la Inteligencia Artificial (IA) al sector
financiero, resulta intuitivo comprender por qué se ha adaptado tan rápido en la
industria financiera a nivel global.
La inteligencia artificial, mediante los algoritmos ML, tiene la habilidad de operar con
cantidades ingentes de datos en tiempo real y procesarlos sin importar la estructura
de estos. Además, cabe destacar que este proceso lo lleva a cabo de una forma más
rápida que los humanos, siendo además menos propensa a cometer errores.
Esta adaptación la podemos observar representada en la figura 4.6, en donde se
muestra cómo ha aumentado con el paso de los años la inversión en esta tecnología
hasta el punto de triplicarse entre 2016 y 2017.
En consecuencia, los cuerpos regulatorios han comprendido la necesidad de regular
estas prácticas con el fin de garantizar que los algoritmos permanezcan transparentes
y no apliquen sesgos que puedan afectar gravemente a la sociedad.
Figura 4.6: Diagrama de barras representando la inversion en billones de euros (bn
EUR) en IA entre 2012 y 2017 en el sector financiero [41]
Por esta razón, las tecnologías XAI están cobrando progresivamente más importancia
y desempeñarán un papel fundamental en un escenario que ya podemos conside-
rar más presente que futuro. Esta idea se ve reflejada en la figura 4.7, donde se
muestra cómo los trabajos de investigación relacionados con la XAI han aumentado
considerablemente los últimos años.
De igual forma, podemos probar este hecho atendiendo a los últimos documentos
presentados en el Parlamento Europeo en febrero de 2020 [35] y [36]. En ellos, se ex-
plica cómo debe adaptarse Europa al proceso de explicabilidad así como la estrategia
europea de cara a las nuevas posibilidades ofrecidas por el tratamiento y procesado
de datos de manera responsable y transparente.
36
Principales sectores involucrados.
Figura 4.7: Representación del creciente número de publicaciones científicas sobre la
inteligencia artificial explicable (XAI) entre 2004 y 2018. [41]
Concisamente, la XAI se ha posicionado como la principal solución de los problemas
actuales de la IA en el sector financiero. Supone un conjunto de buenas prácticas
a las que atenerse para satisfacer las necesidades y garantizar los derechos de los
usuarios, a la vez que se incrementa el rendimiento de los sistemas ML en el sector
y, además, gracias a la transparencia obtenida se fomentará la confianza por parte
de la población en los sistemas ML, facilitando aún más su crecimiento e influencia
en la economía a nivel mundial, tal y como se puede comprobar en la figura 4.8.
Figura 4.8: Estimación del impacto futuro de la IA en términos de productividad
laboral, personalización, ahorro de tiempo y calidad en la economía mundial, llegando
a alcanzar 15.7 trillones de dólares americanos en 2030. [28] (PWC)
37
4.3. Sector industrial.
4.3. Sector industrial.
Con el paso del tiempo, la humanidad ha realizado avancestecnológicos que han
tenido gran influencia en el transcurso de la historia, iniciando de esta forma impor-
tantes cambios socioeconómicos en la sociedad. Por este motivo, actualmente distin-
guimos tres revoluciones industriales, cada una motivada por el descubrimiento y la
implantación de nuevas tecnologías.
La Primera Gran Revolución Industrial, iniciada en la segunda mitad del siglo XVIII,
constituyó un gran proceso de transformación en términos económicos, sociales y
tecnológicos. Citando a Robert Emerson Lucas, premio Nobel en Ciencias Económi-
cas, “por primera vez en la historia, la calidad de vida de la sociedad experimentó
un gran crecimiento sostenido que ningún economista clásico pudo prever, ni siquiera
como una posibilidad teórica”. Dicha revolución se basó principalmente en la mecani-
zación de tareas y en el desarrollo de nuevas tecnologías como la máquina de vapor,
la energía eléctrica o la energía hidráulica. [44]
La Segunda Revolución Industrial, iniciada a finales del siglo XIX, estuvo motivada
por diversos avances, tales como nuevas fuentes de energía obtenida a partir del gas,
el petróleo o la electricidad, el descubrimiento de nuevos materiales como el acero, el
cobre, el níquel y el zinc, el desarrollo de la industria química y el progresivo avance
de la mecanización de procesos que daría lugar a la producción en masa gracias a
las cadenas de montaje. [45]
Por último, la Tercera Revolución Industrial, también conocida como revolución cien-
tífico tecnológica (RCT), fue reconocida por primera vez en Parlamento Europeo en
2006, siendo el principal promotor Jeremy Rifkin. Está considerada como la única
solución a la actual crisis energética y económica, presente a nivel global, y está
motivada por el avance de las tecnologías de las comunicaciones, el desarrollo de
internet, la automatización de procesos y el avance e implantación de las energías
renovables. [46]
Actualmente, los expertos intuyen el inicio de una Cuarta Revolución Industrial entre
la segunda y la tercera década del siglo XXI, siendo la Inteligencia Artificial el
elemento central de esta transformación, relacionada a su vez con el tratamiento
de cantidades ingentes de datos, la implementación de algoritmos machine learning
para procesarlos, y la interconexión masiva de sistemas y dispositivos digitales (IoT
[48]). Por ende, la Inteligencia Artificial Explicable se ha posicionado como un pilar
básico y un requisito necesario en la Industria 4.0 (término que hace referencia a esta
Cuarta Revolución [47]).
A continuación, se realizará un análisis acerca de las principales aplicaciones de
la IA, concretamente de los sistemas machine learning en el sector industrial, de
los principales actores involucrados, de los factores condicionantes del sector y, por
último, se realizará una conclusión analizando el papel de la Inteligencia Artificial
Explicable de cara al futuro del sector industrial: Industria 4.0.
38
Principales sectores involucrados.
4.3.1. Aplicaciones de la IA en el sector industrial.
Al igual que el sector financiero, el mundo de la industria también se rige por un
mercado competitivo en el que las fábricas más productivas adquieren las mayores
ventajas competitivas. Por tanto, el principal objetivo de las entidades industriales
es, y siempre ha sido, incrementar el rendimiento de sus procesos economizando
recursos, y sin disminuir beneficios.
Este ecosistema competitivo ha facilitado enormemente la inclusión de la IA y los
algoritmos ML en el sector con el fin de crear “fábricas inteligentes” o sistemas ciber-
físicos [49] que persigan dicho objetivo.
A continuación, se destacan algunas de las aplicaciones de los sistemas ML más
importantes, las cuales se pueden comprobar en la siguiente figura 4.9:
Figura 4.9: Representación gráfica de los diferentes factores influyentes en el desa-
rrollo hacia la industria inteligente. [50]
Para realizar el análisis, se analizarán las aplicaciones en el sector industrial en tér-
minos de diseño (soluciones e innovacion inteligente), fabricación (fabrica inteligente),
logística, y venta (cadenas de suministro inteligentes). [51].
En términos de diseño, gracias a los sistemas ML es posible realizar el tratamiento,
análisis, y posterior diagnóstico de grandes cantidades de información para llegar a
predecir las necesidades actuales y futuras del cliente. De esta forma, las industrias
pueden conocer las características de la demanda del cliente que deberá satisfacer
la oferta del producto, orientando y facilitando el diseño. Así mismo, las industrias
pueden adaptar el producto a cada tipo de cliente en función de sus necesidades
específicas. Por ende, se rechaza el diseño de productos genéricos y se opta por un
diseño personalizado más eficiente.
En términos de fabricación, en el caso de las cadenas de montaje, gracias a la im-
plementación de los algoritmos ML y a las redes neuronales convolucionales (CNN)
[18], es posible detectar imperfecciones en las líneas de producción, con el fin de
corregirlas y mejorarlas automáticamente. Estas imperfecciones, por norma general,
39
4.3. Sector industrial.
son muy difíciles (y en algunos casos, imposibles) de detectar por los humanos, sien-
do necesario en cualquiera de los casos un alto nivel de experimentación. De igual
forma, gracias a los sistemas ML es posible flexibilizar la producción de las cadenas
de montaje adaptándose a la demanda de los clientes en tiempo real. Esto permite
realizar producciones escasas, empleando la cantidad necesaria de producto y obte-
niendo tiempos de respuesta más rápidos. Por último, cabe destacar que no sólo no
aumentan los costes, sino que se reducen, gracias a que el proceso de fabricación es
más eficaz y sostenible.
En términos de logística, los sistemas ML permiten la total interconexión de los
modelos logísticos, automatizando procesos y reduciendo al máximo la intervención
humana. De esta forma, las grandes entidades industriales son capaces de manejar
tanto el inventario como su stock de forma automatizada, dando servicio y sirviendo
productos en un margen de tiempo muy reducido y con muy poco margen de error. Un
ejemplo de esta idea es la empresa multinacional Inditex, que gracias a un modelo
logístico inteligente es capaz de garantizar el abastecimiento en todas sus tiendas
de Europa en 24 horas (o como máximo en 36), y todo ello de forma plenamente
automatizada [52].
Finalmente, en términos de venta y distribución de los productos, la industria in-
teligente es capaz de predecir hábitos de consumo de los clientes para fijar precios
de forma dinámica y tratar de obtener así el máximo beneficio posible. Esto se debe
al tratamiento de los datos anteriormente mencionado. De la misma forma, las in-
dustrias garantizan una conexión real entre la entidad industrial y el cliente, dando
lugar a una distribución más eficaz y ágil, y facilitando a su vez un servicio postventa
más eficiente y personalizado.
Por último, y en referencia a la progresiva inclusión de la XAI en el sector industrial,
destaca el uso de árboles de decisión y de explicaciones generadas en lenguaje natural
que permitan justificar de manera interpretable la toma de decisiones automatizada
(al igual que en el sector financiero, analizados en 4.2.1). Así mismo, también cabe
destacar el uso de diagramas interpretables, basados en reglas causales y análisis
estadísticos de Bayes [53].
4.3.2. Actores en el sector industrial.
Antes de analizar los actores del sector industrial es necesario destacar que la rela-
ción proveedor-cliente es la base del sector, siendo algo común a todas las entidades
industriales, sea cual sea su tipo de actividad o producción. Existe, por tanto, una
relación motivada por ánimo de lucro entre los clientes y su demanda producida, y
los proveedores (industrias) que deben satisfacerla.
Por esta razón, y desde un punto de vista común a todas las entidades industriales,
uno de los actores principales en el sector industrial serán los stakeholders. Los
stakeholders requeriránexplicaciones adaptadas y relacionadas con el valor generado
por los sistemas ML en cuanto a la elecciones influyentes en los bienes producidos, y
en consecuencia, en los beneficios obtenidos. Un ejemplo de estas decisiones podría
ser la elección de los materiales, de los proveedores, de las técnicas de producción,etc.
Por la misma razón, tanto los gestores del sistema como los usuarios del sistema con
conocimientos previos cobran gran importancia debido a que ellos necesitan también
comprender dichas explicaciones para poder entender el nuevo proceso de produc-
40
Principales sectores involucrados.
ción y mejorar tanto el rendimiento de los procesos como su propio rendimiento
laboral.
Así mismo, los cuerpos regulatorios han ido cobrando gran importancia debido al
constante desarrollo de los algoritmos ML en el sector industrial. En vista de la próxi-
ma revolución industrial dando lugar a la industria inteligente, los cuerpos regulato-
rios ya han comenzado a establecer las bases y trazar la ruta de la misma garantizan-
do la defensa de los derechos de la sociedad, en términos de sostenibilidad energética,
impacto ambiental y tratamiento de datos personales de los usuarios afectados.
Otra de las figuras relevantes en el sector son los usuarios afectados, puesto que en
función de su demanda y su consumo dictaminarán las producciones de las fábricas.
No obstante, como el usuario no está relacionado directamente con el proceso de
producción y, además, la decisión de consumir un producto únicamente depende de
él, no tendrá mucha presencia en el ámbito de las explicaciones salvo en cuestiones
propias relacionadas con el tratamiento de sus datos personales.
Finalmente y al igual que en todos los sectores, los desarrolladores siempre estarán
presentes al ser los encargados de diseñar la arquitectura de los sistemas y actuali-
zarlos si fuese necesario.
4.3.3. Factores condicionantes de la IA en el sector industrial.
A lo largo del desarrollo del proyecto hemos observado cómo Europa, mediante los
organismos reguladores encargados, pretende liderar la “humanización” de los siste-
mas inteligentes, garantizando la protección de los derechos de la sociedad frente al
desarrollo de la IA y los algoritmos ML.
Por tanto, en el sector industrial y al igual que en otros sectores, la transparencia, la
comprensibilidad, la rendición de cuentas y la responsabilidad serán características
básicas en los sistemas dotados de inteligencia artificial, siendo la XAI el punto de
partida indispensable para obtenerlas.
Actualmente, existen leyes comunes que regulan la actividad de los algoritmos ML
en todos los sectores, como la GDPR (Reglamento General de Protección de Datos,
analizada en 4.1.3) o el ISO 27001, un estándar para la seguridad de la información
(también analizado en 4.1.3).
En el sector industrial en cuestión, existen organismos reguladores tanto a nivel na-
cional como a nivel europeo. A nivel nacional, destaca la especificación 0061:2019
de la UNE (Asociación de Normalización Española), la cual recoge una serie de pautas
y requisitos indispensables para la digitalización de la Industria [54]. A nivel interna-
cional, existen normativas que condicionan el desarrollo de la industria inteligente en
términos de eficiencia energética, desarrollo sostenible y neutralidad climática como
el Reglamento Europeo 2017/1369 [55]. También cabe destacar el ISO-TS 15066
que, complementándose con la UNE 10218-1 y 10218-2, constituye un conjunto de
normas que regulan los robots industriales [56].
No obstante, todavía no se ha alcanzado un consenso acerca de la ruta a seguir por
la Industria 4.0 en Europa, por lo que establecer las bases de su desarrollo es un
objetivo actual de gran prioridad en la agenda europea. [57]
41
4.3. Sector industrial.
4.3.4. Conclusión.
El desarrollo y la inclusión de la tecnología en la última década (en especial de las
tecnologías de la información y la comunicación: TIC’s) y su aplicación a los procesos
industriales, ha conducido al surgimiento de una nueva etapa industrial denominada
Industria 4.0.
El objetivo de esta revolución es el de crear fabricas inteligentes que primen la co-
nectividad y la flexibilidad de sus procesos industriales. De igual forma, las fábricas
inteligentes deben ser predictivas para poder estimar la demanda futura en pos de
un correcto suministro. Por último, y no menos importante, sus decisiones deben ser
transparentes acorde a la regulación pertinente, por lo que la justificación de la toma
de decisiones será un requerimiento indispensable para su desarrollo.
En consecuencia, la XAI se ha posicionado como la herramienta necesaria para lograr
una correcta revolución hacia la industria 4.0.
Cabe destacar que esta transición, a parte de estar motivada por el desarrollo tec-
nológico en sí mismo, está también motivada por intereses económicos a nivel in-
ternacional. Tal y como podemos observar en la siguiente figura 4.10, la aportación
del sector industrial al PIB de la eurozona no ha parado de disminuir en los últimos
años.
Por ello, la Comisión Europea [58] ha transmitido la necesidad de transformar la
industria hacia una nueva revolución que permita recuperar la competitividad in-
dustrial y alcanzar el bienestar económico europeo.
Figura 4.10: Representación gráfica del valor añadido bruto (VAB) de la industria
al PIB español (color azul) y al PIB europeo (color amarillo), y el diferencial entre
ambos (diagrama de barras de color rojo). Fuente: Ministerio de Industria, Comercio
y Turismo: MincoTur.
42
Principales sectores involucrados.
Concisamente, los esfuerzos de la eurozona serán constantes para garantizar la tran-
sición hacia la industria 4.0, incluyendo así las bases de la inteligencia artificial
explicable y contribuyendo a su desarrollo.
43
4.4. Otros sectores
4.4. Otros sectores
A continuación, se analizarán sectores en los que la implementación de la IA no
está tan desarrollada como en el sector sanitario, financiero o industrial, pero que
albergan gran potencial de cara al desarrollo de la inteligencia artificial explicable en
el futuro.
4.4.1. Sector Judicial
El sector judicial ha sido uno de los sectores que ha valorado la posibilidad de apro-
vechar los beneficios de la IA y los algoritmos ML con el fin de facilitar la toma de
decisiones judiciales. Conjuntamente, la implementación de esta nueva tecnología
podría servir para desbloquear los extensos trámites burocráticos asociados a este
sector.
En otras palabras, los algoritmos ML podrían ayudar a los organismos encargados
(jueces, forenses, criminólogos, administrativos. . . ) a llevar a cabo su actividad labo-
ral mediante la comparación y el análisis de grandes cantidades de datos, proporcio-
nando una valoración precisa y fiable de cada caso en cuestión.
La motivación que ha facilitado el avance de esta tecnología en el sector se debe
principalmente a que a menudo los acusados cuestionan y recurren las decisiones
de los organismos judiciales basándose en criterios como la subjetividad, sesgo o
corrupción de los mismos. Adicionalmente, este hecho genera que se alarguen en
gran medida los procesos judiciales desde su inicio hasta su resolución. [63]
Por esta razón, se valoró la posibilidad de apoyarse en la precisión y objetividad de los
algoritmos machine learning puesto que son capaces de proporcionar información de
utilidad a los organismos encargados y llevar a cabo una resolución judicial completa.
Un ejemplo de esta implementación es el algoritmo COMPAS, desarrollado por la com-
pañía Northpointe (actual Equivant). COMPAS es un algoritmo creado para evaluar el
riesgo potencial de reincidencia de una persona basándose en su historial delictivo,
análisis psicológicos y patrones de conducta, y ha sido utilizado por las cortes de
EEUU en los estados de Nueva York, Wisconsin, Florida y California. No obstante, se
desconoce cómo opera exactamente por secreto empresarial, por lo que no es posible
cuestionar sus estimaciones, lo que ha generado polémica y