IA17 - U3 CL1 Neuronales 1

Vista previa del material en texto

1 
REDES NEURONALES I 
C
on
te
ni
do
 
• Definiciones. 
• Referencias históricas. 
• El modelo biológico. 
• El modelo matemático. 
• Diferentes esquemas de RNA. 
• Analogía biológica – artificial. 
• Clasificación de las RNA. 
• Mecanismos de aprendizaje. 
• Ejemplo de aplicación. 
• Referencias bibliográficas. 
2 
T3-1 REDES NEURONALES 
 RNA - DEFINICIONES 
Son modelos en hardware o en software que 
intentan reproducir el comportamiento del 
cerebro humano, con el propósito de 
resolver problemas. 
El estudio de las redes neuronales 
está fuertemente motivado por la 
necesidad de producir modelos 
biológicos para ser utilizados en la 
resolución de problemas. 
Es la interconexión en paralelo, de 
elementos de procesamiento unitarios, 
capaces de resolver problemas, luego de un 
proceso de aprendizaje. 
3 
1943 - Origen de los modelos conexionistas con la primera idea de neurona artificial, 
dada por McCulloch y Pitts. 
1949 - Donald Hebb, introduce las hipótesis del modo en que las neuronas memorizan 
información, basadas en investigaciones psicofisiológicas. 
1957 - Rosemblatt desarrolla el Perceptrón, basado en el modelo de McCulloch y Pitts. 
Es un identificador de patrones ópticos binarios y salida binaria, asociado a la 
regla de aprendizaje delta. 
1959 - Widrow publica una teoría sobre la adaptación neuronal y un modelo inspirados 
en esa teoría, el Adaline (Adaptative Linear Neuron). 
1969 - Minsky y Papert realizan una seria crítica del Perceptrón, reve-lando serias 
limitaciones. Se crean serias dudas sobre las capaci-dades de los modelos 
conexionistas y decaen las investigaciones. 
1971 - Teuvo Kohonen inicia investigaciones sobre RNA con paradigmas de conexiones 
aleatorias. En 1977 desarrolla el modelo LVQ (Learning Vector Quantization). 
1977 - Anderson desarrolla modelos de memorias asociativas. conocidos como brain-
state-in-a-box. 
1982 - Hopfield elabora un modelo de red consistente en unidades de proceso 
interconectadas que alcanzan mínimos energéticos. 
1984 - Kohonen siguiendo el trabajo de Anderson, desarrolla modelos de aprendizaje 
competitivo basados en el principio de inhibición lateral. 
1986 - D. Rumelhart, G. Hinton y R. Williams, crean el algoritmo backpropagation (o de 
retropropagación), basado en la regla delta generalizada, para el aprendizaje 
supervisado de redes multicapa. 
1987 - Grossberg realiza un importante trabajo teórico - matemático a través de sus 
modelos ART (Adaptative Resonance Theory). 
T3-1 REDES NEURONALES 
 REFERENCIAS HISTÓRICAS 
4 
El cerebro 
humano 
 Sistema de procesamiento no 
lineal y paralelo. 
 Aproximadamente 1010 neuronas. 
 Alrededor de 1014 intercone- 
 xiones. Cada neurona se 
 conecta con 10.000 
 vecinas. 
 Las interconexiones 
se modifican en 
función del tiempo. 
 Los estímulos externos 
pueden sensibilizar la 
calidad y cantidad de 
interconexiones. 
T3-1 REDES NEURONALES 
 EL MODELO BIOLÓGICO 
 Las señales son de tipo electro-químicas. Eléctricas 
dentro de la neurona y químicas por fuera. 
5 
Cerebro humano y red de neuronas 
T3-1 REDES NEURONALES 
 EL MODELO BIOLÓGICO 
DIBUJO 
REAL REAL 
REAL 
6 
T3-1 REDES NEURONALES 
 EL MODELO BIOLÓGICO 
La neurona biológica 
Una neurona típica recoge señales procedentes de 
otras neuronas a través de un conjunto de delicadas 
estructuras 
llamadas 
dendritas. La 
neurona emite 
impulsos de 
actividad 
eléctrica a lo 
largo de una fibra 
larga y delgada 
denominada axón, 
que se escinde en 
millares de 
ramificaciones. 
7 
T3-1 REDES NEURONALES 
 EL MODELO BIOLÓGICO 
Las extremidades de 
estas ramificaciones 
llegan hasta las 
dendritas de otras 
neuronas y 
establecen unas 
conexiones llamadas 
sinapsis, en las 
cuales se produce 
una transformación 
del impulso eléctrico 
en un mensaje neuro-
químico, mediante la 
liberación de 
sustancias llamadas 
neurotransmisores 
Las conexiones biológicas 
8 
T3-1 REDES NEURONALES 
 EL MODELO MATEMÁTICO 
9 
f(xi ,wi ) 
x1 
x2 
xn 
y 
w1 
w2 
wn 
g(f) 
θ 
Pesos 
Bias 
Función de excitación 
Función de 
 activación 
E
nt
ra
da
s 
Salida 
La neurona artificial 
Se modelan mediante unidades de proceso. Cada unidad 
de proceso se compone de un conjunto de conexiones de 
entrada, modificadas por valores de peso, una función de 
excitación (ó de red), encargada de computar la entrada 
total ponderada, un núcleo central de proceso, encargado 
de aplicar la función de activación, y la salida, por donde 
se transmite el valor de activación a otras unidades. 
T3-1 REDES NEURONALES 
 EL MODELO MATEMÁTICO 
10 
f(xi ,wi ) xi 
y 
wji g(f) 
Funciones internas 
f
=
= −∑
n
j i ij j
i 1
x .w θ
f
=
= −∑
n
2
j i ij j
i 1
x .w θ
cuadrática 
2)f
=
= −∑
n
-2
j i ij j
i 1
ρ (x .w θ
esférica 
signo 
rampa 
sigmoide 
escalón 
lineal 
T3-1 REDES NEURONALES 
 EL MODELO MATEMÁTICO 
θ Se corresponde 
con la neurona 
original de 
McCulloch-
Pitts 
bias 
11 
(Implementada sobre Excel) 
T3-1 REDES NEURONALES 
 OPERACIÓN DE UNA NEURONA 
Fórmulas 
12 
(Implementada sobre Excel) 
T3-1 REDES NEURONALES 
 OPERACIÓN DE UNA NEURONA 
Neurona bloqueada 
13 
(Implementada sobre Excel) 
T3-1 REDES NEURONALES 
 OPERACIÓN DE UNA NEURONA 
Neurona disparada 
14 
T3-1 REDES NEURONALES 
 DIFERENTES ESQUEMAS DE RNA 
15 
T3-1 REDES NEURONALES 
 DIFERENTES ESQUEMAS DE RNA 
16 
Organización por capas 
T3-1 REDES NEURONALES 
 TOPOLOGÍA DE REDES 
En
tra
da
Salida
En
tra
da
Salida
Monocapa Bicapa 
En
tra
da
Salida. . .
. . .
Capa de
entrada
Capa de
salida
Capas internas
(ocultas)
Multicapa 
17 
Conexiones entre neuronas 
Conexiones progresivas: 
Transmiten la información 
hacia delante. 
Conexiones regresivas: 
Transmiten la información 
hacia atrás, a la entrada o 
hacia capas anteriores. 
Conexiones laterales: 
Transmiten la información 
entre neuronas de la 
misma capa. Permiten 
“competir”. 
Conexiones autolazo: 
realimentan la información 
a la entrada de la misma 
neurona. Permiten 
“mantener” la salida. 
T3-1 REDES NEURONALES 
 TOPOLOGÍA DE REDES 
18 
Aprendizaje inductivo: No se le indican las reglas para dar 
una solución, sino que extrae sus propias reglas a partir 
de los ejemplos de aprendizaje. 
Generalización: Una vez entrenada, se le pueden 
presentar a al red datos distintos a los usados durante el 
aprendizaje. La respuesta obtenida dependerá del 
parecido de los datos con los ejemplos de entrenamiento 
Abstracción o tolerancia al ruido: Las RNA pueden 
procesar correctamente datos incompletos o 
distorsionados. 
Procesamiento paralelo: las neuronas reales trabajan en 
paralelo; las neuronas artificiales simuladas en 
computador emplean un paralelismo inherente. 
Memoria distribuida: el conocimiento acumulado por la 
red se halla distribuido en numerosas conexiones, esto 
tiene como consecuencia la tolerancia a fallos: una red 
neuronal es capaz de seguir funcionando adecuadamente 
a pesar de sufrir lesiones con destrucción de neuronas o 
sus conexiones, ya que la información se halla distribuida 
por toda la red. 
T3-1 REDES NEURONALES 
 PROPIEDADES INTRÍNSECAS 
19 
Comparación entre las neuronas biológicas 
reales y las unidades de proceso artificiales 
Redes Neuronales 
Biológicas 
Redes Neuronales 
Artificiales 
Neuronas Unidades de proceso 
Conexiones sinápticas Conexiones ponderadas 
Efectividad de las sinápsis Peso de las conexiones 
Efecto excitatorio o 
inhibitorio de una conexión 
Signo del peso de una 
conexión 
Efecto combinado de las 
sinápsis 
Función de propagación 
o de red 
Activación - tasa de 
disparo 
Función de activación → 
Salida 
T3-1 REDES NEURONALES 
 ANALOGÍA BIOLÓGICA – ARTIFICIAL 
20 
Redes mononeuronales: Utilizan una sola neurona con varias 
entradas y una salida. Por ejemplo Perceptrón, Adaline. 
Redes monocapa: Las neuronas se organizan en una capa única, 
generalmente conectadascon conexiones laterales o 
autorecurrentes. Por ejemplo redes de Kohonen, redes de Hopfield. 
Según la topología 
T3-1 REDES NEURONALES 
 CLASIFICACIÓN 
Ref. 
García Martínez 
et al, “Sistemas 
Inteligentes”. 
21 
Redes multicapa: Las 
neuronas se organizan 
en varias capas, con 
distintos tipos de 
conexiones. Estas 
estructuras suelen 
utilizarse para realizar 
tareas más complejas. 
Por ejemplo redes 
feedforward, redes 
ART. 
Según la 
topología 
T3-1 REDES NEURONALES 
 CLASIFICACIÓN 
Ref. García Martínez et al, 
“Sistemas Inteligentes”. 
22 
Redes con aprendizaje supervisado: Existe un parámetro 
externo (ó tutor) que determina si la respuesta de la RNA 
durante el proceso de aprendizaje es correcta. Por 
ejemplo redes feedforward/backpropagation. 
Según el tipo de aprendizaje 
T3-1 REDES NEURONALES 
 CLASIFICACIÓN 
Ref. 
García Martínez 
et al, “Sistemas 
Inteligentes”. 
23 
Redes con aprendizaje no 
supervisado: La RNA no 
recibe influencia externa 
sobre su comportamiento. 
La modificación de los pará-
metros responde exclusiva-
mente a las entradas. 
Fundamentalmente, bajo 
esta categoría de aprendi-
zaje la ANN intenta rescatar 
propiedades comunes de los 
patrones de entrada. Por 
ejemplo redes de Hopfield, 
redes de Kohonen. 
Según el tipo 
de aprendizaje 
T3-1 REDES NEURONALES 
 CLASIFICACIÓN 
Ref. García Martínez et al., 
“Sistemas Inteligentes”. 
24 
Redes heteroasociativas: Las redes 
aprenden pares de datos entrada-
salida que se presentan durante la 
fase de entrenamiento. En general 
presentan una topología de 2 ó más 
capas. Por ejemplo redes feedforward/ 
backpropagation. 
Según la relación entrada-salida 
T3-1 REDES NEURONALES 
 CLASIFICACIÓN 
Redes autoasociativas: En este 
tipo de redes, las entradas se 
clasifican de acuerdo a los patrones 
intrínsecos generados o aprendidos por 
la red. Puede implementarse inclusive 
en topologías monocapa. Por ejemplo 
redes ART, redes de Kohonen. 
25 
Redes continuas: Tanto los valores de entrada 
como de salida, son de tipo analógicos y reales, 
pudiendo estar normalizados a un intervalo 
predefinido. Por ejemplo redes feedforward/ 
backpropagation, redes de Hopfield (continuas). 
Redes discretas: En este tipo de redes, tanto las 
entradas como las salidas son discretas y 
particularmente binarias. Por ejemplo redes de 
Hopfield (discretas, redes ART1. 
Redes híbridas: Manejan distintos tipos de 
valores entre las entradas y salidas. 
Comúnmente reciben valores analógicos en las 
entradas y responden con valores binarios. 
Según el tipo de señales de 
entrada-salida 
T3-1 REDES NEURONALES 
 CLASIFICACIÓN 
26 
Según el 
tipo de 
señales 
de 
entrada-
salida 
T3-1 REDES NEURONALES 
 CLASIFICACIÓN 
Ref. 
García Martínez 
et al, “Sistemas 
Inteligentes”. 
27 
Redes sincrónicas o determinísticas: Son aquellas 
donde se calcula la activación de todas las unidades 
de una capa en cada ciclo de aprendizaje. 
 
Redes asincrónicas o probabilísticas: En este tipo de 
redes, cada unidad de proceso tiene una cierta 
posibilidad de computar su activación en cada ciclo 
de aprendizaje. Tienen la ventaja de ser menos 
propensas a caer en mínimos locales. 
Según el proceso de 
actualización 
T3-1 REDES NEURONALES 
 CLASIFICACIÓN 
28 
Los cambios que se producen durante el proceso de 
aprendizaje se reducen a la creación, modificación y 
destrucción de conexiones entre las neuronas. 
La creación de una nueva conexión implica que el 
peso asociado pasa a tener un valor distinto de cero. 
Una conexión se destruye cuando su peso pasa a ser 
cero. Representa una desconexión virtual en el 
modelo. 
Se puede afirmar que el proceso de aprendizaje ha 
finalizado (la red ha aprendido) cuando los valores 
de los pesos permanecen estables (δwij / δt = 0). 
El aprendizaje es el proceso 
por el cual una red neuronal modifica sus 
pesos en respuesta a una información de 
entrada. 
T3-1 REDES NEURONALES 
 PROCESOS DE APRENDIZAJE 
29 
Se realiza mediante un entrenamiento controlado por un agente 
externo (supervisor, maestro) que determina la respuesta que 
debería generar la red a partir de una entrada determinada. En el 
caso de que la salida no coincida con la deseada, se procederá a 
modificar los pesos de las conexiones. Se consideran tres formas 
de llevar a cabo este tipo de aprendizaje: 
Aprendizaje por corrección de error: Consiste en ajustar los 
pesos en función de la diferencia entre los valores deseados 
y los obtenidos en la salida; es decir, en función del error. 
Aprendizaje por refuerzo: La función del supervisor se reduce a 
indicar mediante una señal de refuerzo si la salida obtenida en la 
red se ajusta a la deseada (éxito = +1 ó fracaso = -1), y en función 
de ello se ajustan los pesos basándose en un mecanismo de 
probabilidades. 
Aprendizaje estocástico: Consiste básicamente en realizar 
cambios aleatorios en los valores de los pesos de las conexiones 
de la red y evaluar su efecto a partir del objetivo deseado y de 
distribuciones de probabilidad. 
Aprendizaje supervisado 
T3-1 REDES NEURONALES 
 PROCESOS DE APRENDIZAJE 
30 
Aprendizaje supervisado -ESQUEMA- 
T3-1 REDES NEURONALES 
 PROCESOS DE APRENDIZAJE 
Capa oculta 
Capa de entrada 
Capa de salida 
n × p 
pesos 
salida 
actual 
salida 
deseada 
p × m 
pesos 
m neuronas 
n neuronas 
p neuronas 
error 
31 
1. Aleatorizar los pesos de todas las conexiones 
(preferiblemente con valores pequeños). 
2. Seleccionar un par de entrenamiento. 
3. Presentar el patrón de entrada y calcular la función de 
excitación (red), función de activación y transferencia a 
la siguiente capa, hasta llegar a la capa de salida. 
4. Calcular el error o discrepancia entre la salida obtenida y 
la deseada. El error (función objetivo) se suele definir 
como la suma de los cuadrados de las diferencias entre 
las salidas reales obtenidas y las deseadas, promediado 
para todas las unidades de salida y todos los patrones de 
entrenamiento. Si todos los ejemplos se han clasificado 
correctamente, finalizar, sino continuar. 
5. Aplicar la regla de aprendizaje (ajustar los pesos) 
tratando de disminuir el error. 
6. Volver al paso 2. 
Aprendizaje supervisado -ALGORITMO- 
T3-1 REDES NEURONALES 
 PROCESOS DE APRENDIZAJE 
32 
No se requiere influencia externa para ajustar los pesos 
entre neuronas. La red no recibe ninguna información por 
parte del entorno que le indique si la salida generada es o 
no correcta. En algunos casos, la salida representa el grado 
de familiaridad o similitud entre la información que se le 
está presentando en la entrada y las que se le han mostrado 
en el pasado. En general en este tipo de aprendizaje se 
suelen considerar dos tipos: 
Aprendizaje Hebbiano: Consiste básicamente en el ajuste de 
los pesos de las conexiones de acuerdo con la correlación, 
así si las dos unidades son activas (positivas), se produce un 
reforzamiento de la conexión. Por el contrario cuando un es 
activa y la otra pasiva (negativa), se produce un 
debilitamiento de la conexión. 
Aprendizaje competitivo y cooperativo: Las neuronas compiten (y 
cooperan) unas con otras con el fin de llevar a cabo una tarea 
dada . Cuando se presenta a la red cierta información de entrada, 
solo una de las neuronas de salida se activa. Por tanto las 
neuronas compiten por activarse, quedando finalmente una, 
como neurona vencedora 
Aprendizaje no supervisado 
T3-1 REDES NEURONALES 
 PROCESOS DE APRENDIZAJE 
33 
Feed-Forward Backpropagation (Recurrente) 
Capa de entrada 
5 entradas 
Capa intermedia 
15 neuronas log-sig 
Capa de salida 
1 neurona tan-sig 
Realimentación de la salida 
con retardo de 1 muestra 
V
ar
ia
bl
es
 d
e 
en
tr
ad
a 
V
ariable de 
salida 
T3-1 REDES NEURONALES 
 EJEMPLO DE RED NEURONAL 
34 
RNA – Ejemplo de red neuronal 
Feed-forward Backpropagation (Recurrente) 
Sistema de 
detección de fallas 
en un 
tanquehidráulico 
Prueba de detección 
de componentes 
principales por 
anulación de entradas 
T3-1 REDES NEURONALES 
 EJEMPLO DE RED NEURONAL 
35 
RNA – Aplicaciones 
•Modelado de procesos lineales y no lineales. 
•Control de procesos y equipos. 
•Reconocimiento de patrones. 
•Asociación de datos. 
•Detección de trayectorias. 
•Predicción de series temporales. 
•Reconocimiento óptico de caracteres. 
•Aproximación de funciones de cualquier tipo. 
T3-1 REDES NEURONALES 
 APLICACIONES 
36 
• Ponce Cruz P. Inteligencia Artificial con 
Aplicaciones a la Ingeniería. Ed. Alfaomega, 
México, 2010. 
• Isasi Viñuela P., Galván León L. M. “REDES DE 
NEURONAS ARTIFICIALES – Un Enfoque 
Práctico”. Ed. Pearson Educación, Madrid, 
2004. 
• García Martínez R., Servente M., Pasquini D. 
"Sistemas Inteligentes". Nueva Librería, 
Buenos Aires. 2003. 
• Más referencias en aula virtual. 
T3-1 REDES NEURONALES 
 BIBLIOGRAFÍA 
	REDES NEURONALES I
	T3-1 REDES NEURONALES�	RNA - DEFINICIONES
	T3-1 REDES NEURONALES�	 REFERENCIAS HISTÓRICAS
	T3-1 REDES NEURONALES �	EL MODELO BIOLÓGICO
	T3-1 REDES NEURONALES �	EL MODELO BIOLÓGICO
	T3-1 REDES NEURONALES �	EL MODELO BIOLÓGICO
	T3-1 REDES NEURONALES �	EL MODELO BIOLÓGICO
	T3-1 REDES NEURONALES �	EL MODELO MATEMÁTICO
	T3-1 REDES NEURONALES �	EL MODELO MATEMÁTICO
	T3-1 REDES NEURONALES �	EL MODELO MATEMÁTICO
	T3-1 REDES NEURONALES �	OPERACIÓN DE UNA NEURONA
	T3-1 REDES NEURONALES �	OPERACIÓN DE UNA NEURONA
	T3-1 REDES NEURONALES �	OPERACIÓN DE UNA NEURONA
	T3-1 REDES NEURONALES �	 DIFERENTES ESQUEMAS DE RNA
	T3-1 REDES NEURONALES �	 DIFERENTES ESQUEMAS DE RNA
	T3-1 REDES NEURONALES �	 TOPOLOGÍA DE REDES
	T3-1 REDES NEURONALES �	 TOPOLOGÍA DE REDES
	T3-1 REDES NEURONALES �	 PROPIEDADES INTRÍNSECAS
	T3-1 REDES NEURONALES � 	 ANALOGÍA BIOLÓGICA – ARTIFICIAL
	T3-1 REDES NEURONALES �	 CLASIFICACIÓN
	T3-1 REDES NEURONALES �	 CLASIFICACIÓN
	T3-1 REDES NEURONALES �	 CLASIFICACIÓN
	T3-1 REDES NEURONALES �	 CLASIFICACIÓN
	T3-1 REDES NEURONALES �	 CLASIFICACIÓN
	T3-1 REDES NEURONALES �	 CLASIFICACIÓN
	T3-1 REDES NEURONALES �	 CLASIFICACIÓN
	T3-1 REDES NEURONALES �	 CLASIFICACIÓN
	T3-1 REDES NEURONALES �	 PROCESOS DE APRENDIZAJE
	T3-1 REDES NEURONALES �	 PROCESOS DE APRENDIZAJE
	T3-1 REDES NEURONALES �	 PROCESOS DE APRENDIZAJE
	T3-1 REDES NEURONALES �	 PROCESOS DE APRENDIZAJE
	T3-1 REDES NEURONALES �	 PROCESOS DE APRENDIZAJE
	T3-1 REDES NEURONALES �	 EJEMPLO DE RED NEURONAL
	RNA – Ejemplo de red neuronal
	RNA – Aplicaciones
	T3-1 REDES NEURONALES �	 BIBLIOGRAFÍA