IAC2016-10 Conexionismo_A4

Vista previa del material en texto

Hay muchas formas de conexionismo, pero las formas más comunes son los modelos de redes neuronales.
1.2. Principio del conexionismo.
Principio del conexionismo.
Principio del conexionismo:
Los fenómenos mentales pueden ser descritos por redes de unidades sencillas y frecuentemente iguales que se
interconectan.
1.3. Modelos del conexionismo.
Modelos del conexionismo.
La forma de las unidades y de sus conexiones varía según el modelo.
Un ejemplo de modelo sería que las unidades de la red podrían representar neuronas y las conexiones
podrían representar sinapsis.
Otro ejemplo de modelo podría ser que cada unidad de la red sea una palabra, y cada conexión una indicación
de similitud semántica (en el área de procesamiento de lenguajes naturales).
2. Procesamiento distribuido en paralelo.
2.1. Procesamiento distribuido en paralelo.
Procesamiento distribuido en paralelo.
El enfoque conexionista que prevalece hoy en día fue originalmente conocido como procesamiento distri-
buido en paralelo (PDP).
Era un enfoque de red neuronal que destacó la capacidad de procesamiento paralelo de una red neuronal, y
la naturaleza distribuida de las representaciones neuronales.
Dicho enfoque proporcionó a los investigadores un marco matemático general en el que operar.
3. RNA-ANN.
3.1. RNA-ANN.
RNA Redes Neuronales Artificiales.
RNA-ANN
Una ANN es un modelo computacional, paralelo, compuesto de unidades procesadoras adaptativas con una
alta interconexión entre ellas.
Las ANN son modelos matemáticos desarrollados para emular el cerebro humano.
Desde el punto de vista del reconocimiento de patrones las ANN son una extensión de los métodos clásicos
estadísticos.
2
3.2. RNA-Historia.
RNA-Historia.
Historia
Los primeros modelos de redes neuronales datan de 1943 por los neurólogos McCulloch y Pitts.
En 1949, Donald Hebb desarrolló "la regla de Hebb"sobre el aprendizaje neuronal.
En 1958, Rosemblatt desarrolló el perceptrón simple.
En 1960, Widrow y Hoff desarrollaron ADALINE, que fue la primera aplicación industrial real.
RNA-Historia.
Historia
En los años siguientes, se redujo la investigación, debido a la falta de modelos de aprendizaje y el estudio
de Minsky y Papert sobre las limitaciones del perceptrón.
En los años 80, volvieron a resurgir las RNA gracias al desarrollo de la red de Hopfield, y en especial, al
algoritmo de aprendizaje de retropropagación ideado por Rumelhart y McLellan en 1986 que fue aplicado
en el desarrollo de los perceptrones multicapa.
4. Neuronas.
Neuronas
Neurona
Es una unidad de cálculo que toma como entrada las variables del problema o las salidas de otras neuronas,
realiza en su forma más usual, un promedio ponderado de las mismas y transforma este promedio en su propia
salida utilizando una función de activación.
Modelos basados en neuronas
Modelos basados en neuronas
Tienen los siguientes elementos básicos:
Un conjunto de conexiones, pesos o sinapsis que determinan el comportamiento de una neurona. Estas
conexiones pueden ser excitadoras (presentan un signo positivo) o inhibidoras (conexiones negativas).
Una función suma que se encarga de sumar todas las entradas multiplicadas por las respectivas sinapsis o
pesos.
Una función de activación no lineal para limitar la amplitud de la salida de la neurona.
Modelos basados en neuronas
Representación esquemática simplificada de una neurona.
3
Modelos basados en neuronas
Donde la salida es el resultado de la función de activación f(x ) y x = Âi=ni=1 xiwi es el promedio pesado.
El peso w0 es utilizado como sesgo, para corregir el valor medio de las entradas. El valor de entrada corres-
pondiente x0 se fija a una constante.
4.1. Funciones típicas de activación.
Funciones típicas de activación.
Existen una gran variedad de funciones de activación todas inspiradas en modelos biológicos, algunas de las
más típicas son:
Función signo o umbral:
f(x ) =
(
1 si x � 0
0 si no
(1)
Función sigmoidea:
f(x ) = 1
1+ exp(�x ) (2)
Función identidad:
f(x ) = x (3)
Funciones típicas de activación.
Representación gráfica de las funciones de activación: umbral, sigmoidea e identidad.
El perceptrón multicapas.
Los elementos básicos presentados anteriormente (neuronas) pueden ser conectados entre sí para formar una
red neuronal.
Representación esquemática simplificada de una red neuronal multicapa.
5. Próxima Clase
Próxima Clase
1. Back Propagation.
4
6. Bibliografía
Bibliografía
Hassoun, M. H. Fundamentals of artificial neural networks. MIT press, 1995.
Chen, C.-T., Chang, W.-D. A feedforward neural network with function shape autotuning. Neural networks,
9 (4), 627?641, 1996.
Bishop, C. M. Neural networks for pattern recognition. Oxford university press, 1995.
Rosenblatt, F. The perceptron. Psych. Rev, 65 (6), 386?408, 1958.
5