Perceptron

Transcript

1. Universidad Nacional Mayor de San Marcos Redes Neuronales Perceptron Objetivo: • Conocer a la Redes Neuronales Perecptron y aprender a desarrollarla.
2. Historia • 1943 El perceptron fue derivado del modelo de una neurona biológica del cerebro por Mc Culloch & Pitts – En principio las redes neuronales artificiales podrían computar cualquier función aritmética o lógica. – La red de McCulloch y Pitts no podían aprender. • 1949 Hebb propone una ley de aprendizaje que explicaba como una red de neuronas aprendía
3. Historia • 1957 Rosenblatt desarrolla el Perceptron, una red neuronal en hardware para reconocimiento de caracteres – Rosenblatt diseño el perceptron con vista a explicar y modelar las habilidades de reconocimientos de patrones de los sistemas visuales biológicos • 1958 Rosenblatt se acredita con el algoritmo de aprendizaje del perceptron
4. Perceptron Elemental de Rosenblatt • El problema consiste simplemente en determinar si el patrón de entrada es una “p” o no.
5. Historia • 1969 Minsky & Papert - limitacion del perceptron • El famoso problema de la “XOR”. • 1974-1986 Diferentes personas resuelven los problemas del perceptron: • Algoritmos para entrenar perceptrones multicapa feedforward. • Back-propagation del error (Rumelhart et al 1986).
6. Estructura del Perceptron
7. Estructura del Perceptron • Patrones de entrada representados por el vector x. • wi es un peso modificable asociado con la señal de entrada xi . • La suma pesada de las entradas se aplica al hard limiter, con un valor umbral b.
8. Estructura del Perceptron Pesos iniciales: Los pesos iniciales son aleatorios y se recomienda que se encuentren en un rango de -0.5 a 0.5, que no se repitan y que ninguno sea 0.
9. Estructura del Perceptron • La suma pesada de las entradas se aplica al hard limiter, el cual produce una salida igual a • +1 si su entrada es positiva • -1 si es negativa. • El hard limiter es, entonces           0 x if 1 ) x ( step otherwise 1 0 x if 1 ) x sgn(
10. Estructura del Perceptron • el Hard Limiter puede ser: – sgn(x): la funcion signo, o, hardlims(x) – step(x): la funcion paso, or, hardlim(x)            otherwise 0 0 x if 1 ) x ( step otherwise 1 0 x if 1 ) x sgn(
11. Modelo Matemático del Perceptron • Salida de la neurona 1 n i i i a hardlims w x b          
12. El Perceptron como un Clasificador de dos Clases
13. El Perceptron como un Clasificador de dos Clases • El propósito del perceptron es clasificar las entradas, x1, x2, . . ., xn, en una de dos clases, digamos A1 y A2. • Los patrones de entrada pertenecen a una de dos clases. Esto solo puede suceder cuando ellos son linealmente separables
14. El Perceptron con dos Entradas • La frontera de decisión esta determinada por
15. El Perceptron como un Operador Lógico
16. El Perceptron como un Operador Lógico • El Perceptron como una AND lógica
17. El Perceptron como una AND
18. El Perceptron como un Operador Lógico • El Perceptron como una OR lógica
19. El Perceptron como un Operador Lógico • El Perceptron como una OR lógica
20. El Perceptron como un Operador Lógico
21. Aprendizaje en el Perceptron
22. Aprendizaje en las NNs artificiales • Por regla de aprendizaje entendemos un procedimiento para modificar los pesos de una red. • El propósito de la regla de aprendizaje es entrenar la red para que ejecute una tarea. Este procedimiento se denomina también algoritmo de entrenamiento
23. Aprendizaje en las NNs artificiales • Las entradas se aplican a la red, las salidas de la red se comparan con la salidas correctas (targets). Error = ek = tk – dk tk : Valor Deseado dk : Valor Calculado
24. Aprendizaje en las NNs artificiales • La regla de aprendizaje se usa para ajustar los pesos de la red para mover las salidas de la red hacia las salidas correctas (targets). Wnew = Wold + ΔW Wnew: Pesos actualizados Wold: Pesos iniciales Los pesos se ajustan de acuerdo al error
25. Regla de Aprendizaje del Perceptron wnew = wold + η(tk – dk ).xk W(n+1) = wn + η(tn – dn).zn • w(n+1) es el vector de pesos que se usará para el siguiente patrón. • w(n) es el vector de pesos actual. • η es un escalar llamado razón de aprendizaje, el cual es un valor positivo entre cero y uno y se fija de antemano por uno. • t(n) es la salida esperada, o sea, si el patrón fue clasificado previamente como de la clase 0, t(n) sería 0. • d(n) es la salida dada por la Red, o sea, el 0 o 1 con el que clasificó al patrón. • z(n) es el vector del patrón aumentado, es decir, el vector del patrón con el elemento 1 del bias.
26. Algoritmo de Aprendizaje del Perceptron 1. Inicializar los pesos con valores aleatorios. 2. Iterar por el conjunto de entrenamiento, comparando la salida de la red con la salida deseada para cada ejemplo. 3. Si todos los ejemplos son clasificados correctamente, PARAR. 4. Si no, actualizar los pesos para cada ejemplo incorrect: Si salida = -1, pero deberia ser 1 Si salida = 1 pero deberia ser -1 5. Volver al PASO 2