Adaline

Transcript

1. Red Adaline Adaptive Linear Neuron
2. Historia • A finales de los 50’s Bernard Widrow empezaba a trabajar en redes neuronales, en el tiempo en el que Frank Rosenblatt desarrollo la regla de aprendizaje del perceptron. • En 1960 Widrow y su asesorado Marcian Hoff, presentaron la red ADALINE (Adaptive Linear Neuron), y una regla de aprendizaje la cual denominaron algoritmo LMS (least mean square).
3. Introducción • La red ADALINE es muy similar al perceptron, excepto que su función de transferencia es linear, en vez de escalón. • Tanto el ADALINE como el perceptron sufren de la misma limitación: solo pueden resolver problemas linealmente separables.
4. Diferencias Entre La Regla Del Perceptron Y El Algoritmo LMS • El algoritmo LMS es más poderoso que la regla de aprendizaje del Perceptron. • El algoritmo LMS ha encontrado muchos más usos que la regla de aprendizaje del perceptron. En esencia en el área del procesamiento digital de señales.
5. Diferencias Entre La Regla Del Perceptron Y El Algoritmo LMS PERCEPTRON ADALINE Función de Transferencia ESCALON LINEAL Resolución de problemas Linealmente Separables Linealmente Separables Comportamiento con respecto al RUIDO Sensible al Ruido Minimiza el Ruido Algoritmo de aprendizaje Regla de aprendizaje Del Perceptron LMS
6. Arquitectura de ADALINE X0 =1 X1 W0 XN X2 X3 W1 W2 W3 WN S s Salida Lineal Salida binaria y Combinador Adaptativo Lineal Conmutador Bipolar s y -1 1
7. Arquitectura de ADALINE • Formada por un elemento denominado: Combinador Adaptativo Lineal (ALC). • La salida lineal obtenida del ALC se aplica a un Conmutador Bipolar. • El Umbral de la F. de T. se representa a través de una conexión ficticia de peso Wo (b)
8. Red ADALINE a p u r e l i n W p b + ( ) W p b + = = a i p u r e l i n n i ( ) p u r e l i n w T p b i + ( ) w T p b i + = = =  w i w i 1  w i 2  w i R  =
9. ADALINE de dos entradas a p u r e l i n n ( ) p u r e l i n w T p b + ( ) w T p b + = = = a w T p b + w 1 1  p 1 w 1 2  p 2 b + + = =
10. Algoritmo de Aprendizaje Aprendizaje OFF-LINE con Supervisión Least Mean Square (LMS). LMS trata de minimizar una diferencia entre el valor obtenido y el deseado; como en el PERCEPTRON, sólo que ahora la salida considerada es la salida obtenida al aplicar una función de activación lineal.
11. Algoritmo de Aprendizaje El entrenamiento de la red consiste en adaptar los pesos a medida que se vayan presentando los patrones de entrenamiento y salidas deseadas para cada uno de ellos. Para cada combinación E/S se realiza un proceso automático de pequeños ajustes en los valores de los pesos hasta que se obtienen las salidas correctas.
12. Ecuaciones Importantes en el Algoritmo LMS En Forma de Matriz Donde : l max: es el eigenvalor más grande de la matriz Hessiana R W k 1 + ( ) W k ( ) 2 a e k ( ) p T k ( ) + = b k 1 + ( ) b k ( ) 2 a e k ( ) + = R E p p T [ ] 1 2 - - - p 1 p 1 T 1 2 - - - p 2 p 2 T + = = a es la velocidad de aprendizaje determinada por 0 a 1 l m a x  < <
13. Algoritmo de Aprendizaje en ADALINE 1. Se aplica un patrón de entrada P. 2. Se obtiene la salida del ALC y se calcula la diferencia con respecto a la deseada (error). 3. Se actualizan los pesos. 4. Se repiten pasos 1 a 3 con todos los vectores de entrada. 5. Si el Error es un valor aceptable, detenerse, si no repetir algoritmo.
14. Función de Error Para un ALC con solo dos pesos, la superficie de error es un paraboloide. Los pesos que minimizan el error se tienen en el fondo de la superficie paraboloidal.
15. Ejemplo p1 1 – 1 1 – t1  1 – = =           p2 1 1 1 – t2  1 = =           R E ppT [ ] 1 2 - - -p1 p1 T 1 2 - - -p2 p2 T + = = R 1 2 -- - 1 – 1 1 – 1 – 1 1 – 1 2 - - - 1 1 1 – 1 1 1 – + 1 0 0 0 1 1 – 0 1 – 1 = = l1 1.0 l2 0.0 l3 2.0 =  =  = a 1 lmax -- -- -- -- -- - - < 1 2.0 - -- -- - - 0.5 = = Banana Manzana