SI2

Transcript

1. Universidad Nacional Mayor de San Marcos Redes Neuronales Artificiales Objetivo: • Conocer los diferentes tipos Redes Neuronales Artificiales sus aplicaciones.
2. Introducción Aunque todavía se ignora mucho sobre la forma en que el cerebro aprende a procesar la información, se han desarrollado modelos que tratan de mimetizar tales habilidades; denominados redes neuronales artificiales ó modelos de computación conexionista. La elaboración de estos modelos supone en primer lugar la deducción de los rasgos o características esenciales de las neuronas y sus conexiones, y en segundo lugar, la implementación del modelo en una computadora de forma que se pueda simular.
3. Marco Histórico de las Redes Neuronales  1943 W. Mc Culloch y W. Pitts. N. Digitales.  1949 Donald Hebb “La organización de comportamiento”.  1950 Karl Lashley, información almacenada de forma distribuida.
4. Marco Histórico de las Redes Neuronales  1957 F. Rosemblatt “El Perceptron”.  1959 B. Widrow y T. Hoff “Adaline & Madaline”.  1967 S. Grossberg “Red Avalancha”.
5. Marco Histórico de las Redes Neuronales  1969 M. Minsky y S. Papert “Perceptrons”.  1977 Stephen Grossberg "Teoría de Resonancia Adaptada (TRA), Adaptative Resonanci Theory (ART)”.  1978 Teuvo Kohonen “Mapas Autoorganizativos (SOM)”.
6. Marco Histórico de las Redes Neuronales  1980 K. Fukushima “Cognitron y Neocognitron”.  1985 John Hopfield “Red Hopfield”.  1986 Rumelhart, Hinton y William, “Algoritmo de retropropagación”.
7. Inspiración Biológica El cerebro consiste de un gran número de elementos altamente conectados llamadas neuronas. dendritas sinápsis axón Cuerpo celular
8. Inspiración Biológica Color Sabor Olor Sonido Movimiento Conexiones información acciones Neuronas
9. Inspiración Biológica Cuerpo Dendritas Axon Señal Sinapsis (Información)
10. Inspiración Biológica  Dendritas: ramificaciones nerviosas que trasmiten señales electroquímicas hacia el cuerpo de la célula.  Cuerpo de la célula: suma esas señales de entrada.  Axón: filamento que lleva la señal desde el cuerpo de la célula hacia otras neuronas.  Sinápsis: punto de contacto entre un axón de una célula y una dendrita de otra célula.  El arreglo (conexión) de neuronas establece la función de toda la red neural.
11. Inspiración Biológica  Se nace con alguna estructura neural  Se crean nuevas conexiones y otras se gastan; se desarrollan a través del aprendizaje propio de la etapa de crecimiento.  La estructura neural cambia a través de la vida. Esos cambios consisten en reforzamiento o debilitamiento de las junturas sinápticas.  Se forman nuevas memorias al modificar o reforzar algunas sinapsis.  Por ejemplo, memorizar la cara de una persona que nos presentan, consiste en alterar varias sinápsis.
12. Inspiración Biológica  Las ANN no copian la complejidad del cerebro.  Aunque las neuronas biológicas son muy lentas comparadas a los circuitos eléctricos, el cerebro biológico es capaz de realizar muchas tareas más rápido que cualquier computador convencional, debido en parte a su estructura masivamente paralela, donde sus neuronas están operando simultáneamente.  Muchas ANN se implementan en computadores digitales convencionales, sin embargo, su estructura se puede implementar con procesadores paralelos.
13. Reacciones en el Cerebro  Las reacciones químicas se generan fuera de la neurona gracias a los neurotransmisores (glutamato, dopamina, adrenalina, endomorfina).  Los impulsos eléctricos son procesos internos en la soma debido al desbalance de los iones (pasivo a -60 mV) Na+ (dentro y fuera del soma) K+ (fuera del soma) Ca2+ (fuera del soma) P2- (proteinas, dentro …)  El desbalance entre Na+ y K+, precipita los Na+ al interior del soma y lleva al modo activo a +50 mV. Este potencial dispara los neurotransmisores
14. Cerebro • Estudios dividen la corteza cerebral en 51 áreas (comportamiento, movimiento, Homeostasis, emociones, memoria, aprendizaje, etc), las más importantes: – lóbulo temporal: cualidades sonoras, comprensión de lenguaje, memoria y aprendizaje. – lóbulo frontal: motora primaria, neuronas que controlan los músculos del cuerpo. – lóbulo parietal: neuronas relacionadas con el tacto. – lóbulo occipital: corteza visual primaria, localizada en la parte posterior.
15. Cerebro • La respuesta se conduce a través de la médula espinal a los músculos • El cerebro ha crecido desde el hipotálamo que es el asiento de las funciones más básicas
16. Cerebro vs Computador  Almacenamiento: Más neuronas que bits aunque la evolución computacional es vertiginosa (mucho mayor que la evolución de cerebro).  Velocidad: Computador orden de los seg Cerebro del orden de los mseg, pero el cerebro es masivamente paralelo yen definitiva el cerebro es 1010 veces más rápido.
17. Cerebro vs Computador  Tolerancia a fallas: Una neurona natural dañada afecta de manera marginal el comportamiento del cerebro. Cualquier mínimo error altera todo el procesamiento a nivel del computador.  Complejidad de ejecución: El cerebro realiza tareas muy complejas que son sencillas al humano pero difíciles para cualquier computador.  Procesamiento: Centralizado vs Distribuido Computador Cerebro
18. Red Neuronal Artificial
19. ¿Qué es una Red Neuronal Artificial? Algunas redes neuronales son modelos biológicos y otros no, gran parte del origen de las redes neuronales proviene del deseo de producir sistemas artificiales capaces de efectuar procesos sofisticados, quizás inteligentes, similares a los que realiza el cerebro humano comúnmente.
20. Definiciones de una RNA Es un arreglo masivo de elementos de procesamiento simple llamados neuronas, los cuales poseen un alto grado de interconectividad entre sus elementos, en los que la información puede fluir en cascada o en retroceso. Estos arreglos están inspirados en la naturaleza biológica de las neuronas.
21. Definiciones de una RNA Las redes neuronales Artificiales son redes interconectadas masivamente en paralelo de elementos simples y con organización jerárquica, las cuales intentan interactuar con los objetos del mundo real del mismo modo que lo hace el sistema nervioso biológico. Teuvo Kohonen
22. Redes Neurales Artificiales Unidades enlazadas a través de conexiones cargadas por pesos numéricos o El aprendizaje se basa en la actualización de esos pesos que se inicializan en la fase de entrenamiento de la red. o Está formada por unidades de entrada y unidades de salida (neuronas de entrada y neuronas de salida). o El nivel de activación de la neurona artificial (equivalente al impulso excitatorio) es un cálculo individual en cada neurona, sin control global.
23. Redes Neurales Artificiales
24. Redes Neurales Artificiales ini =  Wj,i aj Suma Ponderada f p w b a n  a=ƒ(wp+b) La entrada escalar p se multiplica por el peso escalar w para formar wp, un término que entra al sumador. Otra entrada 1, que se multiplica por un sesgo (offset) b, también va al sumador. La salida del sumador n, que se conoce como entrada de red va a la función de transferencia f (función de activación), la cual produce la salida escalar a de la neurona.
25. Redes Neurales Artificiales Neurona de múltiples entradas Típicamente una neurona tiene más de una entrada. n = w 11 p 1 + w 12 p 2 + ... + w 1R p R + b n = Wp+b El número de entradas a la red depende de las especificaciones del problema. Por ejemplo, si se desea predecir las condiciones de vuelo de un cometa y las entradas sean la temperatura del aire, la velocidad del viento y la humedad, la red necesitará tres entradas. W b + a n p 1 1xR 1x1 1x1 1x1 Rx1 f
26. Información sobre el Sesgo Se pueden escoger las neuronas con o sin sesgo. El sesgo es una variable extra. Las redes con sesgo son más poderosas que las que no lo tienen. Por ejemplo, una neurona sin sesgo siempre tendrá una entrada de red n cero, cuando las entradas P son cero. En algunos casos esto es no deseable y se puede evitar por el uso del sesgo.
27. Funciones de Activación (ƒ) Función común a todas las neuronas artificiales que determina su activación dado los estímulos de entrada
28. Arquitecturas de RNAs Perceptrones de un solo nivel
29. Arquitecturas de RNAs Perceptrones de varios niveles
30. Arquitecturas de RNAs Redes Recurrentes
31. Arquitecturas de RNAs
32. Tipos de Aprendizaje • Supervisado: Se presenta a la red un conjunto de patrones junto con la salida deseada. Iterativamente se ajustan los pesos para lograr la salida deseada. • No Supervisado o Autoorganizado: La red reconoce la irregularidades del conjunto de entrada, extrae rasgos y los agrupa por similitud (cluster). • Híbrido: Coexistencia de supervisado y autoorganizado. • Reforzado: Se tiene información del error más no de la salida. Con la información del buen o mal comportamiento se ajusta la red.
33. Ventajas de la Redes Neuronales  Aprendizaje Adaptativo: Es una de las características más atractivas de las redes neuronales es la capacidad de aprender a realizar tareas basadas en un entrenamiento o una experiencia inicial.  Autoorganización: Las redes neuronales usan su capacidad de aprendizaje adaptativo para organizar la información que reciben durante el aprendizaje y/o la operación. Una RNA puede crear su propia organización o representación de la información que recibe mediante una etapa de aprendizaje. Esta autoorganización provoca la facultad de las redes neuronales de responder apropiadamente cuando se les presentan datos o situaciones a los que no habían sido expuestas anteriormente.
34. Ventajas de la Redes Neuronales  Tolerancia a Fallos: Comparados con los sistemas computacionales tradicionales, los cuales pierden su funcionalidad en cuanto sufren un pequeño error de memoria, en las redes neuronales, si se produce un fallo en un pequeño número de neuronas, aunque el comportamiento del sistema se ve influenciado, sin embargo no sufre una caída repentina. Hay dos aspectos distintos respecto a la tolerancia a fallos: primero, las redes pueden aprender a reconocer patrones con ruido, distorsionados, o incompleta. Segundo pueden seguir realizando su función (con cierta degradación) aunque se destruya parte de la red.
35. Ventajas de la Redes Neuronales  Operación en Tiempo Real: Los computadores neuronales pueden ser realizados en paralelo, y se diseñan y fabrican máquinas con hardware especial para obtener esta capacidad.  Fácil inserción dentro de la tecnología existente: Debido a que una red puede ser rápidamente entrenada, comprobada, verificada y trasladada a una implementación hardware de bajo costo, es fácil insertar RNA para aplicaciones específicas dentro de sistemas existentes (chips, por ejemplo). De esta manera, las redes neuronales se pueden utilizar para mejorar sistemas de forma incremental, y cada paso puede ser evaluado antes de acometer un desarrollo más amplio.
36. Consideraciones en una Red Neural Artificial  ¿ Cuantas unidades o neuronas artificiales ? Tanteo ...  ¿ Tipo de neurona ? Por problemas similares  ¿ Topología de la red ? Tanteo ...  ¿ Inicialización de los pesos ? Aleatorio  ¿ Número de ejemplos para el entrenamiento ? Depende del problema planteado  ¿ Cómo codificar los datos de entrada y salida ? Binario es lo común ...
37. Algunos Tipos de Redes Artificiales  Perceptron Reconocimiento de caracteres impresos.  Adalaine y Madalaine Filtrado de señales.  Backpropagation Sintesis de Voz, Control de Robots, Patrones.  Neocognitron Reconocimiento de caracteres Manuscritos.
38. Algunos Tipos de Redes Artificiales  Hopfield Reconstrucción de Patrones.  SOM Reconocimiento de patrones codificados de datos.  ART Reconocimiento de patrones (radar, sonar).
39. Campos de aplicación  Finanzas Predicción de índices. Detección de fraudes. Riesgo crediticio, clasificación. Predicción de la rentabilidad de acciones.  Negocios Marketing. Venta cruzada. Campanas de venta.  Tratamiento de textos y proceso de formas Reconocimiento de caracteres impresos mecánicamente. Reconocimiento de gráficos. Reconocimiento de caracteres escritos a mano. Reconocimiento de escritura manual cursiva.
40. Campos de aplicación  Alimentación Análisis de olor y aroma. Perfilamiento de clientes en función de la compra. Desarrollo de productos. Control de Calidad–Predicción consumo de gas ciudad.  Industria manufacturera Control de procesos. Control de calidad. Control de robots.  Medicina y salud Ayuda al diagnostico. Análisis de Imágenes. Desarrollo de medicamentos. Distribución de recursos.
41. Campos de aplicación  Ciencia e Ingeniería Análisis de datos y clasificación. Ingeniería Química. Ingeniería Eléctrica. Climatología.  Transportes y Comunicaciones Optimización de rutas. Optimización en la distribución de recursos.
42. Aplicaciones Reales  Pronunciación: NETtalk (87), aprende a pronunciaer texto escrito. 29 unidades de entrada (26 letras, más espacios, puntos, comas, ...). 80 unidades ocultas. 1024-palabras de entrenamiento y 95% de éxito en el entrenamiento, pero 78% en la prueba.
43. Aplicaciones Reales  Reconocimiento de caracteres: una de las aplicaciones más grandes de redes neuronales actuales (Le Cun et al. 89). Una red que lee códigos postales en cartas escritas a mano. El sistema tiene un prepocesador para localizar los números, y la red los descifra. 3 capas ocultas (768, 192 y 30 unidades cada una). No se conectaron todas las unidades contra todas, si no que se dió un efecto de detectores de atributos, dividiendo las unidades ocultas en grupos (un total de 9,760 conexiones). Logra un 99% de éxito, adecuado para un sistema de correo automático y se ha implementado en un chip.
44. Aplicaciones Reales  Manejar: ALVINN (Autonomous Land Vehicle In a Neural Network) (Pomerleau 93) es una red neuronal que aprende a manejar un vehículo viendo como maneja un humano. Maneja dos vehículos equipados especialmente. Se utiliza una camara que alimenta una rejilla de entradas a la red. La salida (30 unidades) controla la dirección del volante. La red tiene 5 capas ocultas totalmente conectadas. Después de que gente maneja el vehículo y se entrena al sistema (con retro-propagación, por cerca de 10 min.) el sistema está listo para manejar. Puede manejar hasta a 70 mph por distancias de hasta 90 millas. Extensiones: MANIAC.
45. Instituciones y Centros de Investigación  MIT  UCLA  Universidad de Helsinky  Universidad Politécnica de Madrid  Texas A&M, etc.  UNI Facultad de Ciencias
46. Asociaciones de RNA  1987 International Neural Network Society (INNS).  1988 International Joint Conference on Neural Networks (IJNN).  1991 International Conference on Artificial Neural Networks (ICANN).