Slide 1

Slide 1 text

Universidad Nacional Mayor de San Marcos Redes Neuronales Artificiales Objetivo: • Conocer los diferentes tipos Redes Neuronales Artificiales sus aplicaciones.

Slide 2

Slide 2 text

Introducción Aunque todavía se ignora mucho sobre la forma en que el cerebro aprende a procesar la información, se han desarrollado modelos que tratan de mimetizar tales habilidades; denominados redes neuronales artificiales ó modelos de computación conexionista. La elaboración de estos modelos supone en primer lugar la deducción de los rasgos o características esenciales de las neuronas y sus conexiones, y en segundo lugar, la implementación del modelo en una computadora de forma que se pueda simular.

Slide 3

Slide 3 text

Marco Histórico de las Redes Neuronales  1943 W. Mc Culloch y W. Pitts. N. Digitales.  1949 Donald Hebb “La organización de comportamiento”.  1950 Karl Lashley, información almacenada de forma distribuida.

Slide 4

Slide 4 text

Marco Histórico de las Redes Neuronales  1957 F. Rosemblatt “El Perceptron”.  1959 B. Widrow y T. Hoff “Adaline & Madaline”.  1967 S. Grossberg “Red Avalancha”.

Slide 5

Slide 5 text

Marco Histórico de las Redes Neuronales  1969 M. Minsky y S. Papert “Perceptrons”.  1977 Stephen Grossberg "Teoría de Resonancia Adaptada (TRA), Adaptative Resonanci Theory (ART)”.  1978 Teuvo Kohonen “Mapas Autoorganizativos (SOM)”.

Slide 6

Slide 6 text

Marco Histórico de las Redes Neuronales  1980 K. Fukushima “Cognitron y Neocognitron”.  1985 John Hopfield “Red Hopfield”.  1986 Rumelhart, Hinton y William, “Algoritmo de retropropagación”.

Slide 7

Slide 7 text

Inspiración Biológica El cerebro consiste de un gran número de elementos altamente conectados llamadas neuronas. dendritas sinápsis axón Cuerpo celular

Slide 8

Slide 8 text

Inspiración Biológica Color Sabor Olor Sonido Movimiento Conexiones información acciones Neuronas

Slide 9

Slide 9 text

Inspiración Biológica Cuerpo Dendritas Axon Señal Sinapsis (Información)

Slide 10

Slide 10 text

Inspiración Biológica  Dendritas: ramificaciones nerviosas que trasmiten señales electroquímicas hacia el cuerpo de la célula.  Cuerpo de la célula: suma esas señales de entrada.  Axón: filamento que lleva la señal desde el cuerpo de la célula hacia otras neuronas.  Sinápsis: punto de contacto entre un axón de una célula y una dendrita de otra célula.  El arreglo (conexión) de neuronas establece la función de toda la red neural.

Slide 11

Slide 11 text

Inspiración Biológica  Se nace con alguna estructura neural  Se crean nuevas conexiones y otras se gastan; se desarrollan a través del aprendizaje propio de la etapa de crecimiento.  La estructura neural cambia a través de la vida. Esos cambios consisten en reforzamiento o debilitamiento de las junturas sinápticas.  Se forman nuevas memorias al modificar o reforzar algunas sinapsis.  Por ejemplo, memorizar la cara de una persona que nos presentan, consiste en alterar varias sinápsis.

Slide 12

Slide 12 text

Inspiración Biológica  Las ANN no copian la complejidad del cerebro.  Aunque las neuronas biológicas son muy lentas comparadas a los circuitos eléctricos, el cerebro biológico es capaz de realizar muchas tareas más rápido que cualquier computador convencional, debido en parte a su estructura masivamente paralela, donde sus neuronas están operando simultáneamente.  Muchas ANN se implementan en computadores digitales convencionales, sin embargo, su estructura se puede implementar con procesadores paralelos.

Slide 13

Slide 13 text

Reacciones en el Cerebro  Las reacciones químicas se generan fuera de la neurona gracias a los neurotransmisores (glutamato, dopamina, adrenalina, endomorfina).  Los impulsos eléctricos son procesos internos en la soma debido al desbalance de los iones (pasivo a -60 mV) Na+ (dentro y fuera del soma) K+ (fuera del soma) Ca2+ (fuera del soma) P2- (proteinas, dentro …)  El desbalance entre Na+ y K+, precipita los Na+ al interior del soma y lleva al modo activo a +50 mV. Este potencial dispara los neurotransmisores

Slide 14

Slide 14 text

Cerebro • Estudios dividen la corteza cerebral en 51 áreas (comportamiento, movimiento, Homeostasis, emociones, memoria, aprendizaje, etc), las más importantes: – lóbulo temporal: cualidades sonoras, comprensión de lenguaje, memoria y aprendizaje. – lóbulo frontal: motora primaria, neuronas que controlan los músculos del cuerpo. – lóbulo parietal: neuronas relacionadas con el tacto. – lóbulo occipital: corteza visual primaria, localizada en la parte posterior.

Slide 15

Slide 15 text

Cerebro • La respuesta se conduce a través de la médula espinal a los músculos • El cerebro ha crecido desde el hipotálamo que es el asiento de las funciones más básicas

Slide 16

Slide 16 text

Cerebro vs Computador  Almacenamiento: Más neuronas que bits aunque la evolución computacional es vertiginosa (mucho mayor que la evolución de cerebro).  Velocidad: Computador orden de los seg Cerebro del orden de los mseg, pero el cerebro es masivamente paralelo yen definitiva el cerebro es 1010 veces más rápido.

Slide 17

Slide 17 text

Cerebro vs Computador  Tolerancia a fallas: Una neurona natural dañada afecta de manera marginal el comportamiento del cerebro. Cualquier mínimo error altera todo el procesamiento a nivel del computador.  Complejidad de ejecución: El cerebro realiza tareas muy complejas que son sencillas al humano pero difíciles para cualquier computador.  Procesamiento: Centralizado vs Distribuido Computador Cerebro

Slide 18

Slide 18 text

Red Neuronal Artificial

Slide 19

Slide 19 text

¿Qué es una Red Neuronal Artificial? Algunas redes neuronales son modelos biológicos y otros no, gran parte del origen de las redes neuronales proviene del deseo de producir sistemas artificiales capaces de efectuar procesos sofisticados, quizás inteligentes, similares a los que realiza el cerebro humano comúnmente.

Slide 20

Slide 20 text

Definiciones de una RNA Es un arreglo masivo de elementos de procesamiento simple llamados neuronas, los cuales poseen un alto grado de interconectividad entre sus elementos, en los que la información puede fluir en cascada o en retroceso. Estos arreglos están inspirados en la naturaleza biológica de las neuronas.

Slide 21

Slide 21 text

Definiciones de una RNA Las redes neuronales Artificiales son redes interconectadas masivamente en paralelo de elementos simples y con organización jerárquica, las cuales intentan interactuar con los objetos del mundo real del mismo modo que lo hace el sistema nervioso biológico. Teuvo Kohonen

Slide 22

Slide 22 text

Redes Neurales Artificiales Unidades enlazadas a través de conexiones cargadas por pesos numéricos o El aprendizaje se basa en la actualización de esos pesos que se inicializan en la fase de entrenamiento de la red. o Está formada por unidades de entrada y unidades de salida (neuronas de entrada y neuronas de salida). o El nivel de activación de la neurona artificial (equivalente al impulso excitatorio) es un cálculo individual en cada neurona, sin control global.

Slide 23

Slide 23 text

Redes Neurales Artificiales

Slide 24

Slide 24 text

Redes Neurales Artificiales ini =  Wj,i aj Suma Ponderada f p w b a n  a=ƒ(wp+b) La entrada escalar p se multiplica por el peso escalar w para formar wp, un término que entra al sumador. Otra entrada 1, que se multiplica por un sesgo (offset) b, también va al sumador. La salida del sumador n, que se conoce como entrada de red va a la función de transferencia f (función de activación), la cual produce la salida escalar a de la neurona.

Slide 25

Slide 25 text

Redes Neurales Artificiales Neurona de múltiples entradas Típicamente una neurona tiene más de una entrada. n = w 11 p 1 + w 12 p 2 + ... + w 1R p R + b n = Wp+b El número de entradas a la red depende de las especificaciones del problema. Por ejemplo, si se desea predecir las condiciones de vuelo de un cometa y las entradas sean la temperatura del aire, la velocidad del viento y la humedad, la red necesitará tres entradas. W b + a n p 1 1xR 1x1 1x1 1x1 Rx1 f

Slide 26

Slide 26 text

Información sobre el Sesgo Se pueden escoger las neuronas con o sin sesgo. El sesgo es una variable extra. Las redes con sesgo son más poderosas que las que no lo tienen. Por ejemplo, una neurona sin sesgo siempre tendrá una entrada de red n cero, cuando las entradas P son cero. En algunos casos esto es no deseable y se puede evitar por el uso del sesgo.

Slide 27

Slide 27 text

Funciones de Activación (ƒ) Función común a todas las neuronas artificiales que determina su activación dado los estímulos de entrada

Slide 28

Slide 28 text

Arquitecturas de RNAs Perceptrones de un solo nivel

Slide 29

Slide 29 text

Arquitecturas de RNAs Perceptrones de varios niveles

Slide 30

Slide 30 text

Arquitecturas de RNAs Redes Recurrentes

Slide 31

Slide 31 text

Arquitecturas de RNAs

Slide 32

Slide 32 text

Tipos de Aprendizaje • Supervisado: Se presenta a la red un conjunto de patrones junto con la salida deseada. Iterativamente se ajustan los pesos para lograr la salida deseada. • No Supervisado o Autoorganizado: La red reconoce la irregularidades del conjunto de entrada, extrae rasgos y los agrupa por similitud (cluster). • Híbrido: Coexistencia de supervisado y autoorganizado. • Reforzado: Se tiene información del error más no de la salida. Con la información del buen o mal comportamiento se ajusta la red.

Slide 33

Slide 33 text

Ventajas de la Redes Neuronales  Aprendizaje Adaptativo: Es una de las características más atractivas de las redes neuronales es la capacidad de aprender a realizar tareas basadas en un entrenamiento o una experiencia inicial.  Autoorganización: Las redes neuronales usan su capacidad de aprendizaje adaptativo para organizar la información que reciben durante el aprendizaje y/o la operación. Una RNA puede crear su propia organización o representación de la información que recibe mediante una etapa de aprendizaje. Esta autoorganización provoca la facultad de las redes neuronales de responder apropiadamente cuando se les presentan datos o situaciones a los que no habían sido expuestas anteriormente.

Slide 34

Slide 34 text

Ventajas de la Redes Neuronales  Tolerancia a Fallos: Comparados con los sistemas computacionales tradicionales, los cuales pierden su funcionalidad en cuanto sufren un pequeño error de memoria, en las redes neuronales, si se produce un fallo en un pequeño número de neuronas, aunque el comportamiento del sistema se ve influenciado, sin embargo no sufre una caída repentina. Hay dos aspectos distintos respecto a la tolerancia a fallos: primero, las redes pueden aprender a reconocer patrones con ruido, distorsionados, o incompleta. Segundo pueden seguir realizando su función (con cierta degradación) aunque se destruya parte de la red.

Slide 35

Slide 35 text

Ventajas de la Redes Neuronales  Operación en Tiempo Real: Los computadores neuronales pueden ser realizados en paralelo, y se diseñan y fabrican máquinas con hardware especial para obtener esta capacidad.  Fácil inserción dentro de la tecnología existente: Debido a que una red puede ser rápidamente entrenada, comprobada, verificada y trasladada a una implementación hardware de bajo costo, es fácil insertar RNA para aplicaciones específicas dentro de sistemas existentes (chips, por ejemplo). De esta manera, las redes neuronales se pueden utilizar para mejorar sistemas de forma incremental, y cada paso puede ser evaluado antes de acometer un desarrollo más amplio.

Slide 36

Slide 36 text

Consideraciones en una Red Neural Artificial  ¿ Cuantas unidades o neuronas artificiales ? Tanteo ...  ¿ Tipo de neurona ? Por problemas similares  ¿ Topología de la red ? Tanteo ...  ¿ Inicialización de los pesos ? Aleatorio  ¿ Número de ejemplos para el entrenamiento ? Depende del problema planteado  ¿ Cómo codificar los datos de entrada y salida ? Binario es lo común ...

Slide 37

Slide 37 text

Algunos Tipos de Redes Artificiales  Perceptron Reconocimiento de caracteres impresos.  Adalaine y Madalaine Filtrado de señales.  Backpropagation Sintesis de Voz, Control de Robots, Patrones.  Neocognitron Reconocimiento de caracteres Manuscritos.

Slide 38

Slide 38 text

Algunos Tipos de Redes Artificiales  Hopfield Reconstrucción de Patrones.  SOM Reconocimiento de patrones codificados de datos.  ART Reconocimiento de patrones (radar, sonar).

Slide 39

Slide 39 text

Campos de aplicación  Finanzas Predicción de índices. Detección de fraudes. Riesgo crediticio, clasificación. Predicción de la rentabilidad de acciones.  Negocios Marketing. Venta cruzada. Campanas de venta.  Tratamiento de textos y proceso de formas Reconocimiento de caracteres impresos mecánicamente. Reconocimiento de gráficos. Reconocimiento de caracteres escritos a mano. Reconocimiento de escritura manual cursiva.

Slide 40

Slide 40 text

Campos de aplicación  Alimentación Análisis de olor y aroma. Perfilamiento de clientes en función de la compra. Desarrollo de productos. Control de Calidad–Predicción consumo de gas ciudad.  Industria manufacturera Control de procesos. Control de calidad. Control de robots.  Medicina y salud Ayuda al diagnostico. Análisis de Imágenes. Desarrollo de medicamentos. Distribución de recursos.

Slide 41

Slide 41 text

Campos de aplicación  Ciencia e Ingeniería Análisis de datos y clasificación. Ingeniería Química. Ingeniería Eléctrica. Climatología.  Transportes y Comunicaciones Optimización de rutas. Optimización en la distribución de recursos.

Slide 42

Slide 42 text

Aplicaciones Reales  Pronunciación: NETtalk (87), aprende a pronunciaer texto escrito. 29 unidades de entrada (26 letras, más espacios, puntos, comas, ...). 80 unidades ocultas. 1024-palabras de entrenamiento y 95% de éxito en el entrenamiento, pero 78% en la prueba.

Slide 43

Slide 43 text

Aplicaciones Reales  Reconocimiento de caracteres: una de las aplicaciones más grandes de redes neuronales actuales (Le Cun et al. 89). Una red que lee códigos postales en cartas escritas a mano. El sistema tiene un prepocesador para localizar los números, y la red los descifra. 3 capas ocultas (768, 192 y 30 unidades cada una). No se conectaron todas las unidades contra todas, si no que se dió un efecto de detectores de atributos, dividiendo las unidades ocultas en grupos (un total de 9,760 conexiones). Logra un 99% de éxito, adecuado para un sistema de correo automático y se ha implementado en un chip.

Slide 44

Slide 44 text

Aplicaciones Reales  Manejar: ALVINN (Autonomous Land Vehicle In a Neural Network) (Pomerleau 93) es una red neuronal que aprende a manejar un vehículo viendo como maneja un humano. Maneja dos vehículos equipados especialmente. Se utiliza una camara que alimenta una rejilla de entradas a la red. La salida (30 unidades) controla la dirección del volante. La red tiene 5 capas ocultas totalmente conectadas. Después de que gente maneja el vehículo y se entrena al sistema (con retro-propagación, por cerca de 10 min.) el sistema está listo para manejar. Puede manejar hasta a 70 mph por distancias de hasta 90 millas. Extensiones: MANIAC.

Slide 45

Slide 45 text

Instituciones y Centros de Investigación  MIT  UCLA  Universidad de Helsinky  Universidad Politécnica de Madrid  Texas A&M, etc.  UNI Facultad de Ciencias

Slide 46

Slide 46 text

Asociaciones de RNA  1987 International Neural Network Society (INNS).  1988 International Joint Conference on Neural Networks (IJNN).  1991 International Conference on Artificial Neural Networks (ICANN).