Cómo dejar de ser un noob gracias a la Inteligencia Artificial

En pleno auge de la Inteligencia Artificial cada vez es mayor la necesidad de disponer de entornos controlados, replicables y disponer de una cantidad infinita de datos etiquetados, lo que ha aumentado el empleo de algoritmos de Deep Learning y Reinforcement Learning al mundo de los videojuegos como entornos de prueba antes de aplicarlos en diversos campos como medicina, ciberseguridad o banca electrónica. Esta ponencia contará con multitud de demos en directo en las que mostraremos el funcionamiento de varios algoritmos de Deep Q-Learning en distintos escenarios, desde los clásicos juegos de ATARI hasta juegos de mundo abierto como Minecraft.

Transcript

1. Cómo dejar de ser un noob gracias a la Inteligencia Artificial MAD · NOV 23-24 · 2018 Javier Jiménez del Peso Data Scientist @JavierJim1993
2. Introducción
3. Reinforcement Learning Agente Entorno Recompensa Estado Acción
4. ¿Por qué videojuegos? Suministro infinito de datos etiquetados Controlable y replicable Sin problemas éticos ni de seguridad Bajo coste por muestra Dinámicas complicadas con reglas simples Algoritmos lentos Requiere muchos recursos Difícil evaluar el progreso Paso de videojuego al mundo real ?
5. Deep Q- Learning Deep Q-Network (DQN) = Q-Learning + Deep Neural Networks
6. Deep Q- Learning Deep Q-Network (DQN) = Q-Learning + Deep Neural Networks
7. Deep Q- Learning Deep Q-Network (DQN) = Q-Learning + Deep Neural Networks Experience reply: guarda experiencias { , , +1 , +1 } en memoria, lo que permite aprender del pasado.
8. Paper: https://arxiv.org/pdf/1312.5602.pdf Source: https://deepmind.com/research/dqn/ Paper: https://storage.googleapis.com/deepmind-media/dqn/DQNNaturePaper.pdf
10. Source: https://blog.openai.com/openai-baselines-dqn/ Code: https://github.com/openai/baselines Implementación open source de algoritmos DQN y variantes como Double Q Learning, Prioritized Replay o Dueling DQN. LIVE DEMO
11. Source: https://deepmind.com/blog/understanding-agent-cooperation/ Paper: https://arxiv.org/pdf/1702.03037.pdf Agent cooperation Gathering Enfrentamiento Wolfpack Cooperación
12. Code: https://github.com/yenchenlin/DeepLearningFlappyBird LIVE DEMO
13. Paper: https://arxiv.org/pdf/1705.05363.pdf Code: https://github.com/pathak22/noreward-rl Intrinsic Motivation (IM): ignorar los aspectos que no afectan al agente y usar la curiosidad como señal de recompensa que incita al agente a explorar su entorno y aprender comportamientos que serán útiles en escenarios posteriores. LIVE DEMO
14. Paper: https://arxiv.org/pdf/1606.01868v1.pdf Paper: https://arxiv.org/pdf/1703.01310.pdf Montezuma's Revenge Problema con algoritmos de RL y DQN: recompensas y feedback escasos. Aplicación de curiosidad como un método de recompensa (Intrinsic Motivation).
15. Source: https://www.microsoft.com/en-us/research/project/project-malmo/ Paper: https://www.ijcai.org/Proceedings/16/Papers/643.pdf Code: https://github.com/Microsoft/malmo Project Malmo Se trata de una plataforma open source destinada a la investigación de algoritmos de Inteligencia Artificial en Minecraft. LIVE DEMO
16. A pesar del gran incremento de estudios y publicaciones, el campo de RL se encuentra dando sus primeros pasos: • La mayoría de estudios relacionados con RL en videojuegos están enfocados en aprender a jugar a un solo juego. • En las aproximaciones existentes se tiene que dedicar gran esfuerzo a diseñar la arquitectura de la red y elegir la función de recompensa para el juego en cuestión. • Los juegos con recompensas dispersas siguen suponiendo un reto enorme en RL. • La mayoría de enfoques actuales se centran en el entrenamiento de un único agente y los métodos aplicados a juegos con interacción de múltiples agentes al mismo tiempo no son igual de potentes. • En un futuro se podría aplicar dentro de la propia industria del videojuego, no con el objetivo de crear IA’s que se adaptan al modo de juego de la persona y aprende a jugar contra sus tácticas, si no para el desarrollo de contenido del juego a partir de las muestras ya diseñadas. Conclusiones
17. Javier Jiménez del Peso Data Scientist @JavierJim1993 MAD · NOV 23-24 · 2018 Cómo dejar de ser un noob gracias a la Inteligencia Artificial jimenezjavier1993@gmail.com