Aprendendo a agir: desenvolvendo uma IA em Javascript para resolver jogos

Muitas vezes ao jogar video games pensamos "como é feita a programação do nosso oponente?", "que tipo de código será que usaram aqui" e "será que dá pra montar um algoritmo que jogue este jogo?".

Nesta palestra irei mostrar como surgiram e como montar alguns algoritmos de resolução desses jogos utilizando técnicas de IA como Machine Learning e Automated Planning para "jogar" alguns jogos com o Javascript.

Transcript

1. Aprendendo a agir: desenvolvendo uma IA para resolver jogos
2. Engenheiro de Software na Resultados Digitais Mestre em Ciência da Computação (foco em IA) pela USP Quem sou?
3. Engenheiro de Software na Resultados Digitais Mestre em Ciência da Computação (foco em IA) pela USP Pai coruja / zumbi Quem sou?
4. #Dúvida mortal: Como jogar um jogo?
6. Vamos programar as regras do jogo!
13. Como tomar uma decisão de fato para agir?
14. Como tomar uma decisão? Contexto
15. Como tomar uma decisão? Contexto
16. Como tomar uma decisão? Contexto Resultado Ação
17. Como tomar uma decisão? Contexto Resultado Ação
18. Pensando em código... Contexto Ação
19. Pensando em código... Contexto Ação Resultado
20. Como tomar uma decisão de maneira genérica?
21. Pensando em Abstrações
22. Problema
23. Problema
24. Estado Ações Modelo de Transição Custo Objetivo
25. Estado: Momento 1 Momento 2 Momento 3 "foto" do contexto em um momento
26. Ação: conjunto de ações possíveis para um agente Mover para cima Mover para direita Mover para baixo Mover para esquerda
27. Modelo de transição: Momento 1 Momento 2 define a transição de um estado para outro, dado uma ação Mover para esquerda
28. Custo: custo / "preço" total de executar ações para alcançar um objetivo
29. 1 2 1 2 3 4 5 6 7 8 vs
30. Objetivo: conjunto de estados que caracterizam a final de um problema
31. Como usar essas abstrações para agir?
32. Pensando em Inteligência Artificial
33. Aprendizado de Máquina Planejamento Automatizado
34. Planejamento Automatizado • Algoritmos de buscas • Decisões sequenciais • Otimizações ("Como chegar na melhor solução?")
36. estado 1 estado 2 estado 3
37. ação 1 ação 2
38. estado 1 estado 2 ação 1
39. ...
40. ... Objetivo
41. Aplicando ao jogo
42. esquerda direita
43. ...
44. Algoritmos de busca • A* • Busca em profundidade • Busca em largura • Buscas informadas por heurísticas https://qiao.github.io/PathFinding.js/visual/
45. Implementação como um algoritmo de busca
46. https://easystarjs.com/
47. Aprendendo as melhores soluções ...
48. Aprendendo as melhores soluções ...
49. Aprendendo as melhores soluções ...
50. Aprendendo as melhores soluções ... -5 -10
51. Aprendendo as melhores soluções ... -5 -10
52. Aprendizado de Máquina Aprendizado Ação / Padrão "Foto" do Contexto
53. Aprendizado de Máquina - Supervisionado Momento 1 Momento 2 "Mau caminho !" Mover para esquerda
54. Aprendizado de Máquina - Supervisionado Momento 1 Momento 2 "Bom caminho !" Mover para esquerda
55. IAMDinosaur https://github.com/ivanseidel/IAMDinosaur
57. Aprendizado por reforço: primeira tentativa ...
58. Aprendizado por reforço: primeira tentativa ...
59. Aprendizado por reforço: outra tentativa ...
60. Aprendizado por reforço: outra tentativa ...
61. Aprendizado por reforço: outra tentativa ... Quase!
62. Aprendizado por reforço: #agora vai ! ...
63. Outra tentativa #agora vai ! ...
64. Outra tentativa #agora vai ! ... Aha!
65. Aplicações práticas?
66. Solver de Sokoban em C++
67. E em JS?
69. Problemas pequenos - ok!
70. Problemas médios - #fail
71. Pontos a pensar • Sokoban é semelhante ao Xadrez (combinações de cenário possíveis) • Possui "deadlocks" • Precisa de muitas ações em seguida para ganhar uma partida (> 100) • Mas… pode ser um modelo explicável !
73. # curiosidade
74. AlphaStar - IA que joga Star Craft 2 https://deepmind.com/blog/alphastar-mastering-real-time-strategy-game-starcraft-ii/
75. Futuro - Magic the Gathering e Hearthstone
76. That's all!
77. Obrigado! https://github.com/danielbdias https://speakerdeck.com/danielbdias https://twitter.com/danielbdias