Criando uma IA de tomada de decisão do zero: um caso utilizado jogos

Como pessoas desenvolvedoras de software, muitas vezes ao jogar video games pensamos "como é feita a programação do nosso oponente?" ou mesmo "será que dá pra montar um algoritmo que jogue este jogo?".

Nesta palestra irei mostrar como surgiram e como montar alguns algoritmos de resolução desses jogos utilizando técnicas de IA como Machine Learning e Automated Planning para "jogar" alguns jogos.

Transcript

1. Criando uma IA de tomada de decisão do zero Um caso utilizando jogos
2. Como solucionar um jogo?
4. Maneira ingênua Vamos programar todas as regras do jogo !
5. Maneira ingênua Vamos programar todas as regras do jogo !
6. Maneira ingênua
7. Maneira ingênua
8. Maneira ingênua
12. Como tomar uma decisão?
13. Como tomar uma decisão? Contexto Resultado Ação
14. Como tomar uma decisão? Contexto Resultado Ação
15. Como tomar uma decisão? Contexto Ação
16. Como tomar uma decisão? Contexto Ação Resultado
17. Mas… será que dá para torná-la de uma maneira genérica?
18. Adotando abstrações Estado Ações Modelo de Transição Custo Objetivo
19. Adotando abstrações Estado Ações Modelo de Transição Custo Objetivo
20. Estado: Momento 1 Momento 2 Momento 3 "foto" do contexto em um momento
21. Adotando abstrações Estado Ações Modelo de Transição Custo Objetivo
22. Ação: conjunto de ações possíveis para um agente Mover para cima Mover para direita Mover para baixo Mover para esquerda
23. Adotando abstrações Estado Ações Modelo de Transição Custo Objetivo
24. Modelo de transição: Momento 1 Momento 2 define a transição de um estado para outro, dado uma ação Mover para esquerda
25. Adotando abstrações Estado Ações Modelo de Transição Custo Objetivo
26. Custo: custo total de se executar ações para se alcançar um objetivo
27. 1 2 1 2 3 4 5 6 7 8 vs
28. Adotando abstrações Estado Ações Modelo de Transição Custo Objetivo
29. Objetivo: conjunto de estados que caracterizam a resolução de um problema
30. Aprendendo a tomar decisões
31. ... Abordando a tomada de decisão em IA Aprendizado de Máquina Planejamento Automatizado Processamento de Linguagem Natural Visão Computacional Robótica Sistemas Especialistas Inteligência Artificial
32. Abordando a tomada de decisão em IA Aprendizado de Máquina Planejamento Automatizado
33. Abordando a tomada de decisão em IA Aprendizado de Máquina Planejamento Automatizado
34. Planejamento Automatizado • Algoritmos de buscas • Decisões sequenciais • Otimizações
35. Planejamento Automatizado
36. Planejamento Automatizado estado 1 estado 2 estado 3
37. Planejamento Automatizado ação 1 ação 2
38. Planejamento Automatizado estado 1 estado 2 ação 1
39. Planejamento Automatizado ...
40. Planejamento Automatizado ... Objetivo
41. Planejamento Automatizado Ok? E na prática?
42. Planejamento Automatizado esquerda direita
43. Planejamento Automatizado ...
44. Planejamento Automatizado
45. Planejamento Automatizado • Como podemos transitar nesse grafo de forma eficiente?
46. Planejamento Automatizado • Como podemos transitar nesse grafo de forma eficiente? • Quais estratégias podemos utilizar?
47. Algoritmos de busca • A* • Busca em profundidade • Busca em largura • Buscas informadas por heurísticas https://qiao.github.io/PathFinding.js/visual/
48. Implementação como um algoritmo de busca
49. Um solver na prática
50. O desafio com buscas • Muitas vezes queremos buscar os melhores caminhos
51. O desafio com buscas • Muitas vezes queremos buscar os melhores caminhos • O número de estados possíveis de um problema pode ser proibitivamente grande !
52. Exemplo: Xadrez • Base de final de jogo com 7 peças: 140 terabytes de dados (https://chessok.com/?page_id=27966) • 10ˆ120 variações • 10^90 anos para resolver
53. Ok! E como solucionamos isso?
54. Aprendendo as melhores soluções ...
55. Aprendendo as melhores soluções ...
56. Aprendendo as melhores soluções ...
57. Aprendendo as melhores soluções ... -10 -5
58. Aprendendo as melhores soluções ... -10 -5
59. Aprendizado de Máquina • Aprendizado Supervisionado • Aprendizado por Reforço
60. Aprendizado de Máquina Aprendizado Ação / Padrão "Foto" do Contexto
61. Aprendizado de Máquina • Aprendizado Supervisionado
62. Aprendizado de Máquina Momento 1 Momento 2 "Mau caminho !" Mover para esquerda
63. Aprendizado de Máquina Momento 1 Momento 2 "Bom caminho !" Mover para esquerda
64. Aprendizado de Máquina • Aprendizado Supervisionado • Aprendizado por Reforço
65. Primeira tentativa ...
66. Primeira tentativa ...
67. Outra tentativa ...
68. Outra tentativa ...
69. Outra tentativa ... Quase!
70. Outra tentativa #agora vai ! ...
71. Outra tentativa #agora vai ! ...
72. Outra tentativa #agora vai ! ...
73. Super Mario World com Deep Q-Learning https://www.youtube.com/watch?v=L4KBBAwF_bE
74. AlphaStar - IA que joga Star Craft 2 https://deepmind.com/blog/alphastar-mastering-real-time-strategy-game-starcraft-ii/
75. Futuro - Magic the Gathering e Hearthstone
76. Dúvidas?
77. Engenheiro de Software na Resultados Digitais Mestre em Ciência da Computação (foco em IA) pela USP Quem sou?
78. Engenheiro de Software na Resultados Digitais Mestre em Ciência da Computação (foco em IA) pela USP Pai coruja / zumbi Quem sou?
79. Obrigado! https://github.com/danielbdias https://speakerdeck.com/danielbdias https://twitter.com/danielbdias