生成AIとデジタルゲームの未来

生成AIとデジタルゲームの未来 6/18 オンライン講演

Transcript

1. 生成AIと デジタルゲームの未来 三宅陽一郎 @miyayou 2023.6.18 https://www.facebook.com/youichiro.miyake y.m.4160@gmail.com
2. ジェネレーティブAI
3. プロシージャル技術 ゲームAI技術 AI技術 プロシージャル 技術 コンテンツ自動生成技術 （PCG, Procedural Contents Generation ）
4. Rogue (1980)のレベル生成法 Rect[0] Rect[0] Rect[1] Rect[0] Rect[1] Rect[2] Rect[3] http://racanhack.sourceforge.jp/rhdoc/intromaze.html
5. Rogue (1980)のダンジョン生成法 Rect[0] Rect[0] Rect[1] Rect[0] Rect[1] Rect[2] Rect[3] このようにアセット（ゲームのデータ）をツールなどを通して製作するのではなく、 プログラムで作ることを「プロシージャル・コンテンツ・ジェネレーション」（PCG）と言う。 http://racanhack.sourceforge.jp/rhdoc/intromaze.html
6. プロシージャル技術（自動生成技術） ゲーム内の自動生成技術は、メタAIに属する技術
7. ブラウン運動から地形生成 ロバート・ブラウン博士によって、１８２７年に発見された現象。 微粒が媒質（液体）の中で行う不規則な運動。 アインシュタイン博士によって、熱運動する媒質の不規則な 衝突によって引き起こされると説明された。 http://ja.wikipedia.org/wiki/%E3%83%96%E3%83%A9%E3%82%A6%E3%83%B3%E9%81%8B%E5%8B%95 宮田一乗「プロシージャル技術の動向」（CEDEC 2008）
8. ブラウン運動から地形生成 (1987) http://ja.wikipedia.org/wiki/%E3%83%96%E3%83%A9%E3%82%A6%E3%83%B3%E9%81%8B%E5%8B%95 http://www.kenmusgrave.com
9. ブラウン運動から地形生成 (1987) http://ja.wikipedia.org/wiki/%E3%83%96%E3%83%A9%E3%82%A6%E3%83%B3%E9%81%8B%E5%8B%95 http://www.kenmusgrave.com
10. NO MAN’S SKY (Hello Games, 2016) http://www.no-mans-sky.com/ 宇宙、星系、太陽系、惑星を自動生成する。
11. FarCry2 (Dunia Engine ) デモ 草原自動生成 時間システム 樹木自動生成 動的天候システム 動的天候システム http://www.farcry2-hq.com/downloads,18,dunia-engine-nr1.htm
12. Far Cry 2 Dunia Engine - Growing Vegetation (Far Cry HQ) https://www.youtube.com/watch?v=FI3oR6vqn1Q
13. ブラウン運動 ロバート・ブラウン博士によって、１８２７年に発見された現象。 微粒が媒質（液体）の中で行う不規則な運動。 アインシュタイン博士によって、熱運動する媒質の不規則な 衝突によって引き起こされると説明された。 http://ja.wikipedia.org/wiki/%E3%83%96%E3%83%A9%E3%82%A6%E3%83%B3%E9%81%8B%E5%8B%95
14. 地形自動生成 Jacob Olsen, Realtime Procedural Terrain Generation http://oddlabs.com/download/terrain_generation.pdf ２次元中点変位法 ボロノイ図 ノイズ法（濃い＝低い、白い＝高い） ＋ ＝
15. Ken Musgrave http://www.kenmusgrave.com/
16. Terragen(Planetside Software) 風景、自動生成生成ソフト http://www.planetside.co.uk/terragen/ 海外のゲームや映画の背景として利用されている
17. Age of Empires III における地形自動生成 西川善司, 「3DゲームファンのためのAGE OF EMPIRESエンジン講座(後編)こだわりの影生成と算術合成 されるディテール、次回作はXbox2?」, GAME Watch, 2005
18. L-system による街の自動生成 City Engine(central pictures) Yoav I H Parish, Pascal Müller http://www.centralpictures.com/ce/tp/paper.pdf http://www.centralpictures.com/ce/ George Kelly, Hugh McCabe, A Survey of Procedural Techniques for City Generation http://www.gamesitb.com/SurveyProcedural.pdf
19. https://www.youtube.com/watch?v=NfizT369g60
20. https://www.youtube.com/watch?v=FzoY062kY1s
21. アメリカ大陸のデータから地形生成（Eidos） https://www.eidosmontreal.com/news/worldgen-painting-the-world-one-layer-at-a-time/
22. L-system による街の自動生成 City Engine(central pictures) Yoav I H Parish, Pascal Müller http://www.centralpictures.com/ce/tp/paper.pdf http://www.centralpictures.com/ce/ George Kelly, Hugh McCabe, A Survey of Procedural Techniques for City Generation http://www.gamesitb.com/SurveyProcedural.pdf
23. VITRUVIO CityEngine Plugin for Unreal Engine https://esri.github.io/cityengine/vitruvio
24. SimCity 4 Engine, Glassbox https://www.youtube.com/watch?v=tKOgo7EFl_w
25. ゲーム自動生成 [参考文献] Cameron Browne,“Evolutionary Game Design”, SpringerBriefs in Computer Science, 2011
26. ゲーム自動生成 [参考文献] Cameron Browne,“Evolutionary Game Design”, SpringerBriefs in Computer Science, 2011
27. ゲーム自動生成 [参考文献] Cameron Browne,“Evolutionary Game Design”, SpringerBriefs in Computer Science, 2011
28. 評価 選 択 交叉 突然変異 ルール チェック 整合性 がある か？ ポリシー 選択 速度が 遅い？ ゴミ 箱 テストプ レイ 前と似て いる 引き分け になり やすい 母集団 Mark J. Nelson, “Bibliography: Encoding and generating videogame mechanics”, IEEE CIG 2012 tutorial URL https://www.kmjn.org/notes/generating_mechanics_bibliography.html Cameron Browne,“Evolutionary Game Design”, SpringerBriefs in Computer Science, 2011 URL https://www.springer.com/jp/book/9781447121787
29. ゲーム自動生成 https://jellyjellycafe.com/games/yabalath
30. PCGML PCGRL: Procedural Content Generation via Reinforcement Learning Ahmed Khalifa, Philip Bontrager, Sam Earle, Julian Togelius https://arxiv.org/abs/2001.09212
31. PCGRL: Procedural Content Generation via Reinforcement Learning Ahmed Khalifa, Philip Bontrager, Sam Earle, Julian Togelius https://arxiv.org/abs/2001.09212
32. PCGRL: Procedural Content Generation via Reinforcement Learning Ahmed Khalifa, Philip Bontrager, Sam Earle, Julian Togelius https://arxiv.org/abs/2001.09212
33. PCGRL: Procedural Content Generation via Reinforcement Learning Ahmed Khalifa, Philip Bontrager, Sam Earle, Julian Togelius https://arxiv.org/abs/2001.09212
34. PCGRL: Procedural Content Generation via Reinforcement Learning Ahmed Khalifa, Philip Bontrager, Sam Earle, Julian Togelius https://arxiv.org/abs/2001.09212 PCGRL参考 • https://twitter.com/togelius/status/1222038094507102208 • https://twitter.com/i/status/1222038094507102208
35. ゲームAI研究の新展開 • 2023/7/4 • オーム社 CHAPTER 1 ゲームと知能研究 CHAPTER 2 不完全情報ゲーム CHAPTER 3 不確定ゲーム CHAPTER 4 コミュニケーションゲーム CHAPTER 5 実環境のゲーム CHAPTER 6 ゲームデザイン CHAPTER 7 メタAIとプロシージャル コンテンツ ジェネレーション CHAPTER 8 人間らしさと楽しさの演出 CHAPTER 9 ゲーム体験の評価 CHAPTER 10 人間の認知機能とスキルアップの原理 CHAPTER 11 認知研究とAIの人間への影響 https://www.ohmsha.co.jp/book/9784274230776
36. PCGRL: Procedural Content Generation via Reinforcement Learning Ahmed Khalifa, Philip Bontrager, Sam Earle, Julian Togelius https://arxiv.org/abs/2001.09212
37. https://medium.com/deepgamingai/game-level-design-with-reinforcement-learning-52b02bb94954
38. PCGRL参考 • https://twitter.com/togelius/status/1222038094507102208 • https://twitter.com/i/status/1222038094507102208
39. 人間が製作し、 人工知能がチェックする Adversarial Reinforcement Learning for Procedural Content Generation Linus Gisslén, Andy Eakins, Camilo Gordillo, Joakim Bergdahl, Konrad Tollmar https://arxiv.org/abs/2103.04847
40. Adversarial Reinforcement Learning for Procedural Content Generation Linus Gisslén, Andy Eakins, Camilo Gordillo, Joakim Bergdahl, Konrad Tollmar https://arxiv.org/abs/2103.04847
41. Adversarial Reinforcement Learning for Procedural Content Generation Linus Gisslén, Andy Eakins, Camilo Gordillo, Joakim Bergdahl, Konrad Tollmar https://arxiv.org/abs/2103.04847
42. Adversarial Reinforcement Learning for Procedural Content Generation Linus Gisslén, Andy Eakins, Camilo Gordillo, Joakim Bergdahl, Konrad Tollmar https://arxiv.org/abs/2103.04847
43. CoG 2021: Adversarial Reinforcement Learning for Procedural Content Generation SEED – Electronic Arts https://www.youtube.com/watch?v=kNj0qcc6Fpg
44. Adversarial Reinforcement Learning for Procedural Content Generation Linus Gisslén, Andy Eakins, Camilo Gordillo, Joakim Bergdahl, Konrad Tollmar https://arxiv.org/abs/2103.04847
45. Adversarial Reinforcement Learning for Procedural Content Generation Linus Gisslén, Andy Eakins, Camilo Gordillo, Joakim Bergdahl, Konrad Tollmar https://arxiv.org/abs/2103.04847
46. Adversarial Reinforcement Learning for Procedural Content Generation Linus Gisslén, Andy Eakins, Camilo Gordillo, Joakim Bergdahl, Konrad Tollmar https://arxiv.org/abs/2103.04847
47. デジタルゲームにおける 対話技術 三宅陽一郎 2023.6.18
48. NUVERSE、GPT3をゲームに組み込む ［GDC 2023］GPT-3でNPCの会話を生成。Nuverseが「アース：リバイバル」でチャレンジする，新テクノロ ジーによるゲーム開発の“新たな一歩” https://www.4gamer.net/games/651/G065105/20230325007/
49. Earth revival (Nuverse, 中国のゲーム) • 800ms以下で会話を生成 • アニメーション生成（10 から 20秒の） • …つまり20 時間のコンテンツをわずか48分で生成 • GPT3 • 音声生成 Nuverse lets AI do all the talking and moving of NPCs in Earth: Revival https://premortem.games/2023/03/22/nuverse-lets-ai-do-all- the-talking-and-moving-of-npcs-in-earth-revival/ ジェネレーティブAIでゲーム開発支援！ GDCで発表されたリア ルな事例や取り組みを紹介 https://www.famitsu.com/news/202303/24297009.html
50. ChatGPT と Stable Diffusion を用いた RPG: Tales of Syn • How AI-assisted RPG Tales of Syn utilizes Stable Diffusion and ChatGPT to create assets and dialogues • https://gameworldobserver.com/2023/03/06/tales-of-syn-ai- rpg-stable-diffusion-chatgpt-game • Tales of Syn • https://talesofsyn.com/ • https://twitter.com/_hackmans_/status/1624501399383072768
51. ChatGPT と Stable Diffusion を用いた RPG: Tales of Syn • https://twitter.com/_hackmans_/status/1624501399383072768 • https://talesofsyn.com/
52. Tales of Syn Game - NPC Chat GPT3 Prototype (Tales of Syn) https://www.youtube.com/watch?v=ejw6OI4_lJw
53. シーマン 斎藤 由多加 聞き手：大澤 博隆、三宅 陽一郎 構成：高橋 ミレイ シーマンは来たるべき会話型エージェントの福音となるか？：斎藤由多加インタビュー Will Seaman Lead AI Technology for Interactive Agent? : Yutaka Saito Interview https://jsai.ixsq.nii.ac.jp/ej/?action=pages_view_main&active_action=repository_view_main _item_detail&item_id=8633&item_no=1&page_id=13&block_id=23
56. シーマンの会話 • ルールベース （巨大な分岐）→ 評価ベースへ • メロディ―言語 （同じ言葉でも、発音によって意味が異なる。 会話を成り立たせるには、文字だけではわからない） 水族館でデモ→不評 （当時の音声認識デバイスの限界） 聴こえなかったら「あ？聴こえねえよ」とやり返す→好評
57. メロディ言語 • 「元気」でも発音一つで意味が異なる • さまざまなバリエーションを用意している • 間をコントロールする → 間を空けることで意味を持たせる • 「◦◦じゃねーって言っただろ？」の◦◦の中にいろんな動詞 を入れる
58. 斉藤さんのお言葉 • 「今一番売れている本はどれですか？」とか「今度行く AKB の チケットを取ってください」という事務的なリクエストに答える AI ではなくて，「振られちゃった」と言ったときに「マジ？」と言って くれる AI が，求められているものの半数を超える 斎藤 由多加 聞き手：大澤 博隆、三宅 陽一郎 構成：高橋 ミレイ シーマンは来たるべき会話型エージェントの福音となるか？：斎藤由多加インタビュー Will Seaman Lead AI Technology for Interactive Agent? : Yutaka Saito Interview https://jsai.ixsq.nii.ac.jp/ej/?action=pages_view_main&active_action=repository_view_main _item_detail&item_id=8633&item_no=1&page_id=13&block_id=23
59. 斉藤さんのお言葉 • もっと言うと“頷くだけ”でいい ， ．“頷く”というのは，情報的には無です よね．でも，そこを共有する仕組みに我々が目を向けていかない限り， 冒頭でおっしゃった，人間と親しく会話をする人工知能をつくる手立て は見つからないと思います．エージェントというと検索エンジンの代理 人みたいに思っておられるんじゃないかと思いますが，何も検索しない， ただ「マジか…」と言ってくれる 斎藤 由多加 聞き手：大澤 博隆、三宅 陽一郎 構成：高橋 ミレイ シーマンは来たるべき会話型エージェントの福音となるか？：斎藤由多加インタビュー Will Seaman Lead AI Technology for Interactive Agent? : Yutaka Saito Interview https://jsai.ixsq.nii.ac.jp/ej/?action=pages_view_main&active_action=repository_view_main _item_detail&item_id=8633&item_no=1&page_id=13&block_id=23
60. • 僕にとっては，あの映画を観て「はぁ……」というため息をつく AIをつくらな いといけないと思ったのが大きかったですね．「間」もそうですし．実は 『シーマン』では引数化を進めれば進ませるほどこの「間」が失われてし まったんです．ため息って，文字としての情報量が「無」なので音声ファイ ルとしては存在しないはずの部分なんです．「はぁ……」と表記系にする音 がないですから．だけど，実生活ではこれがもたらす効果は絶大です．で すから，皆さんには，もう 1 回，音と間，そして口語というものに目を向け てほしい．例えば「はぁ……ダメだよ…」と言うのと，ただ「ダメだよ」と言うの とでは伝わる意味がなんとなく違います． 斉藤さんのお言葉 斎藤 由多加 聞き手：大澤 博隆、三宅 陽一郎 構成：高橋 ミレイ シーマンは来たるべき会話型エージェントの福音となるか？：斎藤由多加インタビュー Will Seaman Lead AI Technology for Interactive Agent? : Yutaka Saito Interview https://jsai.ixsq.nii.ac.jp/ej/?action=pages_view_main&active_action=repository_view_main _item_detail&item_id=8633&item_no=1&page_id=13&block_id=23
61. パターンマチング法 LEFT 4 DEAD Elan Ruskin (GDC2012) AI-driven Dynamic Dialog through Fuzzy Pattern Matching. Empower Your Writers! (slide) https://www.gdcvault.com/play/1015317/AI-driven-Dynamic-Dialog-through (video) https://www.youtube.com/watch?v=tAbBID3N64A
62. Elan Ruskin (GDC2012) AI-driven Dynamic Dialog through Fuzzy Pattern Matching. Empower Your Writers! (slide) https://www.gdcvault.com/play/1015317/AI-driven-Dynamic-Dialog-through (video) https://www.youtube.com/watch?v=tAbBID3N64A
63. Elan Ruskin (GDC2012) AI-driven Dynamic Dialog through Fuzzy Pattern Matching. Empower Your Writers! (slide) https://www.gdcvault.com/play/1015317/AI-driven-Dynamic-Dialog-through (video) https://www.youtube.com/watch?v=tAbBID3N64A
64. https://www.youtube.com/watch?v=j4eIu6LxdZg
65. Elan Ruskin (GDC2012) AI-driven Dynamic Dialog through Fuzzy Pattern Matching. Empower Your Writers! (slide) https://www.gdcvault.com/play/1015317/AI-driven-Dynamic-Dialog-through (video) https://www.youtube.com/watch?v=tAbBID3N64A
66. Elan Ruskin (GDC2012) AI-driven Dynamic Dialog through Fuzzy Pattern Matching. Empower Your Writers! (slide) https://www.gdcvault.com/play/1015317/AI-driven-Dynamic-Dialog-through (video) https://www.youtube.com/watch?v=tAbBID3N64A
67. https://www.youtube.com/watch?v=pYpCeql993M
68. Elan Ruskin (GDC2012) AI-driven Dynamic Dialog through Fuzzy Pattern Matching. Empower Your Writers! (slide) https://www.gdcvault.com/play/1015317/AI-driven-Dynamic-Dialog-through (video) https://www.youtube.com/watch?v=tAbBID3N64A
69. Elan Ruskin (GDC2012) AI-driven Dynamic Dialog through Fuzzy Pattern Matching. Empower Your Writers! (slide) https://www.gdcvault.com/play/1015317/AI-driven-Dynamic-Dialog-through (video) https://www.youtube.com/watch?v=tAbBID3N64A
70. Elan Ruskin (GDC2012) AI-driven Dynamic Dialog through Fuzzy Pattern Matching. Empower Your Writers! (slide) https://www.gdcvault.com/play/1015317/AI-driven-Dynamic-Dialog-through (video) https://www.youtube.com/watch?v=tAbBID3N64A
71. https://www.youtube.com/watch?v=2aozwfumnH4
72. https://www.youtube.com/watch?v=T5-2EnX5-K0
73. https://www.youtube.com/watch?v=fy29rWa21qg
74. https://www.youtube.com/watch?v=-1CuB7FtPPk
75. コンテクストベース法 The Last of Us Jason Gregory (GDC2014) A Context-Aware Character Dialog System (video) https://www.gdcvault.com/play/1020386/A-Context-Aware-Character-Dialog
76. Jason Gregory (GDC2014) A Context-Aware Character Dialog System (video) https://www.gdcvault.com/play/1020386/A-Context-Aware-Character-Dialog
77. Jason Gregory (GDC2014) A Context-Aware Character Dialog System (video) https://www.gdcvault.com/play/1020386/A-Context-Aware-Character-Dialog
78. Jason Gregory (GDC2014) A Context-Aware Character Dialog System (video) https://www.gdcvault.com/play/1020386/A-Context-Aware-Character-Dialog
79. Jason Gregory (GDC2014) A Context-Aware Character Dialog System (video) https://www.gdcvault.com/play/1020386/A-Context-Aware-Character-Dialog
80. Jason Gregory (GDC2014) A Context-Aware Character Dialog System (video) https://www.gdcvault.com/play/1020386/A-Context-Aware-Character-Dialog
81. https://www.youtube.com/watch?v=Y7-OoXqNYgY
82. 自動シーン生成 The Witcher 3 Piotr Tomsinski(GDC2016) Behind the Scenes of Cinematic Dialogues in 'The Witcher 3: Wild Hunt' (slide) https://www.gdcvault.com/play/1022988/Behind-the-Scenes-of-Cinematic (video) https://www.youtube.com/watch?v=chf3REzAjgI
83. Piotr Tomsinski(GDC2016) Behind the Scenes of Cinematic Dialogues in 'The Witcher 3: Wild Hunt' (slide) https://www.gdcvault.com/play/1022988/Behind-the-Scenes-of-Cinematic (video) https://www.youtube.com/watch?v=chf3REzAjgI
84. Piotr Tomsinski(GDC2016) Behind the Scenes of Cinematic Dialogues in 'The Witcher 3: Wild Hunt' (slide) https://www.gdcvault.com/play/1022988/Behind-the-Scenes-of-Cinematic (video) https://www.youtube.com/watch?v=chf3REzAjgI
85. Piotr Tomsinski(GDC2016) Behind the Scenes of Cinematic Dialogues in 'The Witcher 3: Wild Hunt' (slide) https://www.gdcvault.com/play/1022988/Behind-the-Scenes-of-Cinematic (video) https://www.youtube.com/watch?v=chf3REzAjgI
86. Piotr Tomsinski(GDC2016) Behind the Scenes of Cinematic Dialogues in 'The Witcher 3: Wild Hunt' (slide) https://www.gdcvault.com/play/1022988/Behind-the-Scenes-of-Cinematic (video) https://www.youtube.com/watch?v=chf3REzAjgI
87. https://www.youtube.com/watch?v=FWJk0z9C2EU 撮影禁止
88. 自動シーン生成２ Assassin’s Creed Francois Paradis (GDC 2019) Procedural Generation of Cinematic Dialogues in 'Assassin's Creed Odyssey' (slide) https://www.gdcvault.com/play/1026381/Procedural-Generation-of-Cinematic-Dialogues (Video) https://www.gdcvault.com/browse/gdc-19/play/1026381
89. Francois Paradis (GDC 2019) Procedural Generation of Cinematic Dialogues in 'Assassin's Creed Odyssey' (slide) https://www.gdcvault.com/play/1026381/Procedural-Generation-of-Cinematic-Dialogues (Video) https://www.gdcvault.com/browse/gdc-19/play/1026381
90. Francois Paradis (GDC 2019) Procedural Generation of Cinematic Dialogues in 'Assassin's Creed Odyssey' (slide) https://www.gdcvault.com/play/1026381/Procedural-Generation-of-Cinematic-Dialogues (Video) https://www.gdcvault.com/browse/gdc-19/play/1026381
91. Francois Paradis (GDC 2019) Procedural Generation of Cinematic Dialogues in 'Assassin's Creed Odyssey' (slide) https://www.gdcvault.com/play/1026381/Procedural-Generation-of-Cinematic-Dialogues (Video) https://www.gdcvault.com/browse/gdc-19/play/1026381
92. Francois Paradis (GDC 2019) Procedural Generation of Cinematic Dialogues in 'Assassin's Creed Odyssey' (slide) https://www.gdcvault.com/play/1026381/Procedural-Generation-of-Cinematic-D (Video) https://www.gdcvault.com/browse/gdc-19/play/1026381
93. Francois Paradis (GDC 2019) Procedural Generation of Cinematic Dialogues in 'Assassin's Creed Odyssey' (slide) https://www.gdcvault.com/play/1026381/Procedural-Generation-of-Cinematic-Dialogues (Video) https://www.gdcvault.com/browse/gdc-19/play/1026381
94. Francois Paradis (GDC 2019) Procedural Generation of Cinematic Dialogues in 'Assassin's Creed Odyssey' (slide) https://www.gdcvault.com/play/1026381/Procedural-Generation-of-Cinematic-Dialogues (Video) https://www.gdcvault.com/browse/gdc-19/play/1026381
95. https://www.youtube.com/watch?v=gcDkzuftE8k https://www.youtube.com/watch?v=gcDkzuftE8k
96. まとめ • ゲームの対話＝ワールドモデルの中の対話 • 会話生成はこれから • 世界認識（ワールドモデル）と会話生成が絡み合って行く 文字だけのコミュニケ―ション・コーパスによる学習