生成AIとデジタルゲームの未来

生成AIと
デジタルゲームの未来
三宅陽一郎 @miyayou
2023.6.18
https://www.facebook.com/youichiro.miyake
[email protected]

View Slide

ジェネレーティブAI

View Slide

プロシージャル技術
ゲームAI技術
AI技術
プロシージャル
技術
コンテンツ自動生成技術
（PCG, Procedural Contents Generation ）

View Slide

Rogue (1980)のレベル生成法
Rect[0] Rect[0] Rect[1]
Rect[0]
Rect[1]
Rect[2] Rect[3]
http://racanhack.sourceforge.jp/rhdoc/intromaze.html

View Slide

Rogue (1980)のダンジョン生成法
Rect[0] Rect[0] Rect[1]
Rect[0]
Rect[1]
Rect[2] Rect[3]
このようにアセット（ゲームのデータ）をツールなどを通して製作するのではなく、
プログラムで作ることを「プロシージャル・コンテンツ・ジェネレーション」（PCG）と言う。
http://racanhack.sourceforge.jp/rhdoc/intromaze.html

View Slide

プロシージャル技術（自動生成技術）
ゲーム内の自動生成技術は、メタAIに属する技術

View Slide

ブラウン運動から地形生成
ロバート・ブラウン博士によって、１８２７年に発見された現象。
微粒が媒質（液体）の中で行う不規則な運動。
アインシュタイン博士によって、熱運動する媒質の不規則な
衝突によって引き起こされると説明された。
http://ja.wikipedia.org/wiki/%E3%83%96%E3%83%A9%E3%82%A6%E3%83%B3%E9%81%8B%E5%8B%95
宮田一乗「プロシージャル技術の動向」（CEDEC 2008）

View Slide

ブラウン運動から地形生成 (1987)
http://www.kenmusgrave.com

View Slide

NO MAN’S SKY (Hello Games, 2016)
http://www.no-mans-sky.com/
宇宙、星系、太陽系、惑星を自動生成する。

View Slide

FarCry2 (Dunia Engine ) デモ
草原自動生成時間システム
樹木自動生成動的天候システム
動的天候システム
http://www.farcry2-hq.com/downloads,18,dunia-engine-nr1.htm

View Slide

Far Cry 2 Dunia Engine - Growing Vegetation (Far Cry HQ)
https://www.youtube.com/watch?v=FI3oR6vqn1Q

View Slide

ブラウン運動
ロバート・ブラウン博士によって、１８２７年に発見された現象。
微粒が媒質（液体）の中で行う不規則な運動。
アインシュタイン博士によって、熱運動する媒質の不規則な
衝突によって引き起こされると説明された。

View Slide

地形自動生成
Jacob Olsen, Realtime Procedural Terrain Generation
http://oddlabs.com/download/terrain_generation.pdf
２次元中点変位法ボロノイ図
ノイズ法（濃い＝低い、白い＝高い）
＋＝

View Slide

Ken Musgrave
http://www.kenmusgrave.com/

View Slide

Terragen(Planetside Software)
風景、自動生成生成ソフト
http://www.planetside.co.uk/terragen/
海外のゲームや映画の背景として利用されている

View Slide

Age of Empires III における地形自動生成
西川善司, 「3DゲームファンのためのAGE OF EMPIRESエンジン講座(後編)こだわりの影生成と算術合成
されるディテール、次回作はXbox2?」, GAME Watch, 2005

View Slide

L-system による街の自動生成
City Engine(central pictures)
Yoav I H Parish, Pascal Müller
http://www.centralpictures.com/ce/tp/paper.pdf
http://www.centralpictures.com/ce/
George Kelly, Hugh McCabe,
A Survey of Procedural Techniques for City Generation
http://www.gamesitb.com/SurveyProcedural.pdf

View Slide

https://www.youtube.com/watch?v=NfizT369g60

View Slide

https://www.youtube.com/watch?v=FzoY062kY1s

View Slide

アメリカ大陸のデータから地形生成（Eidos）
https://www.eidosmontreal.com/news/worldgen-painting-the-world-one-layer-at-a-time/

View Slide

L-system による街の自動生成
City Engine(central pictures)
Yoav I H Parish, Pascal Müller
http://www.centralpictures.com/ce/tp/paper.pdf
http://www.centralpictures.com/ce/
George Kelly, Hugh McCabe,
A Survey of Procedural Techniques for City Generation
http://www.gamesitb.com/SurveyProcedural.pdf

View Slide

VITRUVIO CityEngine Plugin for Unreal Engine
https://esri.github.io/cityengine/vitruvio

View Slide

SimCity 4 Engine, Glassbox
https://www.youtube.com/watch?v=tKOgo7EFl_w

View Slide

ゲーム自動生成
[参考文献]
Cameron Browne,“Evolutionary Game Design”, SpringerBriefs in Computer Science, 2011

View Slide

評価
選択
交叉
突然変異
ルール
チェック
整合性
がある
か？
ポリシー
選択
速度が
遅い？
ゴミ
箱
テストプ
レイ
前と似て
いる
引き分け
になり
やすい
母集団
Mark J. Nelson, “Bibliography: Encoding and generating videogame
mechanics”, IEEE CIG 2012 tutorial
URL https://www.kmjn.org/notes/generating_mechanics_bibliography.html
Cameron Browne,“Evolutionary Game Design”, SpringerBriefs in Computer Science, 2011
URL https://www.springer.com/jp/book/9781447121787

View Slide

ゲーム自動生成
https://jellyjellycafe.com/games/yabalath

View Slide

PCGML
PCGRL: Procedural Content Generation via Reinforcement Learning
Ahmed Khalifa, Philip Bontrager, Sam Earle, Julian Togelius
https://arxiv.org/abs/2001.09212

View Slide


View Slide

PCGRL参考
• https://twitter.com/togelius/status/1222038094507102208
• https://twitter.com/i/status/1222038094507102208

View Slide

ゲームAI研究の新展開
• 2023/7/4
• オーム社
CHAPTER 1 ゲームと知能研究
CHAPTER 2 不完全情報ゲーム
CHAPTER 3 不確定ゲーム
CHAPTER 4 コミュニケーションゲーム
CHAPTER 5 実環境のゲーム
CHAPTER 6 ゲームデザイン
CHAPTER 7 メタAIとプロシージャルコンテンツジェネレーション
CHAPTER 8 人間らしさと楽しさの演出
CHAPTER 9 ゲーム体験の評価
CHAPTER 10 人間の認知機能とスキルアップの原理
CHAPTER 11 認知研究とAIの人間への影響
https://www.ohmsha.co.jp/book/9784274230776

View Slide


View Slide

https://medium.com/deepgamingai/game-level-design-with-reinforcement-learning-52b02bb94954

View Slide

PCGRL参考
• https://twitter.com/togelius/status/1222038094507102208
• https://twitter.com/i/status/1222038094507102208

View Slide

人間が製作し、
人工知能がチェックする
Adversarial Reinforcement Learning for Procedural Content Generation
Linus Gisslén, Andy Eakins, Camilo Gordillo, Joakim Bergdahl, Konrad Tollmar

View Slide


View Slide

CoG 2021: Adversarial Reinforcement Learning for Procedural Content Generation
SEED – Electronic Arts
https://www.youtube.com/watch?v=kNj0qcc6Fpg

View Slide


View Slide

デジタルゲームにおける
対話技術
三宅陽一郎
2023.6.18

View Slide

NUVERSE、GPT3をゲームに組み込む
［GDC 2023］GPT-3でNPCの会話を生成。Nuverseが「アース：リバイバル」でチャレンジする，新テクノロ
ジーによるゲーム開発の“新たな一歩”
https://www.4gamer.net/games/651/G065105/20230325007/

View Slide

Earth revival (Nuverse, 中国のゲーム)
• 800ms以下で会話を生成
• アニメーション生成（10 から 20秒の）
• …つまり20 時間のコンテンツをわずか48分で生成
• GPT3
• 音声生成
Nuverse lets AI do all the talking and moving of NPCs in Earth:
Revival
https://premortem.games/2023/03/22/nuverse-lets-ai-do-all-
the-talking-and-moving-of-npcs-in-earth-revival/
ジェネレーティブAIでゲーム開発支援！ GDCで発表されたリア
ルな事例や取り組みを紹介
https://www.famitsu.com/news/202303/24297009.html

View Slide

ChatGPT と Stable Diffusion を用いた
RPG: Tales of Syn
• How AI-assisted RPG Tales of Syn utilizes Stable Diffusion and
ChatGPT to create assets and dialogues
• https://gameworldobserver.com/2023/03/06/tales-of-syn-ai-
rpg-stable-diffusion-chatgpt-game
• Tales of Syn
• https://talesofsyn.com/
• https://twitter.com/_hackmans_/status/1624501399383072768

View Slide

ChatGPT と Stable Diffusion を用いた
RPG: Tales of Syn
• https://twitter.com/_hackmans_/status/1624501399383072768
• https://talesofsyn.com/

View Slide

Tales of Syn Game - NPC Chat GPT3 Prototype (Tales of Syn)
https://www.youtube.com/watch?v=ejw6OI4_lJw

View Slide

シーマン
斎藤由多加
聞き手：大澤博隆、三宅陽一郎
構成：高橋ミレイ
シーマンは来たるべき会話型エージェントの福音となるか？：斎藤由多加インタビュー
Will Seaman Lead AI Technology for Interactive Agent? : Yutaka Saito Interview
https://jsai.ixsq.nii.ac.jp/ej/?action=pages_view_main&active_action=repository_view_main
_item_detail&item_id=8633&item_no=1&page_id=13&block_id=23

View Slide

View Slide

シーマンの会話
• ルールベース（巨大な分岐）→ 評価ベースへ
• メロディ―言語
（同じ言葉でも、発音によって意味が異なる。
会話を成り立たせるには、文字だけではわからない）
水族館でデモ→不評（当時の音声認識デバイスの限界）
聴こえなかったら「あ？聴こえねえよ」とやり返す→好評

View Slide

メロディ言語
• 「元気」でも発音一つで意味が異なる
• さまざまなバリエーションを用意している
• 間をコントロールする → 間を空けることで意味を持たせる
• 「○○じゃねーって言っただろ？」の○○の中にいろんな動詞
を入れる

View Slide

斉藤さんのお言葉
• 「今一番売れている本はどれですか？」とか「今度行く AKB の
チケットを取ってください」という事務的なリクエストに答える AI
ではなくて，「振られちゃった」と言ったときに「マジ？」と言って
くれる AI が，求められているものの半数を超える
斎藤由多加

View Slide

• もっと言うと“頷くだけ”でいい，．“頷く”というのは，情報的には無です
よね．でも，そこを共有する仕組みに我々が目を向けていかない限り，
冒頭でおっしゃった，人間と親しく会話をする人工知能をつくる手立て
は見つからないと思います．エージェントというと検索エンジンの代理
人みたいに思っておられるんじゃないかと思いますが，何も検索しない，
ただ「マジか…」と言ってくれる
斎藤由多加

View Slide

• 僕にとっては，あの映画を観て「はぁ……」というため息をつく AIをつくらな
いといけないと思ったのが大きかったですね．「間」もそうですし．実は
『シーマン』では引数化を進めれば進ませるほどこの「間」が失われてし
まったんです．ため息って，文字としての情報量が「無」なので音声ファイ
ルとしては存在しないはずの部分なんです．「はぁ……」と表記系にする音
がないですから．だけど，実生活ではこれがもたらす効果は絶大です．で
すから，皆さんには，もう 1 回，音と間，そして口語というものに目を向け
てほしい．例えば「はぁ……ダメだよ…」と言うのと，ただ「ダメだよ」と言うの
とでは伝わる意味がなんとなく違います．
斎藤由多加

View Slide

パターンマチング法
LEFT 4 DEAD
Elan Ruskin (GDC2012)
AI-driven Dynamic Dialog through Fuzzy Pattern Matching. Empower Your Writers!
(slide) https://www.gdcvault.com/play/1015317/AI-driven-Dynamic-Dialog-through
(video) https://www.youtube.com/watch?v=tAbBID3N64A

View Slide


View Slide

https://www.youtube.com/watch?v=j4eIu6LxdZg

View Slide


View Slide

https://www.youtube.com/watch?v=pYpCeql993M

View Slide


View Slide

https://www.youtube.com/watch?v=2aozwfumnH4

View Slide

https://www.youtube.com/watch?v=T5-2EnX5-K0

View Slide

https://www.youtube.com/watch?v=fy29rWa21qg

View Slide

https://www.youtube.com/watch?v=-1CuB7FtPPk

View Slide

コンテクストベース法
The Last of Us
Jason Gregory (GDC2014)
A Context-Aware Character Dialog System
(video) https://www.gdcvault.com/play/1020386/A-Context-Aware-Character-Dialog

View Slide

Jason Gregory (GDC2014)
A Context-Aware Character Dialog System
(video) https://www.gdcvault.com/play/1020386/A-Context-Aware-Character-Dialog

View Slide

https://www.youtube.com/watch?v=Y7-OoXqNYgY

View Slide

自動シーン生成
The Witcher 3
Piotr Tomsinski(GDC2016)
Behind the Scenes of Cinematic Dialogues in 'The Witcher 3: Wild Hunt'
(slide) https://www.gdcvault.com/play/1022988/Behind-the-Scenes-of-Cinematic
(video) https://www.youtube.com/watch?v=chf3REzAjgI

View Slide

Piotr Tomsinski(GDC2016)
Behind the Scenes of Cinematic Dialogues in 'The Witcher 3: Wild Hunt'
(slide) https://www.gdcvault.com/play/1022988/Behind-the-Scenes-of-Cinematic
(video) https://www.youtube.com/watch?v=chf3REzAjgI

View Slide

https://www.youtube.com/watch?v=FWJk0z9C2EU
撮影禁止

View Slide

自動シーン生成２
Assassin’s Creed
Francois Paradis (GDC 2019)
Procedural Generation of Cinematic Dialogues in 'Assassin's Creed Odyssey'
(slide) https://www.gdcvault.com/play/1026381/Procedural-Generation-of-Cinematic-Dialogues
(Video) https://www.gdcvault.com/browse/gdc-19/play/1026381

View Slide


View Slide

(slide) https://www.gdcvault.com/play/1026381/Procedural-Generation-of-Cinematic-D

View Slide


View Slide

https://www.youtube.com/watch?v=gcDkzuftE8k
https://www.youtube.com/watch?v=gcDkzuftE8k

View Slide

まとめ
• ゲームの対話＝ワールドモデルの中の対話
• 会話生成はこれから
• 世界認識（ワールドモデル）と会話生成が絡み合って行く
文字だけのコミュニケ―ション・コーパスによる学習

View Slide

生成AIとデジタルゲームの未来

生成AIとデジタルゲームの未来

miyayou

More Decks by miyayou

Featured

Transcript