Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ぼくのかんがえたさいきょうのマリオAI
Search
Sponsored
·
Your Podcast. Everywhere. Effortlessly.
Share. Educate. Inspire. Entertain. You do you. We'll handle the rest.
→
Ushitora Anqou
December 10, 2018
Programming
1
600
ぼくのかんがえたさいきょうのマリオAI
Ushitora Anqou
December 10, 2018
Tweet
Share
More Decks by Ushitora Anqou
See All by Ushitora Anqou
Oblivious Online Monitoring for Safety LTL Specification via Fully Homomorphic Encryption
anqou
1
960
F*でプログラムの正しさを証明する
anqou
1
1.2k
「自作CPUでサイゼリヤ問題」を支える技術
anqou
2
370
10ステップで作るお手軽インタプリタ開発
anqou
3
1.1k
seccamp2018でセルフホストCコンパイラをつくった
anqou
8
5.7k
Other Decks in Programming
See All in Programming
高速開発のためのコード整理術
sutetotanuki
1
380
AgentCoreとHuman in the Loop
har1101
5
220
16年目のピクシブ百科事典を支える最新の技術基盤 / The Modern Tech Stack Powering Pixiv Encyclopedia in its 16th Year
ahuglajbclajep
5
980
Fluid Templating in TYPO3 14
s2b
0
130
AI前提で考えるiOSアプリのモダナイズ設計
yuukiw00w
0
220
Grafana:建立系統全知視角的捷徑
blueswen
0
320
QAフローを最適化し、品質水準を満たしながらリリースまでの期間を最短化する #RSGT2026
shibayu36
2
4.3k
今こそ知るべき耐量子計算機暗号(PQC)入門 / PQC: What You Need to Know Now
mackey0225
3
370
IFSによる形状設計/デモシーンの魅力 @ 慶應大学SFC
gam0022
1
290
CSC307 Lecture 04
javiergs
PRO
0
650
Apache Iceberg V3 and migration to V3
tomtanaka
0
140
AIと一緒にレガシーに向き合ってみた
nyafunta9858
0
160
Featured
See All Featured
The Spectacular Lies of Maps
axbom
PRO
1
510
SEO Brein meetup: CTRL+C is not how to scale international SEO
lindahogenes
0
2.3k
Between Models and Reality
mayunak
1
180
<Decoding/> the Language of Devs - We Love SEO 2024
nikkihalliwell
1
120
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
49
9.8k
Pawsitive SEO: Lessons from My Dog (and Many Mistakes) on Thriving as a Consultant in the Age of AI
davidcarrasco
0
62
The Hidden Cost of Media on the Web [PixelPalooza 2025]
tammyeverts
2
170
Building a Scalable Design System with Sketch
lauravandoore
463
34k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
26
3.3k
The Art of Programming - Codeland 2020
erikaheidi
57
14k
Jamie Indigo - Trashchat’s Guide to Black Boxes: Technical SEO Tactics for LLMs
techseoconnect
PRO
0
54
Color Theory Basics | Prateek | Gurzu
gurzu
0
190
Transcript
ぼくのかんがえた さいきょうのマリオ AI 艮 鮟鱇 @ushitora anqou 1
とりあえずデモ https://twitter.com/ ushitora_anqou/status/ 1061234857181765633 2
とりあえずデモ https://goo.gl/VJhD8Q Google URL Shortener は 2019 年 3 月で
サービス終了 3
すごくない?? 4
すごい! 5
いろんなやりかた 6
いろんなやりかた • ルールベース • すたっとさんとか • つらそう 6
いろんなやりかた • ルールベース • すたっとさんとか • つらそう • 遺伝的アルゴリズム •
VT-b とか • つらそう 6
いろんなやりかた • ルールベース • すたっとさんとか • つらそう • 遺伝的アルゴリズム •
VT-b とか • つらそう • ヂープラニーング(DQN) • 梅さんとか • つらそう 6
設定 • エージェント(AI)がマリオをする。 • 環境情報を受け取り、ボタンの押し方 を返す。 画像引用:http://ur0.biz/Ok3H 7
想定解 入力:マリオの状態や周りの情報 ⬇ エージェント f (x) ⬇ 出力:ボタンの押し方 8
ところで • マリオ AI のステージは固定 • ランダム要素はない。 • エージェント出力の種類は有限 •
6 個のボタンの ON/OFF なので 26 = 64 ⬇ 出力を全て決めればその評価は一定 9
どゆこと? 事前にエージェントの出力を決める。 1. 右移動+ダッシュ 2. 右移動+ジャンプ 3. ジャンプ . .
. これを出力した後の状態を評価すると、そ の出力の「よさ」が分かる ➡ 探索可能 10
想定解(再掲) 入力:マリオの状態や周りの情報 ⬇ エージェント f (x) ⬇ 出力:ボタンの押し方 11
鮟鱇解 あからじめ出力が決められた エージェント f () ⬇ 出力:ボタンの押し方 12
全幅探索 計算量:O(64n) 13
おねえさーぁぁん! 画像引用:https://youtu.be/Q4gTV4r0zRs 14
すくなく計算する 64 通りも要らない。 • 左移動と右移動を同時に入力すること はない。 • 上移動は使わない。 • 四六時中ダッシュすればいい。
15
すくなく計算する 4 通りに減らせる。 • ダッシュ+左移動 • ダッシュ+右移動 • ダッシュ+左移動+ジャンプ •
ダッシュ+右移動+ジャンプ 16
続‧すくなく計算する 人間がマリオを遊ぶ。 • 人間の反応時間は 0.2s。 • 片や PC の画面更新は 30fps
→ 0.033s ➡ 人間のほとんどの反応は前と同じ 同様にエージェントの出力をダブらせる。 17
計算量:O ( 4n k ) 18
指数時間はいやだ! 多項式時間で計算したい。 • 貪欲法 • 一番良さそうな手を選択することを繰り 返す。 • 捨てる手が多い。 •
計算量は O(4n) • ビームサーチ • 貪欲法の拡張。 • 今回はこれを選択。 19
ビームサーチ • 良さそうな手を m 個持っておき、その 手から伸びる手を探索する。 • 探索した手のうち、上位 m 個を次の探
索で使う。 • 計算量は O(4mn) • わりとうまくいく。 20
ところで 21
ところで 「良さそうな手」ってなに? 21
評価関数をつくる ϕ : 手 −→ 評価値 ある手がどのくらい「良い」のかを表す関 数をつくる。 22
評価関数をつくる ϕ : 手 −→ 評価値 ある手がどのくらい「良い」のかを表す関 数をつくる。 めっちゃ難しい。 22
続‧評価関数をつくる • マリオの x 座標を使う? • 無謀にジャンプして距離を稼ぎ死ぬ。 • 袋小路に入って死ぬ。 •
マリオの y 座標を使う? • ジャンプし続けて死ぬ。 • その他の指標? • わからん!w 23
どうしたか 「接地していたマリオの x 座標の最大値」 24
どうしたか 「接地していたマリオの x 座標の最大値」 • 接地していないと評価にならない。 • 無謀なジャンプを低評価に。 • 最大値をとることで袋小路にスタック
することを防ぐ。 • 全ての行動が等価になるので、乱択で行 動が決まる。 24
評価関数図解 1 25
評価関数図解 2 26
評価関数図解 3 27
まとめ • マリオ AI は意外と難しかった。 • 正直喋れてないことはたくさんある。 • どうでもいいけどステージ 4–1
は クソ。 • そのうちコソッとコードは公開します。 28
ご清聴 ありがとうござ いました 29