CEDEC2019: ゲームと機械学習の最前線 〜現状と未来を正しく捉えるために〜

CEDEC2019での登壇資料です。
奥村純（株式会社ディー・エヌ・エー）
三宅陽一郎（株式会社スクウェア・エニックス）
長谷洋平（株式会社バンダイナムコスタジオ）

ゲームと機械学習の最前線 〜現状と未来を正しく捉えるために〜
CEDEC2019: The Frontier of Game development and Machine Learning
https://cedec.cesa.or.jp/2019/session/detail/s5c9b199a29c68

Transcript

1. ゲームと機械学習の最前線
 〜現状と未来を正しく捉えるために〜

2. • 企業や産学の枠を超えて連携できるQAに着目
 “次世代QAとAI”@CEDEC2018
 【CEDEC2018】次世代QAとAI 動画：https://www.youtube.com/watch?v=iCU2bVrdHLE 資料：https://www.slideshare.net/dena_genom/qaai-ai
3. • AI研究は引き続き大きく進捗※
 • ゲーム業界でも様々なAI活用事例が増加
 – 導入検証（PoC）→ 本番環境への導入＆事業貢献
 
 • 技術に対する加熱した期待は成熟しつつある
 – 開発・運用にどれくらいインパクトを与えるのか
 – AIを見据えた開発プロセス・体制の模索
 – 運用知見の情報公開とコミュニティ形成
 セッションの開催背景
 ※本講演では、AIと機械学習は区別せずに用います（後述） 

4. • なるべく多くの実用事例を俯瞰したい
 • AIがどの程度使えるのか現実的に議論したい
 • 今後の未来像について語りたい
 セッションのモチベーション

5. • ゲーム×AIの事例を多く知っていただく
 • 現実的な現場の目線や気付き、今後の活用のヒント
 Key Takeaways

6. パネリスト紹介

7. • 株式会社スクウェア・エニックス
 – テクノロジー推進部
 – リードAIリサーチャー
 • 過去に関わったタイトル
 – クロムハウンズ（Xbox360®） 
 – デモンズソウル（PS3®） 
 – アーマードコア5（Xbox360®/PS3®） 
 – Final Fantasy XIV: A Realm Reborn 
 – Final Fantasy XV 
 三宅 陽一郎
 『FINAL FANTASY XV の人工知能 - ゲームAIから見える未来 -』
8. • 株式会社バンダイナムコスタジオ
 – プロジェクトスカイ 技術課
 – リードAIエンジニア
 
 • ゲームタイトルにおけるAI開発
 • AI関連の先端技術のリサーチ、技術研究
 
 長谷 洋平
 BLUE PROTOCOLの個性豊かなキャラクターを動かす意思決定システム
 日時：09月06日(金) 13:30 〜 14:30 会場：302 

9. • 株式会社ディー・エヌ・エー
 – AI本部AIシステム部
 – AI研究開発エンジニア
 奥村 エルネスト 純
 • ゲームAI・強化学習案件のマネジメント
 • 執筆、コミュニティ活動
 – 『データサイエンティスト養成読本ビジネス活用編』（技術評論社）
 – 強化学習アーキテクチャ勉強会、Data Analyst Meetup Tokyo、GameAI Community
 @pacocat
10. 人間と同等かそれ以上に処理を行うためのテクノロジー AIを実現するためのアプローチ 判断や予測を行う能力（モデル）を機械的に学習する AIにまつわる用語の整理
 機械学習の一種 モデルに層の深いニューラルネットワークを利用 深層学習（ディープラーニング）
 機械学習
 AI（人工知能）

11. 人間と同等かそれ以上に処理を行うためのテクノロジー AIを実現するためのアプローチ 判断や予測を行う能力（モデル）を機械的に学習する AIにまつわる用語の整理
 機械学習の一種 モデルに層の深いニューラルネットワークを利用 深層学習（ディープラーニング）
 機械学習
 AI（人工知能）
 「ゲームAI」は学術領域で使われている「AI」とは別の独自文脈を持っています。 本セッションでは、機械学習領域を想定して「 AI」という言葉を使います。
12. AI（機械学習モデル）の推論

13. AI（機械学習モデル）の学習
 ※ニューラルネットワークを使った「ネコとイヌの分類」の学習イメージ 

14. 強化学習
 環境
 例：ゲームのシミュレータ
 • 環境に対する試行錯誤とそのフィードバックからの自律的な学習
 • 必要なのは環境や報酬で、教師データは使わない
 ある状況で環境に対してある行動を取る 
 報酬（例：ダメージ、勝敗）のフィードバックに従って、 
 より好ましい行動を取るよう訓練されていく 

15. AI活用の現在

16. AI活用の現在
 1 意思決定
 2 QA・デバッグ
 3 異常検知
 4 コンテンツ生成
 5 アニメーション・音声
 6 メタAI

17. AI活用の現在
 1 意思決定
 2 QA・デバッグ
 3 異常検知
 4 コンテンツ生成
 5 アニメーション・音声
 6 メタAI

18. • 人間と同等かそれ以上に賢くゲーム内を行動できるエージェント
 – 不完全情報や長期戦略を扱うタスクでも成功事例が生まれている
 – 深層学習、強化学習、モンテカルロ木探索、ゲーム理論、…
 意思決定：背景
 ※1: https://deepmind.com/blog/article/alphazero-shedding-new-light-grand-games-chess-shogi-and-go ※2: https://ai.facebook.com/blog/pluribus-first-ai-to-beat-pros-in-6-player-poker/ ※3: https://deepmind.com/blog/article/alphastar-mastering-real-time-strategy-game-starcraft-ii ※4: https://openai.com/five/ AlphaZero※1 @ Chess/Shogi/Go
 Pluribus※2 @Poker (No-limit Texas Hold’em) 
 AlphaStar※3 @StarCraft II
 OpenAI Five※4 @Dota2

19. 1. コンテンツとしての応用
 a. Human vs. AI / e-Sports（ゲーム外の指向）
 b. プレイヤー補助（ゲーム内の指向）
 2. QA文脈での応用※2
 a. エージェントの自動プレイによるテスト（正しく動作しているか）
 b. ゲームバランスの担保（おもしろく遊べるか）
 意思決定：事例の方向性※1
 ※1: 便宜的に分類していますが、実際のユースケースとしてはこれらを組み合わせている場合が多いです ※2: QAについては次の項目でも詳述します
20. a. Human vs. AI / e-Sports
 • StarCraft II(Blizzard)、Dota2(Valve)、 
 Blade & Soul(NCSOFT)※1、Arena of Valor(Tencent)※2、…
 意思決定：1. コンテンツ応用
 ※1: Chung & Rho (2019), Reinforcement Learning in Action: Creating Arena Battle AI for 'Blade & Soul', Game Developers Conference 2019 深層強化学習を使ったエージェント。バトルスタイルの違いを報酬関数で表現。 https://www.gdcvault.com/play/1026406/Reinforcement-Learning-in-Action-Creating ※2: Wu, B. (2019). Hierarchical Macro Strategy Model for MOBA Game AI. Proceedings of the AAAI Conference on Artificial Intelligence, 33(01), 1206-1213. 大局的な戦略とミクロな個別戦略を階層的に教師あり学習した事例。プロチームにも優位に勝利。 https://aaai.org/ojs/index.php/AAAI/article/view/3915
21. b. プレイヤー補助（学習、共闘）
 • 将棋ウォーズ(HEROZ)※1、逆転オセロニア(DeNA)※2、
 サムライスピリッツ(SNK)※3、ZENONZARD(バンダイ)※4、…
 意思決定：1. コンテンツ応用
 ※1: https://shogiwars.heroz.jp/ ※2: Hammoudi, Okumura, and Tanaka. (2019). Applying AI in Games with DeNA. Game Developers Conference 2019. https://www.slideshare.net/juneokumura/applying-ai-in-games-gdc2019 ※3: 泊. (2019). ニューラルネットワークを用いた AIの格闘ゲームへの組み込み . Game Creators Conference 2019. https://bit.ly/gcc2019tomari ※4: https://www.aicarddass.com/zenonzard/ オセロニア道場：初心者から上級者まで、
 強さを選択できる練習コンテンツ
 サムライスピリッツ「道場モード」：
 特定のプレイヤー挙動を学習して対戦できる

22. a. エージェントの自動プレイによるテスト
 • 北斗が如く(SEGA)※1、Battlefield V(EA)※2、The Division(Ubisoft)※3、
 意思決定：2. 自動QA
 ※1: 阪上. (2018). QAエンジニアってどんな仕事？ ～ゲーム開発におけるテストの世界～ . SEGA tech blo http://techblog.sega.jp/entry/2018/08/27/100000 ※2: Gillberg. (2019). AI for Testing: The Development of Bots that Play 'Battlefield V'. Game Developer Conference 2019. https://www.gdcvault.com/play/1026308/AI-for-Testing-The-Development ※3: Paredes and Jones. (2019). Automated Testing: Using AI Controlled Players to Test 'The Division'. Game Developer Conference 2019. https://www.gdcvault.com/play/1026382/Automated-Testing-Using-AI-Controlled 北斗が如く：VRAM使用率の可視化
 コリジョン抜け検知
 BattlefieldV：自動テストによる
 クラッシュ検知など
 The Division：自動テストによる
 Stuck検知など

23. b. ゲームバランスの担保
 • Candy Crush Saga(King)※1、D2メガテン/コトダマン(SEGA)※2、…
 意思決定：2. 自動QA
 ※1: Nodet (2019). Human-Like Playtesting with Deep Learning. Tech at King. https://medium.com/techking/human-like-playtesting-with-deep-learning-92adafffe921 ※2: 松田 剛. (2018). モバイルタイトルにおける横断的な機械学習によるレベルデザイン支援システムの構築と運用 . CEDEC 2018. https://cedec.cesa.or.jp/2018/session/detail/s5ab4926f6d350.htm https://gamebiz.jp/?p=218707l • 『Ｄ×２ 新・女神転生 リベレーション』におけるクエスト難易度調整支援 
 • 『Ｄ×２ 新・女神転生 リベレーション』におけるマップ設計支援 
 • 『コトダマン』におけるデッキ調整・報酬設定支援 
 Candy Crush Saga：教師あり学習で
 テスト工数が1週間→数分に
 遺伝的アルゴリズム、強化学習、ルールベース探索など、
 タイトルやケースに応じた技術の使い分けと運用

24. • アーキテクチャや特徴量設計は統一できるのか？
 • エージェントはどの程度コントロールできるべき？
 • QAはどのように行うべきか？
 • 機械学習の活用に足りていないものはなにか？
 意思決定：論点

25. AI活用の現在
 1 意思決定
 2 QA・デバッグ
 3 異常検知
 4 コンテンツ生成
 5 アニメーション・音声
 6 メタAI

26. QA・デバッグ：背景
 • QA（Quality Assurance; 品質保証）
 – ゲームが仕様通り正しく動作しているかを保証するもの
 – デバッグとは区別されるもの
 • ゲーム開発の複雑化・大規模化
 – 品質管理の自動化が開発コスト面から急務に
 • 外のAI：会社や産学をまたいで連携できる可能性

27. Gillberg. (2019). AI for Testing: The Development of Bots that Play 'Battlefield V'. Game Developer Conference 2019. https://www.gdcvault.com/play/1026308/AI-for-Testing-The-Development QA・デバッグ：事例

28. Gillberg. (2019). AI for Testing: The Development of Bots that Play 'Battlefield V'. Game Developer Conference 2019. https://www.gdcvault.com/play/1026308/AI-for-Testing-The-Development QA・デバッグ：事例
 ゲームエンジンのスクリプトを活用してオートプレイ 

29. Paredes and Jones. (2019). Automated Testing: Using AI Controlled Players to Test 'The Division'. Game Developer Conference 2019. https://www.gdcvault.com/play/1026382/Automated-Testing-Using-AI-Controlled QA・デバッグ：事例

30. Paredes and Jones. (2019). Automated Testing: Using AI Controlled Players to Test 'The Division'. Game Developer Conference 2019. https://www.gdcvault.com/play/1026382/Automated-Testing-Using-AI-Controlled QA・デバッグ：事例

31. Paredes and Jones. (2019). Automated Testing: Using AI Controlled Players to Test 'The Division'. Game Developer Conference 2019. https://www.gdcvault.com/play/1026382/Automated-Testing-Using-AI-Controlled QA・デバッグ：事例

32. Paredes and Jones. (2019). Automated Testing: Using AI Controlled Players to Test 'The Division'. Game Developer Conference 2019. https://www.gdcvault.com/play/1026382/Automated-Testing-Using-AI-Controlled QA・デバッグ：事例

33. Imitation Learning with Concurrent Actions in 3D Games (EA SEED): https://www.ea.com/seed/news/seed-imitation-learning-concurrent-actions Teaching AI-Agents to play Battlefield (EA SEED) https://www.ea.com/news/teaching-ai-agents-battlefield-1 QA・デバッグ：事例
 逆強化学習を用いた人間らしい自動プレイ 

34. QA・デバッグ：事例
 • 他にも多くの事例が登場している
 – 北斗が如く(SEGA)：コリジョン抜けの検知※1
 – Sea of Thieves(Rare)：キャラクタービヘイビアの自動テスト※2
 – ファークライ5他(UBI)：デバッギングシステムCLEVER※3
 – Fate/Grand Order(DELiGHT WORKS)：自動リプレイ※4
 – Shadowverse(Cygames)：デバッグ作業自動化※5
 – …
 ※1: 阪上. (2018). QAエンジニアってどんな仕事？ ～ゲーム開発におけるテストの世界～ . SEGA tech blog. http://techblog.sega.jp/entry/2018/08/27/100000 ※2: Masella, R. (2017). Automated Testing for Multiplayer Game-AI in sea of Thieves. Game AI North 17. https://www.gameainorth.com/2017/#talk3 ※3: Nayrolles & Hamou-Lhadj. (2018). CLEVER: Combining Code Metrics with Clone Detection for Just-In-Time Fault Prevention and Resolution in Large Industrial Projects. the 15th international conference on Mining Software Repositories. https://montreal.ubisoft.com/en/ubisoft-la-forge-presents-the-commit-assistant/ ※4: 瀧下. (2017). Fate/Grand Orderにおける自動リプレイを用いた QA改善への挑戦 . CEDEC 2017. https://cedil.cesa.or.jp/cedil_sessions/view/1716 ※5: 折田. (2017). ゲーム開発におけるデバッグ作業の自動化 ～ OpenCVの「眼」で捉え、 Pythonの「脳」が思考し、 Appiumの「指」で動かす . CEDEC 2016. https://cedil.cesa.or.jp/cedil_sessions/view/1575
35. • 面白さのQAはどのように担保できるのか？
 • どこまでQAプロセスを機械化できるのか？
 • 既存のゲームデザインプロセスへの影響は？
 QA・デバッグ：論点

36. AI活用の現在
 1 意思決定
 2 QA・デバッグ
 3 異常検知
 4 コンテンツ生成
 5 アニメーション・音声
 6 メタAI

37. • 対戦型ゲームにおけるチート対策事例が増加
 – チーターの存在がゲームUXを大きく毀損する課題
 • 2%のチーターによってDirty Gameが20%になることも※
 – 目検では対応不可能なほど大規模化・高度化している課題
 • プロセスにおける自動化が急務
 • 大量のデータ蓄積、技術の進捗によるAI導入のしやすさ
 – バグ検知やデバッグでの活用が進んでいる
 異常検知：背景
 ※: McDonald. (2018). Robocalypse Now: Using Deep Learning to Combat Cheating in 'Counter-Strike: Global Offensive' Game Developers Conference 2018 https://www.gdcvault.com/play/1024994/Robocalypse-Now-Using-Deep-Learning
38. • Sudden Attack(Nexon) におけるWallhack検知のプロセス構築※
 – AIがチートを判断した根拠を注目度マップとして出力
 – BANにかかる時間を大幅に削減（24h→数分）
 – 能動学習による継続的な精度向上、転移学習による少数データでの学習
 異常検知：事例
 ※: Hwang. (2019). Beating Wallhacks using Deep Learning with Limited Resources. Game Developer Conference 2019. https://www.gdcvault.com/browse/gdc-19/play/1026331
39. • Counter Strike他(Valeve) におけるチート検知※
 – Aimbotを対象としたDNNベースの学習（VACnet）
 – Overwatchで学習したものを他のタイトルにも転用
 – 人間の報告よりも高い精度でチートを検知（15→80%）
 異常検知：事例
 ※: McDonald. (2018). Robocalypse Now: Using Deep Learning to Combat Cheating in 'Counter-Strike: Global Offensive' Game Developers Conference 2018 https://www.gdcvault.com/play/1024994/Robocalypse-Now-Using-Deep-Learning
40. • その他の事例
 – インシデントの予測（King）※1
 – オートエンコーダーを使ったチート検知（Netmarble）※2
 – …
 異常検知
 ※1: Gaming Giants Win Big Data Challenge With Anodot to Keep Millions of Players in the Game https://www.anodot.com/news-item/anodot-leading-anomaly-detection-platform-for-gaming/ ※2: Baek, Nakai, and Oh. (2019). Customer Case for Anomaly Detection in MMORPG. Google Cloud Next 2019. https://www.youtube.com/watch?v=xrZ9BRK5WAg
41. 異常検知：論点
 • 目検での検知はなくならないか？
 • 全て自前で開発する必要はあるのか？ゲーム毎の依存性は？
 • どのようなプロセスを作ればよいのか？
 • False Positiveへの対応は？

42. AI活用の現在
 1 意思決定
 2 QA・デバッグ
 3 異常検知
 4 コンテンツ生成
 5 アニメーション・音声
 6 メタAI

43. • 高解像度の自然画像生成、超解像、denoisingの研究が進捗
 – 本物と見紛う画像生成は可能になってきている
 – 人の全身のような複雑な構造生成は困難で、対象が限定される
 コンテンツ生成：背景
 ※1: T. Karras, T. Aila, S. Laine, and J. Lehtinen. Progressive growing of GANs for improved quality, stability, and variation. CoRR, abs/1710.10196, 2017 ※2: A. Brock, J. Donahue, and K. Simonyan. Large scale GAN training for high fidelity natural image synthesis . In Proc. ICLR, 2019. ProgressiveGAN※1
 BigGAN※2

44. • 構造を踏まえた生成の学習も進捗しつつある(3Dアニメ生成@DeNA)
 コンテンツ生成：背景
 ※: Hamada, Tachibana, Li, Honda, and Uchida. (2018). Full-body High-resolution Anime Generation with Progressive Structure-conditional Generative Adversarial Networks. In ECCV WS 2018. Full-body anime generation at 1024x1024 with Progressive Structure- conditional GANs https://youtu.be/bIi5gSITK0E
 Adding action to full-body anime characters with Progressive Structure-conditional GANs https://youtu.be/0LQlfkvQ3Ok

45. • 指定された構造やラフからの生成
 コンテンツ生成：背景
 Taesung, P., et al. (2019). Semantic image synthesis with spatially-adaptive normalization. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2019. You, S., You, N., & Pan, M. (2019). PI-REC: Progressive Image Reconstruction Network With Edge and Color Domain. arXiv preprint arXiv:1903.10146.
46. • ライティング・スタイル変換（3D構造でも事例多数）
 • Mesh/Texture 生成
 コンテンツ生成：背景
 He, M., Liao, J., Chen, D., Yuan, L., & Sander, P. V. (2019). Progressive color transfer with dense semantic correspondences. ACM Transactions on Graphics (TOG), 38(2), 13. Saito, S., et al. (2019). PIFu: Pixel-Aligned Implicit Function for High-Resolution Clothed Human Digitization. ICCV 2019.
47. • 学術研究の進捗と共に、ゲーム業界でのニーズも高まっている
 • より複雑化・高解像になるゲームでのアセット生成が限界
 – 例：Assassin's Creed Odyssey(Ubisoft)
 • シネマティックカットが従来の数時間から30時間に増加
 • スマートにコンテンツを作る必要から20%を完全プロシージャル化
 コンテンツ生成：背景
 ※ Paradis, F. (2019). Procedural Generation of Cinematic Dialogues in 'Assassin's Creed Odyssey'. Game Developer Conference 2019. https://www.gdcvault.com/play/1026381/Procedural-Generation-of-Cinematic-Dialogues
48. コンテンツ生成：事例
 É, Guérin., et al. (2017). Interactive example-based terrain authoring with conditional generative adversarial networks. ACM Trans. Graph. 36, 6, Article 228 (November 2017), p13. https://doi.org/10.1145/3130800.3130804 • ラフスケッチからの地形生成

49. コンテンツ生成：事例
 Shintaro Takemura (2018). Optimize deep super-resolution and denoising for compressed textures. SIGGRAPH Asia 2018. https://sa2018.conference-program.com/presentation/?id=pos_124&sess=sess221 • Super-Resolution, Denoising (バンダイナムコスタジオ)

50. コンテンツ生成：事例
 Game Level Generation Using Neural Networks https://www.gamasutra.com/blogs/SeungbackShin/20180227/315017/Game_Level_Generation_Using_Neural_Networks.php • キャラクターの状態に応じたレベルの自動生成
 – Fantasy Raiders (Maverick Games)

51. • どの程度のコントロール余地が必要なのか？
 • どのようにQAを行うのか？
 • どこまで機械学習のニーズは出てくるか？
 • レベルデザインを一部代替するような未来はあるのか？
 コンテンツ生成：論点

52. AI活用の現在
 1 意思決定
 2 QA・デバッグ
 3 異常検知
 4 コンテンツ生成
 5 アニメーション・音声
 6 メタAI

53. • モーションキャプチャなどを中心に、
 自然なオブジェクトの動きを作るためにAIが活用されはじめている
 • 音声の認識・合成技術の進展
 アニメーション・音声：背景

54. • モーションキャプチャのSolving高精度化（Ubisoft）
 • リップシンキング（Ubisoft）
 アニメーション・音声：事例
 ※ Jacquier, Y. (2019). The Alchemy and Science of Machine Learning for Games.Game Developer Conference 2019. https://www.gdcvault.com/play/1025653/The-Alchemy-and-Science-of Robust Solving of Optical Motion Capture Data by Denoising 
 https://www.youtube.com/watch?v=6pPJJLgfpu0 
 
 Ubisoft La Forge - SoundMatching, the results on Aya 
 https://www.youtube.com/watch?v=jKwMBvAs3_k 

55. • アニメーション・音声技術を使ったユースケースは増えてくるか？
 アニメーション・音声：論点

56. AI活用の現在
 1 意思決定
 2 QA・デバッグ
 3 異常検知
 4 コンテンツ生成
 5 アニメーション・音声
 6 メタAI

57. Michael Booth. March 2009. "Replayable Cooperative Game Design: Left 4 Dead." Game Developers Conference 2009.
 メタAI

58. • 背景
 – ゲーム全体をひきしめ流れを作る、統御するAIの必要
 • 事例
 – 80年代～：ゲームセルフコントロールシステム
 – 2007〜 ：ゲームに積極に干渉する、ユーザ体験を作り出す主体
 • 論点
 – 実装・設計の技術が積みあがっていない
 メタAI

59. ゲームとAIの未来予想図

60. • ゲーム×AIの議論の場を育てたい
 コミュニティ紹介
 Slack: game-ai-ja https://goo.gl/jqEgLf