CEDEC2019: ゲームと機械学習の最前線 〜現状と未来を正しく捉えるために〜

CEDEC2019: ゲームと機械学習の最前線 〜現状と未来を正しく捉えるために〜

CEDEC2019での登壇資料です。
奥村純(株式会社ディー・エヌ・エー)
三宅陽一郎(株式会社スクウェア・エニックス)
長谷洋平(株式会社バンダイナムコスタジオ)

ゲームと機械学習の最前線 〜現状と未来を正しく捉えるために〜
CEDEC2019: The Frontier of Game development and Machine Learning
https://cedec.cesa.or.jp/2019/session/detail/s5c9b199a29c68

0ece01ad1513ae4ec0cdb062f9c3e6d8?s=128

Jun Ernesto Okumura

September 06, 2019
Tweet

Transcript

  1. 3.

    • AI研究は引き続き大きく進捗※
 • ゲーム業界でも様々なAI活用事例が増加
 – 導入検証(PoC)→ 本番環境への導入&事業貢献
 
 • 技術に対する加熱した期待は成熟しつつある


    – 開発・運用にどれくらいインパクトを与えるのか
 – AIを見据えた開発プロセス・体制の模索
 – 運用知見の情報公開とコミュニティ形成
 セッションの開催背景
 ※本講演では、AIと機械学習は区別せずに用います(後述) 

  2. 7.

    • 株式会社スクウェア・エニックス
 – テクノロジー推進部
 – リードAIリサーチャー
 • 過去に関わったタイトル
 – クロムハウンズ(Xbox360®)

    
 – デモンズソウル(PS3®) 
 – アーマードコア5(Xbox360®/PS3®) 
 – Final Fantasy XIV: A Realm Reborn 
 – Final Fantasy XV 
 三宅 陽一郎
 『FINAL FANTASY XV の人工知能 - ゲームAIから見える未来 -』
  3. 8.

    • 株式会社バンダイナムコスタジオ
 – プロジェクトスカイ 技術課
 – リードAIエンジニア
 
 • ゲームタイトルにおけるAI開発


    • AI関連の先端技術のリサーチ、技術研究
 
 長谷 洋平
 BLUE PROTOCOLの個性豊かなキャラクターを動かす意思決定システム
 日時:09月06日(金) 13:30 〜 14:30 会場:302 

  4. 9.

    • 株式会社ディー・エヌ・エー
 – AI本部AIシステム部
 – AI研究開発エンジニア
 奥村 エルネスト 純
 •

    ゲームAI・強化学習案件のマネジメント
 • 執筆、コミュニティ活動
 – 『データサイエンティスト養成読本ビジネス活用編』(技術評論社)
 – 強化学習アーキテクチャ勉強会、Data Analyst Meetup Tokyo、GameAI Community
 @pacocat
  5. 18.

    • 人間と同等かそれ以上に賢くゲーム内を行動できるエージェント
 – 不完全情報や長期戦略を扱うタスクでも成功事例が生まれている
 – 深層学習、強化学習、モンテカルロ木探索、ゲーム理論、…
 意思決定:背景
 ※1: https://deepmind.com/blog/article/alphazero-shedding-new-light-grand-games-chess-shogi-and-go ※2:

    https://ai.facebook.com/blog/pluribus-first-ai-to-beat-pros-in-6-player-poker/ ※3: https://deepmind.com/blog/article/alphastar-mastering-real-time-strategy-game-starcraft-ii ※4: https://openai.com/five/ AlphaZero※1 @ Chess/Shogi/Go
 Pluribus※2 @Poker (No-limit Texas Hold’em) 
 AlphaStar※3 @StarCraft II
 OpenAI Five※4 @Dota2

  6. 19.

    1. コンテンツとしての応用
 a. Human vs. AI / e-Sports(ゲーム外の指向)
 b. プレイヤー補助(ゲーム内の指向)


    2. QA文脈での応用※2
 a. エージェントの自動プレイによるテスト(正しく動作しているか)
 b. ゲームバランスの担保(おもしろく遊べるか)
 意思決定:事例の方向性※1
 ※1: 便宜的に分類していますが、実際のユースケースとしてはこれらを組み合わせている場合が多いです ※2: QAについては次の項目でも詳述します
  7. 20.

    a. Human vs. AI / e-Sports
 • StarCraft II(Blizzard)、Dota2(Valve)、 


    Blade & Soul(NCSOFT)※1、Arena of Valor(Tencent)※2、…
 意思決定:1. コンテンツ応用
 ※1: Chung & Rho (2019), Reinforcement Learning in Action: Creating Arena Battle AI for 'Blade & Soul', Game Developers Conference 2019 深層強化学習を使ったエージェント。バトルスタイルの違いを報酬関数で表現。 https://www.gdcvault.com/play/1026406/Reinforcement-Learning-in-Action-Creating ※2: Wu, B. (2019). Hierarchical Macro Strategy Model for MOBA Game AI. Proceedings of the AAAI Conference on Artificial Intelligence, 33(01), 1206-1213. 大局的な戦略とミクロな個別戦略を階層的に教師あり学習した事例。プロチームにも優位に勝利。 https://aaai.org/ojs/index.php/AAAI/article/view/3915
  8. 21.

    b. プレイヤー補助(学習、共闘)
 • 将棋ウォーズ(HEROZ)※1、逆転オセロニア(DeNA)※2、
 サムライスピリッツ(SNK)※3、ZENONZARD(バンダイ)※4、…
 意思決定:1. コンテンツ応用
 ※1: https://shogiwars.heroz.jp/ ※2:

    Hammoudi, Okumura, and Tanaka. (2019). Applying AI in Games with DeNA. Game Developers Conference 2019. https://www.slideshare.net/juneokumura/applying-ai-in-games-gdc2019 ※3: 泊. (2019). ニューラルネットワークを用いた AIの格闘ゲームへの組み込み . Game Creators Conference 2019. https://bit.ly/gcc2019tomari ※4: https://www.aicarddass.com/zenonzard/ オセロニア道場:初心者から上級者まで、
 強さを選択できる練習コンテンツ
 サムライスピリッツ「道場モード」:
 特定のプレイヤー挙動を学習して対戦できる

  9. 22.

    a. エージェントの自動プレイによるテスト
 • 北斗が如く(SEGA)※1、Battlefield V(EA)※2、The Division(Ubisoft)※3、
 意思決定:2. 自動QA
 ※1: 阪上.

    (2018). QAエンジニアってどんな仕事? ~ゲーム開発におけるテストの世界~ . SEGA tech blo http://techblog.sega.jp/entry/2018/08/27/100000 ※2: Gillberg. (2019). AI for Testing: The Development of Bots that Play 'Battlefield V'. Game Developer Conference 2019. https://www.gdcvault.com/play/1026308/AI-for-Testing-The-Development ※3: Paredes and Jones. (2019). Automated Testing: Using AI Controlled Players to Test 'The Division'. Game Developer Conference 2019. https://www.gdcvault.com/play/1026382/Automated-Testing-Using-AI-Controlled 北斗が如く:VRAM使用率の可視化
 コリジョン抜け検知
 BattlefieldV:自動テストによる
 クラッシュ検知など
 The Division:自動テストによる
 Stuck検知など

  10. 23.

    b. ゲームバランスの担保
 • Candy Crush Saga(King)※1、D2メガテン/コトダマン(SEGA)※2、…
 意思決定:2. 自動QA
 ※1: Nodet

    (2019). Human-Like Playtesting with Deep Learning. Tech at King. https://medium.com/techking/human-like-playtesting-with-deep-learning-92adafffe921 ※2: 松田 剛. (2018). モバイルタイトルにおける横断的な機械学習によるレベルデザイン支援システムの構築と運用 . CEDEC 2018. https://cedec.cesa.or.jp/2018/session/detail/s5ab4926f6d350.htm https://gamebiz.jp/?p=218707l • 『D×2 新・女神転生 リベレーション』におけるクエスト難易度調整支援 
 • 『D×2 新・女神転生 リベレーション』におけるマップ設計支援 
 • 『コトダマン』におけるデッキ調整・報酬設定支援 
 Candy Crush Saga:教師あり学習で
 テスト工数が1週間→数分に
 遺伝的アルゴリズム、強化学習、ルールベース探索など、
 タイトルやケースに応じた技術の使い分けと運用

  11. 26.

    QA・デバッグ:背景
 • QA(Quality Assurance; 品質保証)
 – ゲームが仕様通り正しく動作しているかを保証するもの
 – デバッグとは区別されるもの
 •

    ゲーム開発の複雑化・大規模化
 – 品質管理の自動化が開発コスト面から急務に
 • 外のAI:会社や産学をまたいで連携できる可能性

  12. 27.

    Gillberg. (2019). AI for Testing: The Development of Bots that

    Play 'Battlefield V'. Game Developer Conference 2019. https://www.gdcvault.com/play/1026308/AI-for-Testing-The-Development QA・デバッグ:事例

  13. 28.

    Gillberg. (2019). AI for Testing: The Development of Bots that

    Play 'Battlefield V'. Game Developer Conference 2019. https://www.gdcvault.com/play/1026308/AI-for-Testing-The-Development QA・デバッグ:事例
 ゲームエンジンのスクリプトを活用してオートプレイ 

  14. 29.

    Paredes and Jones. (2019). Automated Testing: Using AI Controlled Players

    to Test 'The Division'. Game Developer Conference 2019. https://www.gdcvault.com/play/1026382/Automated-Testing-Using-AI-Controlled QA・デバッグ:事例

  15. 30.

    Paredes and Jones. (2019). Automated Testing: Using AI Controlled Players

    to Test 'The Division'. Game Developer Conference 2019. https://www.gdcvault.com/play/1026382/Automated-Testing-Using-AI-Controlled QA・デバッグ:事例

  16. 31.

    Paredes and Jones. (2019). Automated Testing: Using AI Controlled Players

    to Test 'The Division'. Game Developer Conference 2019. https://www.gdcvault.com/play/1026382/Automated-Testing-Using-AI-Controlled QA・デバッグ:事例

  17. 32.

    Paredes and Jones. (2019). Automated Testing: Using AI Controlled Players

    to Test 'The Division'. Game Developer Conference 2019. https://www.gdcvault.com/play/1026382/Automated-Testing-Using-AI-Controlled QA・デバッグ:事例

  18. 33.

    Imitation Learning with Concurrent Actions in 3D Games (EA SEED):

    https://www.ea.com/seed/news/seed-imitation-learning-concurrent-actions Teaching AI-Agents to play Battlefield (EA SEED) https://www.ea.com/news/teaching-ai-agents-battlefield-1 QA・デバッグ:事例
 逆強化学習を用いた人間らしい自動プレイ 

  19. 34.

    QA・デバッグ:事例
 • 他にも多くの事例が登場している
 – 北斗が如く(SEGA):コリジョン抜けの検知※1
 – Sea of Thieves(Rare):キャラクタービヘイビアの自動テスト※2
 –

    ファークライ5他(UBI):デバッギングシステムCLEVER※3
 – Fate/Grand Order(DELiGHT WORKS):自動リプレイ※4
 – Shadowverse(Cygames):デバッグ作業自動化※5
 – …
 ※1: 阪上. (2018). QAエンジニアってどんな仕事? ~ゲーム開発におけるテストの世界~ . SEGA tech blog. http://techblog.sega.jp/entry/2018/08/27/100000 ※2: Masella, R. (2017). Automated Testing for Multiplayer Game-AI in sea of Thieves. Game AI North 17. https://www.gameainorth.com/2017/#talk3 ※3: Nayrolles & Hamou-Lhadj. (2018). CLEVER: Combining Code Metrics with Clone Detection for Just-In-Time Fault Prevention and Resolution in Large Industrial Projects. the 15th international conference on Mining Software Repositories. https://montreal.ubisoft.com/en/ubisoft-la-forge-presents-the-commit-assistant/ ※4: 瀧下. (2017). Fate/Grand Orderにおける自動リプレイを用いた QA改善への挑戦 . CEDEC 2017. https://cedil.cesa.or.jp/cedil_sessions/view/1716 ※5: 折田. (2017). ゲーム開発におけるデバッグ作業の自動化 ~ OpenCVの「眼」で捉え、 Pythonの「脳」が思考し、 Appiumの「指」で動かす . CEDEC 2016. https://cedil.cesa.or.jp/cedil_sessions/view/1575
  20. 37.

    • 対戦型ゲームにおけるチート対策事例が増加
 – チーターの存在がゲームUXを大きく毀損する課題
 • 2%のチーターによってDirty Gameが20%になることも※
 – 目検では対応不可能なほど大規模化・高度化している課題
 •

    プロセスにおける自動化が急務
 • 大量のデータ蓄積、技術の進捗によるAI導入のしやすさ
 – バグ検知やデバッグでの活用が進んでいる
 異常検知:背景
 ※: McDonald. (2018). Robocalypse Now: Using Deep Learning to Combat Cheating in 'Counter-Strike: Global Offensive' Game Developers Conference 2018 https://www.gdcvault.com/play/1024994/Robocalypse-Now-Using-Deep-Learning
  21. 39.

    • Counter Strike他(Valeve) におけるチート検知※
 – Aimbotを対象としたDNNベースの学習(VACnet)
 – Overwatchで学習したものを他のタイトルにも転用
 – 人間の報告よりも高い精度でチートを検知(15→80%)


    異常検知:事例
 ※: McDonald. (2018). Robocalypse Now: Using Deep Learning to Combat Cheating in 'Counter-Strike: Global Offensive' Game Developers Conference 2018 https://www.gdcvault.com/play/1024994/Robocalypse-Now-Using-Deep-Learning
  22. 40.

    • その他の事例
 – インシデントの予測(King)※1
 – オートエンコーダーを使ったチート検知(Netmarble)※2
 – …
 異常検知
 ※1:

    Gaming Giants Win Big Data Challenge With Anodot to Keep Millions of Players in the Game https://www.anodot.com/news-item/anodot-leading-anomaly-detection-platform-for-gaming/ ※2: Baek, Nakai, and Oh. (2019). Customer Case for Anomaly Detection in MMORPG. Google Cloud Next 2019. https://www.youtube.com/watch?v=xrZ9BRK5WAg
  23. 43.

    • 高解像度の自然画像生成、超解像、denoisingの研究が進捗
 – 本物と見紛う画像生成は可能になってきている
 – 人の全身のような複雑な構造生成は困難で、対象が限定される
 コンテンツ生成:背景
 ※1: T. Karras,

    T. Aila, S. Laine, and J. Lehtinen. Progressive growing of GANs for improved quality, stability, and variation. CoRR, abs/1710.10196, 2017 ※2: A. Brock, J. Donahue, and K. Simonyan. Large scale GAN training for high fidelity natural image synthesis . In Proc. ICLR, 2019. ProgressiveGAN※1
 BigGAN※2

  24. 44.

    • 構造を踏まえた生成の学習も進捗しつつある(3Dアニメ生成@DeNA)
 コンテンツ生成:背景
 ※: Hamada, Tachibana, Li, Honda, and Uchida.

    (2018). Full-body High-resolution Anime Generation with Progressive Structure-conditional Generative Adversarial Networks. In ECCV WS 2018. Full-body anime generation at 1024x1024 with Progressive Structure- conditional GANs https://youtu.be/bIi5gSITK0E
 Adding action to full-body anime characters with Progressive Structure-conditional GANs https://youtu.be/0LQlfkvQ3Ok

  25. 45.

    • 指定された構造やラフからの生成
 コンテンツ生成:背景
 Taesung, P., et al. (2019). Semantic image

    synthesis with spatially-adaptive normalization. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2019. You, S., You, N., & Pan, M. (2019). PI-REC: Progressive Image Reconstruction Network With Edge and Color Domain. arXiv preprint arXiv:1903.10146.
  26. 46.

    • ライティング・スタイル変換(3D構造でも事例多数)
 • Mesh/Texture 生成
 コンテンツ生成:背景
 He, M., Liao, J.,

    Chen, D., Yuan, L., & Sander, P. V. (2019). Progressive color transfer with dense semantic correspondences. ACM Transactions on Graphics (TOG), 38(2), 13. Saito, S., et al. (2019). PIFu: Pixel-Aligned Implicit Function for High-Resolution Clothed Human Digitization. ICCV 2019.
  27. 47.

    • 学術研究の進捗と共に、ゲーム業界でのニーズも高まっている
 • より複雑化・高解像になるゲームでのアセット生成が限界
 – 例:Assassin's Creed Odyssey(Ubisoft)
 • シネマティックカットが従来の数時間から30時間に増加


    • スマートにコンテンツを作る必要から20%を完全プロシージャル化
 コンテンツ生成:背景
 ※ Paradis, F. (2019). Procedural Generation of Cinematic Dialogues in 'Assassin's Creed Odyssey'. Game Developer Conference 2019. https://www.gdcvault.com/play/1026381/Procedural-Generation-of-Cinematic-Dialogues
  28. 48.

    コンテンツ生成:事例
 É, Guérin., et al. (2017). Interactive example-based terrain authoring

    with conditional generative adversarial networks. ACM Trans. Graph. 36, 6, Article 228 (November 2017), p13. https://doi.org/10.1145/3130800.3130804 • ラフスケッチからの地形生成

  29. 49.

    コンテンツ生成:事例
 Shintaro Takemura (2018). Optimize deep super-resolution and denoising for

    compressed textures. SIGGRAPH Asia 2018. https://sa2018.conference-program.com/presentation/?id=pos_124&sess=sess221 • Super-Resolution, Denoising (バンダイナムコスタジオ)

  30. 54.

    • モーションキャプチャのSolving高精度化(Ubisoft)
 • リップシンキング(Ubisoft)
 アニメーション・音声:事例
 ※ Jacquier, Y. (2019). The

    Alchemy and Science of Machine Learning for Games.Game Developer Conference 2019. https://www.gdcvault.com/play/1025653/The-Alchemy-and-Science-of Robust Solving of Optical Motion Capture Data by Denoising 
 https://www.youtube.com/watch?v=6pPJJLgfpu0 
 
 Ubisoft La Forge - SoundMatching, the results on Aya 
 https://www.youtube.com/watch?v=jKwMBvAs3_k 

  31. 57.

    Michael Booth. March 2009. "Replayable Cooperative Game Design: Left 4

    Dead." Game Developers Conference 2009.
 メタAI

  32. 58.

    • 背景
 – ゲーム全体をひきしめ流れを作る、統御するAIの必要
 • 事例
 – 80年代~:ゲームセルフコントロールシステム
 – 2007〜

    :ゲームに積極に干渉する、ユーザ体験を作り出す主体
 • 論点
 – 実装・設計の技術が積みあがっていない
 メタAI