CEDEC2019: ゲームと機械学習の最前線〜現状と未来を正しく捉えるために〜

ゲームと機械学習の最前線 
〜現状と未来を正しく捉えるために〜 

View Slide

• 企業や産学の枠を超えて連携できるQAに着目 
“次世代QAとAI”@CEDEC2018 
【CEDEC2018】次世代QAとAI
動画：https://www.youtube.com/watch?v=iCU2bVrdHLE
資料：https://www.slideshare.net/dena_genom/qaai-ai

View Slide

• AI研究は引き続き大きく進捗※ 
• ゲーム業界でも様々なAI活用事例が増加 
– 導入検証（PoC）→ 本番環境への導入＆事業貢献 
 
• 技術に対する加熱した期待は成熟しつつある 
– 開発・運用にどれくらいインパクトを与えるのか 
– AIを見据えた開発プロセス・体制の模索 
– 運用知見の情報公開とコミュニティ形成 
セッションの開催背景 
※本講演では、AIと機械学習は区別せずに用います（後述）  

View Slide

• なるべく多くの実用事例を俯瞰したい 
• AIがどの程度使えるのか現実的に議論したい 
• 今後の未来像について語りたい 
セッションのモチベーション 

View Slide

• ゲーム×AIの事例を多く知っていただく 
• 現実的な現場の目線や気付き、今後の活用のヒント 
Key Takeaways 

View Slide

パネリスト紹介 

View Slide

• 株式会社スクウェア・エニックス 
– テクノロジー推進部 
– リードAIリサーチャー 
• 過去に関わったタイトル 
– クロムハウンズ（Xbox360®）  
– デモンズソウル（PS3®）  
– アーマードコア5（Xbox360®/PS3®）  
– Final Fantasy XIV: A Realm Reborn  
– Final Fantasy XV  
三宅陽一郎 
『FINAL FANTASY XV の人工知能 - ゲームAIから見える未来 -』

View Slide

• 株式会社バンダイナムコスタジオ 
– プロジェクトスカイ技術課 
– リードAIエンジニア 
 
• ゲームタイトルにおけるAI開発 
• AI関連の先端技術のリサーチ、技術研究 
 
長谷洋平 
BLUE PROTOCOLの個性豊かなキャラクターを動かす意思決定システム 
日時：09月06日(金) 13:30 〜 14:30 会場：302
 

View Slide

• 株式会社ディー・エヌ・エー 
– AI本部AIシステム部 
– AI研究開発エンジニア 
奥村エルネスト純 
• ゲームAI・強化学習案件のマネジメント 
• 執筆、コミュニティ活動 
– 『データサイエンティスト養成読本ビジネス活用編』（技術評論社） 
– 強化学習アーキテクチャ勉強会、Data Analyst Meetup Tokyo、GameAI
Community 
@pacocat

View Slide

人間と同等かそれ以上に処理を行うためのテクノロジー
AIを実現するためのアプローチ
判断や予測を行う能力（モデル）を機械的に学習する
AIにまつわる用語の整理 
機械学習の一種
モデルに層の深いニューラルネットワークを利用
深層学習（ディープラーニング） 
機械学習 
AI（人工知能） 

View Slide

人間と同等かそれ以上に処理を行うためのテクノロジー
AIを実現するためのアプローチ
判断や予測を行う能力（モデル）を機械的に学習する
AIにまつわる用語の整理 
機械学習の一種
モデルに層の深いニューラルネットワークを利用
深層学習（ディープラーニング） 
機械学習 
AI（人工知能） 
「ゲームAI」は学術領域で使われている「AI」とは別の独自文脈を持っています。
本セッションでは、機械学習領域を想定して「
AI」という言葉を使います。

View Slide

AI（機械学習モデル）の推論 

View Slide

AI（機械学習モデル）の学習 
※ニューラルネットワークを使った「ネコとイヌの分類」の学習イメージ  

View Slide

強化学習 
環境 
例：ゲームのシミュレータ 
• 環境に対する試行錯誤とそのフィードバックからの自律的な学習 
• 必要なのは環境や報酬で、教師データは使わない 
ある状況で環境に対してある行動を取る  
報酬（例：ダメージ、勝敗）のフィードバックに従って、  
より好ましい行動を取るよう訓練されていく  

View Slide

AI活用の現在 

View Slide

1 意思決定 
2 QA・デバッグ 
3 異常検知 
4 コンテンツ生成 
5 アニメーション・音声 
6 メタAI 

View Slide

• 人間と同等かそれ以上に賢くゲーム内を行動できるエージェント 
– 不完全情報や長期戦略を扱うタスクでも成功事例が生まれている 
– 深層学習、強化学習、モンテカルロ木探索、ゲーム理論、… 
意思決定：背景 
※1: https://deepmind.com/blog/article/alphazero-shedding-new-light-grand-games-chess-shogi-and-go
※2: https://ai.facebook.com/blog/pluribus-first-ai-to-beat-pros-in-6-player-poker/
※3: https://deepmind.com/blog/article/alphastar-mastering-real-time-strategy-game-starcraft-ii
※4: https://openai.com/five/
AlphaZero※1 @ Chess/Shogi/Go  Pluribus※2 @Poker (No-limit Texas Hold’em)
  AlphaStar※3 @StarCraft II 
OpenAI Five※4 @Dota2 

View Slide

1. コンテンツとしての応用 
a. Human vs. AI / e-Sports（ゲーム外の指向） 
b. プレイヤー補助（ゲーム内の指向） 
2. QA文脈での応用※2 
a. エージェントの自動プレイによるテスト（正しく動作しているか） 
b. ゲームバランスの担保（おもしろく遊べるか） 
意思決定：事例の方向性※1 
※1: 便宜的に分類していますが、実際のユースケースとしてはこれらを組み合わせている場合が多いです
※2: QAについては次の項目でも詳述します

View Slide

a. Human vs. AI / e-Sports 
● StarCraft II(Blizzard)、Dota2(Valve)、
 
Blade & Soul(NCSOFT)※1、Arena of Valor(Tencent)※2、… 
意思決定：1. コンテンツ応用 
※1: Chung & Rho (2019),
Reinforcement Learning in Action: Creating Arena Battle AI for 'Blade & Soul',
Game Developers Conference 2019
深層強化学習を使ったエージェント。バトルスタイルの違いを報酬関数で表現。
https://www.gdcvault.com/play/1026406/Reinforcement-Learning-in-Action-Creating
※2: Wu, B. (2019). Hierarchical Macro Strategy Model for MOBA Game AI.
Proceedings of the AAAI Conference on Artificial Intelligence, 33(01), 1206-1213.
大局的な戦略とミクロな個別戦略を階層的に教師あり学習した事例。プロチームにも優位に勝利。
https://aaai.org/ojs/index.php/AAAI/article/view/3915

View Slide

b. プレイヤー補助（学習、共闘） 
● 将棋ウォーズ(HEROZ)※1、逆転オセロニア(DeNA)※2、 
サムライスピリッツ(SNK)※3、ZENONZARD(バンダイ)※4、… 
意思決定：1. コンテンツ応用 
※1: https://shogiwars.heroz.jp/
※2: Hammoudi, Okumura, and Tanaka. (2019). Applying AI in Games with DeNA. Game Developers Conference 2019.
https://www.slideshare.net/juneokumura/applying-ai-in-games-gdc2019
※3: 泊. (2019). ニューラルネットワークを用いた AIの格闘ゲームへの組み込み . Game Creators Conference 2019. https://bit.ly/gcc2019tomari
※4: https://www.aicarddass.com/zenonzard/
オセロニア道場：初心者から上級者まで、 
強さを選択できる練習コンテンツ 
サムライスピリッツ「道場モード」： 
特定のプレイヤー挙動を学習して対戦できる 

View Slide

a. エージェントの自動プレイによるテスト 
● 北斗が如く(SEGA)※1、Battlefield V(EA)※2、The Division(Ubisoft)※3、 
意思決定：2. 自動QA 
※1: 阪上. (2018). QAエンジニアってどんな仕事？
～ゲーム開発におけるテストの世界～ .
SEGA tech blo
http://techblog.sega.jp/entry/2018/08/27/100000
※2: Gillberg. (2019).
AI for Testing: The Development of Bots that Play 'Battlefield V'.
Game Developer Conference 2019.
https://www.gdcvault.com/play/1026308/AI-for-Testing-The-Development
※3: Paredes and Jones. (2019).
Automated Testing: Using AI Controlled Players to Test 'The Division'.
https://www.gdcvault.com/play/1026382/Automated-Testing-Using-AI-Controlled
北斗が如く：VRAM使用率の可視化 
コリジョン抜け検知 
BattlefieldV：自動テストによる 
クラッシュ検知など 
The Division：自動テストによる 
Stuck検知など 

View Slide

b. ゲームバランスの担保 
● Candy Crush Saga(King)※1、D2メガテン/コトダマン(SEGA)※2、… 
意思決定：2. 自動QA 
※1: Nodet (2019). Human-Like Playtesting with Deep Learning. Tech at King.
https://medium.com/techking/human-like-playtesting-with-deep-learning-92adafffe921
※2: 松田剛. (2018).
モバイルタイトルにおける横断的な機械学習によるレベルデザイン支援システムの構築と運用 .
CEDEC 2018.
https://cedec.cesa.or.jp/2018/session/detail/s5ab4926f6d350.htm
https://gamebiz.jp/?p=218707l
● 『Ｄ×２新・女神転生リベレーション』におけるクエスト難易度調整支援
 
● 『Ｄ×２新・女神転生リベレーション』におけるマップ設計支援
 
● 『コトダマン』におけるデッキ調整・報酬設定支援
 
Candy Crush Saga：教師あり学習で 
テスト工数が1週間→数分に 
遺伝的アルゴリズム、強化学習、ルールベース探索など、 
タイトルやケースに応じた技術の使い分けと運用 

View Slide

• アーキテクチャや特徴量設計は統一できるのか？ 
• エージェントはどの程度コントロールできるべき？ 
• QAはどのように行うべきか？ 
• 機械学習の活用に足りていないものはなにか？ 
意思決定：論点 

View Slide

1 意思決定 
3 異常検知 
6 メタAI 

View Slide

QA・デバッグ：背景 
• QA（Quality Assurance; 品質保証） 
– ゲームが仕様通り正しく動作しているかを保証するもの 
– デバッグとは区別されるもの 
• ゲーム開発の複雑化・大規模化 
– 品質管理の自動化が開発コスト面から急務に 
• 外のAI：会社や産学をまたいで連携できる可能性 

View Slide

Gillberg. (2019). AI for Testing: The Development of Bots that Play 'Battlefield V'. Game Developer Conference 2019.
QA・デバッグ：事例 

View Slide

Gillberg. (2019). AI for Testing: The Development of Bots that Play 'Battlefield V'. Game Developer Conference 2019.
ゲームエンジンのスクリプトを活用してオートプレイ  

View Slide

Paredes and Jones. (2019). Automated Testing: Using AI Controlled Players to Test 'The Division'. Game Developer Conference 2019.
https://www.gdcvault.com/play/1026382/Automated-Testing-Using-AI-Controlled

View Slide

Imitation Learning with Concurrent Actions in 3D Games (EA SEED):
https://www.ea.com/seed/news/seed-imitation-learning-concurrent-actions
Teaching AI-Agents to play Battlefield (EA SEED)
https://www.ea.com/news/teaching-ai-agents-battlefield-1
逆強化学習を用いた人間らしい自動プレイ  

View Slide

• 他にも多くの事例が登場している 
–
北斗が如く(SEGA)：コリジョン抜けの検知※1 
–
Sea of Thieves(Rare)：キャラクタービヘイビアの自動テスト※2 
–
ファークライ5他(UBI)：デバッギングシステムCLEVER※3 
–
Fate/Grand Order(DELiGHT WORKS)：自動リプレイ※4 
–
Shadowverse(Cygames)：デバッグ作業自動化※5 
–
… 
※1: 阪上. (2018). QAエンジニアってどんな仕事？～ゲーム開発におけるテストの世界～ . SEGA tech blog.
http://techblog.sega.jp/entry/2018/08/27/100000
※2: Masella, R. (2017). Automated Testing for Multiplayer Game-AI in sea of Thieves. Game AI North 17.
https://www.gameainorth.com/2017/#talk3
※3: Nayrolles & Hamou-Lhadj. (2018). CLEVER: Combining Code Metrics with Clone Detection for Just-In-Time Fault Prevention and Resolution in Large Industrial Projects.
the 15th international conference on Mining Software Repositories. https://montreal.ubisoft.com/en/ubisoft-la-forge-presents-the-commit-assistant/
※4: 瀧下. (2017). Fate/Grand Orderにおける自動リプレイを用いた QA改善への挑戦 . CEDEC 2017.
https://cedil.cesa.or.jp/cedil_sessions/view/1716
※5: 折田. (2017). ゲーム開発におけるデバッグ作業の自動化～ OpenCVの「眼」で捉え、 Pythonの「脳」が思考し、 Appiumの「指」で動かす . CEDEC 2016.
https://cedil.cesa.or.jp/cedil_sessions/view/1575

View Slide

• 面白さのQAはどのように担保できるのか？ 
• どこまでQAプロセスを機械化できるのか？ 
• 既存のゲームデザインプロセスへの影響は？ 
QA・デバッグ：論点 

View Slide

1 意思決定 
3 異常検知 
6 メタAI 

View Slide

• 対戦型ゲームにおけるチート対策事例が増加 
– チーターの存在がゲームUXを大きく毀損する課題 
• 2%のチーターによってDirty Gameが20%になることも※ 
– 目検では対応不可能なほど大規模化・高度化している課題 
• プロセスにおける自動化が急務 
• 大量のデータ蓄積、技術の進捗によるAI導入のしやすさ 
– バグ検知やデバッグでの活用が進んでいる 
異常検知：背景 
※: McDonald. (2018). Robocalypse Now: Using Deep Learning to Combat Cheating in 'Counter-Strike: Global Offensive'
https://www.gdcvault.com/play/1024994/Robocalypse-Now-Using-Deep-Learning

View Slide

• Sudden Attack(Nexon) におけるWallhack検知のプロセス構築※ 
– AIがチートを判断した根拠を注目度マップとして出力 
– BANにかかる時間を大幅に削減（24h→数分） 
– 能動学習による継続的な精度向上、転移学習による少数データでの学習 
異常検知：事例 
※: Hwang. (2019). Beating Wallhacks using Deep Learning with Limited Resources.
https://www.gdcvault.com/browse/gdc-19/play/1026331

View Slide

• Counter Strike他(Valeve) におけるチート検知※ 
– Aimbotを対象としたDNNベースの学習（VACnet） 
– Overwatchで学習したものを他のタイトルにも転用 
– 人間の報告よりも高い精度でチートを検知（15→80%） 
異常検知：事例 
※: McDonald. (2018). Robocalypse Now: Using Deep Learning to Combat Cheating in 'Counter-Strike: Global Offensive'
https://www.gdcvault.com/play/1024994/Robocalypse-Now-Using-Deep-Learning

View Slide

• その他の事例 
– インシデントの予測（King）※1 
– オートエンコーダーを使ったチート検知（Netmarble）※2 
– … 
異常検知 
※1: Gaming Giants Win Big Data Challenge With Anodot to Keep Millions of Players in the Game
https://www.anodot.com/news-item/anodot-leading-anomaly-detection-platform-for-gaming/
※2: Baek, Nakai, and Oh. (2019). Customer Case for Anomaly Detection in MMORPG. Google Cloud Next 2019.
https://www.youtube.com/watch?v=xrZ9BRK5WAg

View Slide

異常検知：論点 
• 目検での検知はなくならないか？ 
• 全て自前で開発する必要はあるのか？ゲーム毎の依存性は？ 
• どのようなプロセスを作ればよいのか？ 
• False Positiveへの対応は？ 

View Slide

1 意思決定 
3 異常検知 
6 メタAI 

View Slide

• 高解像度の自然画像生成、超解像、denoisingの研究が進捗 
– 本物と見紛う画像生成は可能になってきている 
– 人の全身のような複雑な構造生成は困難で、対象が限定される 
コンテンツ生成：背景 
※1: T. Karras, T. Aila, S. Laine, and J. Lehtinen. Progressive growing of GANs for improved quality, stability, and variation. CoRR, abs/1710.10196, 2017
※2: A. Brock, J. Donahue, and K. Simonyan. Large scale GAN training for high fidelity natural image synthesis . In Proc. ICLR, 2019.
ProgressiveGAN※1  BigGAN※2 

View Slide

• 構造を踏まえた生成の学習も進捗しつつある(3Dアニメ生成@DeNA) 
※: Hamada, Tachibana, Li, Honda, and Uchida. (2018). Full-body High-resolution Anime Generation with Progressive Structure-conditional Generative Adversarial Networks. In ECCV WS 2018.
Full-body anime generation at 1024x1024 with Progressive Structure- conditional GANs
https://youtu.be/bIi5gSITK0E 
Adding action to full-body anime characters with Progressive Structure-conditional GANs
https://youtu.be/0LQlfkvQ3Ok 

View Slide

• 指定された構造やラフからの生成 
Taesung, P., et al. (2019). Semantic image synthesis with spatially-adaptive normalization.
Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2019.
You, S., You, N., & Pan, M. (2019). PI-REC: Progressive Image Reconstruction Network With
Edge and Color Domain. arXiv preprint arXiv:1903.10146.

View Slide

• ライティング・スタイル変換（3D構造でも事例多数） 
• Mesh/Texture 生成 
He, M., Liao, J., Chen, D., Yuan, L., & Sander, P. V. (2019).
Progressive color transfer with dense semantic correspondences.
ACM Transactions on Graphics (TOG), 38(2), 13.
Saito, S., et al. (2019). PIFu: Pixel-Aligned Implicit Function for High-Resolution Clothed Human
Digitization. ICCV 2019.

View Slide

• 学術研究の進捗と共に、ゲーム業界でのニーズも高まっている 
• より複雑化・高解像になるゲームでのアセット生成が限界 
– 例：Assassin's Creed Odyssey(Ubisoft) 
• シネマティックカットが従来の数時間から30時間に増加 
• スマートにコンテンツを作る必要から20%を完全プロシージャル化 
※ Paradis, F. (2019). Procedural Generation of Cinematic Dialogues in 'Assassin's Creed Odyssey'. Game Developer Conference 2019.
https://www.gdcvault.com/play/1026381/Procedural-Generation-of-Cinematic-Dialogues

View Slide

コンテンツ生成：事例 
É, Guérin., et al. (2017). Interactive example-based terrain authoring with conditional generative adversarial networks. ACM Trans. Graph. 36, 6, Article 228 (November 2017), p13.
https://doi.org/10.1145/3130800.3130804
• ラフスケッチからの地形生成 

View Slide

Shintaro Takemura (2018). Optimize deep super-resolution and denoising for compressed textures. SIGGRAPH Asia 2018.
https://sa2018.conference-program.com/presentation/?id=pos_124&sess=sess221
• Super-Resolution, Denoising (バンダイナムコスタジオ) 

View Slide

Game Level Generation Using Neural Networks
https://www.gamasutra.com/blogs/SeungbackShin/20180227/315017/Game_Level_Generation_Using_Neural_Networks.php
• キャラクターの状態に応じたレベルの自動生成 
– Fantasy Raiders (Maverick Games) 

View Slide

• どの程度のコントロール余地が必要なのか？ 
• どのようにQAを行うのか？ 
• どこまで機械学習のニーズは出てくるか？ 
• レベルデザインを一部代替するような未来はあるのか？ 
コンテンツ生成：論点 

View Slide

1 意思決定 
3 異常検知 
6 メタAI 

View Slide

• モーションキャプチャなどを中心に、 
自然なオブジェクトの動きを作るためにAIが活用されはじめている 
• 音声の認識・合成技術の進展 
アニメーション・音声：背景 

View Slide

• モーションキャプチャのSolving高精度化（Ubisoft） 
• リップシンキング（Ubisoft） 
アニメーション・音声：事例 
※ Jacquier, Y. (2019). The Alchemy and Science of Machine Learning for Games.Game Developer Conference 2019.
https://www.gdcvault.com/play/1025653/The-Alchemy-and-Science-of
Robust Solving of Optical Motion Capture Data by Denoising  
https://www.youtube.com/watch?v=6pPJJLgfpu0  
 
Ubisoft La Forge - SoundMatching, the results on Aya  
https://www.youtube.com/watch?v=jKwMBvAs3_k  

View Slide

• アニメーション・音声技術を使ったユースケースは増えてくるか？ 
アニメーション・音声：論点 

View Slide

1 意思決定 
3 異常検知 
6 メタAI 

View Slide

Michael Booth. March 2009. "Replayable
Cooperative Game Design: Left 4 Dead."
Game Developers Conference 2009. 
メタAI 

View Slide

• 背景 
– ゲーム全体をひきしめ流れを作る、統御するAIの必要 
• 事例 
– 80年代～：ゲームセルフコントロールシステム 
– 2007〜：ゲームに積極に干渉する、ユーザ体験を作り出す主体 
• 論点 
– 実装・設計の技術が積みあがっていない 
メタAI 

View Slide

ゲームとAIの未来予想図 

View Slide

• ゲーム×AIの議論の場を育てたい 
コミュニティ紹介 
Slack: game-ai-ja
https://goo.gl/jqEgLf

View Slide

CEDEC2019: ゲームと機械学習の最前線〜現状と未来を正しく捉えるために〜

CEDEC2019: ゲームと機械学習の最前線〜現状と未来を正しく捉えるために〜

Jun Ernesto Okumura

More Decks by Jun Ernesto Okumura

Other Decks in Technology

Featured

Transcript

CEDEC2019: ゲームと機械学習の最前線 〜現状と未来を正しく捉えるために〜

CEDEC2019: ゲームと機械学習の最前線 〜現状と未来を正しく捉えるために〜

Jun Ernesto Okumura

More Decks by Jun Ernesto Okumura

Other Decks in Technology

Featured

Transcript

CEDEC2019: ゲームと機械学習の最前線〜現状と未来を正しく捉えるために〜

CEDEC2019: ゲームと機械学習の最前線〜現状と未来を正しく捉えるために〜