2019-09-04 CEDEC2019 組織的に Game x AI を推進していくための方法論〜『逆転オセロニア』の AI の一歩先へ〜

Slide 1

Slide 1 text

組織的に Game x AI を推進していくための方法論〜『逆転オセロニア』の AI の一歩先へ〜 2019/09/04 Ikki Tanaka, Data Scientist, DeNA, Takeshi Okada, ML Engineer, DeNA

Slide 2

Slide 2 text

No content

Slide 3

Slide 3 text

Yet another talk?

Slide 4

Slide 4 text

Next Othellonia...

Slide 5

Slide 5 text

Today’s Talk DeNA のゲームでの AI 開発はどこに向かっているのか? （講演者の視点から）

Slide 6

Slide 6 text

Takeaway (summary) ● 振り返り → Next Action → テーマの選定、着地、スケール ● AI 活用ができる組織をどう作るか? → 適切な役割分担と推進フロー → 現場と横断部署を繋ぐ機能 ● ゲームの作り方をどう変えたいか → AI の周辺システムの構築 → ゲームと AI の境界を意識した開発

Slide 7

Slide 7 text

Slide 8

Slide 8 text

田中一樹データサイエンティスト ❤　ゲーム AI 開発 ❤　レコメンド ❤　Kaggle Master keno (岡田健) ML エンジニア & AI 推進する人 ❤　ゲーム AI 開発 ❤　設計 & 実装 ❤　Kubernetes, Rust 教師あり学習や強化学習の高速化や , 並列分散学習, 効率的なゲーム AI の開発などに興味を持っています . Practical Developers, 一緒に書きました And lots of other contributors… 『逆転オセロニア』のゲームAI 開発の（ほぼ）全てを最近書きました強化学習の訳書なども書いたりしました

Slide 9

Slide 9 text

History

Slide 10

Slide 10 text

And then... ● Re-init ● まずは「プレイヤーエージェントを強くする」 ● Deploy & Release!! ● Chaos ● 「AI で何ができるのか?」 ● 可能性の発見 & 提示 ● Re-define Re-construct ● 「スケールさせる」 ● 組織的に注力 ● 応用ケース拡大 2016 ~ 2017 2017 ~ 2019 2019 ~ ※ オセロ・Othelloは登録商標です。TM&© Othello,Co. and MegaHouse © 2016 DeNA Co.,Ltd.

Slide 11

Slide 11 text

“AI 利用の模索”

Slide 12

Slide 12 text

AI によるゲームアプリ運用の課題解決へのアプローチ

Slide 13

Slide 13 text

● 課題 ○ ステージ設計の難易度調整工数が大きい ○ パラメタ設計 & 入力 ↔ テストプレイをループ ● ユースケース ○ 「強い AI」がテストプレイ ○ プレイ結果を可視化、プランナーに提供 ● 手段 ○ ニューラルネット、遺伝的アルゴリズム ○ MCTS、強化学習 http://cedil.cesa.or.jp/cedil_sessions/view/1511 https://www.slideshare.net/dena_tech/gameai-denatechcon

Slide 14

Slide 14 text

● 「強い AI」は作れる!! ● 価値を明確にしてコミット ○ タイトルメンバーとの関係をより深く築く ○ 事業責任者とも投資価値を握り合う ○ 外部事例サーベイにより知見蓄積 ● ゲームの中へアプローチ ○ 外から AI を作るだけでは理想の学習を回せない ○ シミュレータ開発まで踏み込む ● 学習できた & 可視化もできた ● 導入までは至らず ○ タイトルの他施策との兼ね合いで導入見送り ○ 工数削減のための工数が取れない... ○ PDCA ループ回せず ● シミュレータが遅い ○ View 分離は元々の設計により簡単だったが... ○ JavaScript なので fork ができなかったり ○ 強化学習、MCTS の深く踏み込めず学んだこと振り返り

Slide 15

Slide 15 text

Good point ● 「テーマ」を発掘したこと DeNA はこの 2016 年の発想から AI のもつ高い可能性を見つけゲームで取り組むきっかけになった

Slide 16

Slide 16 text

No content

Slide 17

Slide 17 text

● 「負けてる時ほど面白い！クセになる大逆転の爽快感！」 ● リリースから 3 年 6 ヶ月 ● 国内累計 2,500 万ダウンロード突破 (2019 年 8 月時点)

Slide 18

Slide 18 text

● 課題 ○ 手強い AI と戦い気軽に練習できる場がない ■ PvE → PvP 環境に ○ 様々な相手に応じた戦い方を覚えるのが大変 ■ アーキタイプの特性を学ぶ場がない ■ 「プレイングスキル」「デッキの強さ」の両軸でコンテンツに幅出ししたい ● ユースケース ○ 「強い AI」と自由に対戦できるコンテンツ ● 技術 ○ ディープラーニング（教師あり学習） ■ プレイヤーの対戦ログから AI を作成

Slide 19

Slide 19 text

● 課題 ○ 始めたばかりのプレイヤーはデッキの組み方が多種多様で迷ってしまう ● ユースケース ○ プレイヤーの所持駒をベースに AI がデッキ構築・提案 ■ 「属性」や「使いたい駒」を指定可能 ● 技術 ○ アソシエーション分析 × レコメンド技術 × ドメイン知識 ■ 「駒同士の関係性」を毎日自動で抽出し利用

Slide 20

Slide 20 text

● AI はゲームに新たな価値をもたらす ○ リリース後のポジティブな結果 ● 組織としてスケールさせる重要性 ○ Bottom Up & Top Down の側面から ○ → Next ● あるべき「シミュレータ」像 ○ → Next ● リリース & 運用中!! ○ AI のポテンシャル、を実証 ○ プレイヤーからも高評価 ● プロダクト落とし込みに苦戦 ○ 課題、ユースケース、技術の結びつけ ○ AI に対する投資価値の明確化 ● ゲームと AI の接続部分 ○ ゲームを改造してシミュレーターは作れた ○ それでも不十分なポイントが出てきた ○ 特徴量抽出器まわりも技術的負債学んだこと振り返り

Slide 21

Slide 21 text

Good points ● 課題解決する AI を作りきり「リリースできた」こと ● プレイヤーからの「フィードバック」を得られたこと

Slide 22

Slide 22 text

And then...

Slide 23

Slide 23 text

振り返ってみて何が足らないのか？ ↓ どうすればもっと上手くAIを “使いこなせる”か？ ● これからは AI をスケールさせることも重要 → Bottom Up（探索）と Top Down（スケール） ● Bottom Up（探索） → 今までのやり方をさらに洗練 → 隠れている実課題を発掘 ● Top Down（スケール） → AI 推進部という組織を作り体制強化 → AI のスケールに必要な材料の整理・作成

Slide 24

Slide 24 text

No content

Slide 25

Slide 25 text

0 → 1 Bottom Up 1 → 10 Top Down

Slide 26

Slide 26 text

Bottom Up Top Down 0 → 1 1 → 10 探索スケール未知のユースケース既知のユースケース Do what we currently we don’t know Do what (probably) we can Expand（拡大） Profit（確実な成果）思いつきのアジリティ計画的なアジリティそれぞれ AI を活用する上では大切な要素目的を明確に区別し、組織的に AI 活用を推進・加速

Slide 27

Slide 27 text

Bottom Up “AI でできることの探索”

Slide 28

Slide 28 text

うーん、ゲーム開発のここ改善したいですよね〜あ〜、こうやって解けばできそうな気がします！（そんな課題あるんだ ...）プランナーゲームエンジニアゲームアナリストマーケター ... AIエンジニアデータサイエンティスト AIリサーチャー MLアナリスト ... いいですね！やりましょう！（できないと思ってた ...）ゲームプレイしてたら AI でこういうことできそう〜 ② AI チーム発 ① タイトル発

Slide 29

Slide 29 text

目的 Bottom Up ● ゲーム領域で目の前にある事業課題をデータ・AI の力で解決 ● サービス・データに触れているメンバーが双方向で協力 ○ アナリスト（分析部、タイトル） ○ プランナー（タイトル） ○ データサイエンティスト（AI 組織） ○ AIリサーチャー（AI 組織） ○ エンジニア（インフラ、タイトル） ○ and more...

Slide 30

Slide 30 text

大切にしていること Bottom Up ★ 広範なゲーム関連事業の中で模索 ★ 横展開可能な技術・応用を意識 ★ 新たな技術の習得、発掘 ★ 潰れる取り組みも一定許容 ★ 部署を横断した繋がりの強化

Slide 31

Slide 31 text

推進フロー適切な役割分担案件推進者 ✓ 案件の推進を担当 ■ 事業担当者、プランナーなど ✓ 問題設定から導入まで一貫して推進 ✓ 効果測定、振り返りビジネス ✓ 実課題を抱えているメンバーが担当 ■ プロデューサー、プランナーなど ✓ 案件推進のサポート ✓ ソリューションを実際に利用 ✓ 具体的な業務フローの整理 ✓ ドメイン知識の共有 AI/分析 ✓ 分析やAI開発を行うメンバーが担当 ■ アナリスト、データサイエンティスト、リサーチャー ✓ データ整備 ✓ 技術的な課題設定 ✓ モデル構築エンジニア ✓ AIのシステム設計開発、運用保守を担当 ■ データ/インフラエンジニアなど ✓ AIモデル導入（w/ AI/分析） ✓ アプリケーションの提供（ w/ ビジネス）課題探索案件立ち上げ Feasibility 検証 (PoC) ビジネス適用成果の定着成果の発信成果の拡大 ✔ 取り組むのが妥当な課題の探索 ✔ 多数の関係者の巻き込み ✔ 問題設定、成果イメージ ✔ AIの問題への落とし込み ✔ 果たして解ける問題なのか？を判断 ✔ 具体的な課題設定、データ収集 ✔ AIモデル構築（プロトタイプ） ✔ 性能評価、結果のすり合わせ ✔ AIモデルの作り込み（本番用） ✔ システム構築、（試験）導入 ✔ 効果測定、振り返り ✔ 利用者からAI作成者、案件推進者への ✔ 定期的なフィードバック ✔ 教育、育成（AIリテラシー向上） ✔ 外部登壇、記事執筆の積極支援 ✔ 案件立ち上げ時にも考慮できたらベスト ✔ 成果物の横展開 ✔ 成果物を元に再び課題探索

Slide 32

Slide 32 text

案件推進者 ✓ 案件の推進を担当 ■ 事業担当者、プランナーなど ✓ 問題設定から導入まで一貫して推進 ✓ 効果測定、振り返りビジネス ✓ 実課題を抱えているメンバーが担当 ○ プロデューサー、プランナーなど ✓ 案件推進のサポート ✓ ソリューションを実際に利用 ✓ 具体的な業務フローの整理 ✓ ドメイン知識の共有 AI/分析 ✓ 分析やAI開発を行うメンバーが担当 ○ アナリスト、データサイエンティスト、リサーチャー ✓ データ整備 ✓ 技術的な課題設定 ✓ モデル構築エンジニア ✓ AIのシステム設計開発、運用保守を担当 ■ データ/インフラエンジニアなど ✓ AIモデル導入（w/ AI/分析） ✓ アプリケーションの提供（ w/ ビジネス）課題探索案件立ち上げ Feasibility 検証 (PoC) ビジネス適用成果の定着成果の発信成果の拡大 ✔ 取り組むのが妥当な課題の探索 ✔ 多数の関係者の巻き込み ✔ 問題設定、成果イメージ ✔ AIの問題への落とし込み ✔ 果たして解ける問題なのか？を判断 ✔ 具体的な課題設定、データ収集 ✔ AIモデル構築（プロトタイプ） ✔ 性能評価、結果のすり合わせ ✔ AIモデルの作り込み（本番用） ✔ システム構築、（試験）導入 ✔ 効果測定、振り返り ✔ 利用者からAI作成者、案件推進者への ✔ 定期的なフィードバック ✔ 教育、育成（AIリテラシー向上） ✔ 外部登壇、記事執筆の積極支援 ✔ 案件立ち上げ時にも考慮できたらベスト ✔ 成果物の横展開 ✔ 成果物を元に再び課題探索簡単ではない AI 開発を持続可能な状態に推進フロー適切な役割分担

Slide 33

Slide 33 text

得られた価値 Bottom Up ● 今まで見えなかった課題を幅広く発見 ○ ゲームの様々な業務フローに入り込む ○ 双方向の連携（タイトル ↔ AI 組織） ● 組織レベルで AI リテラシーが向上 ○ 技術蓄積、教育 ○ AI でできること・できないことの共通認識 ○ 現場レベルでの AI の浸透 ● AI 導入プロセスの確立、スムーズな導入 ○ 共通の推進フローを整備 ○ 相談から実施可否を高速に判断 ○ 案件の適切な継続可否判断

Slide 34

Slide 34 text

『逆転オセロニア』における、機械学習モデルを用いたデッキのアーキタイプ抽出とゲーム運用への活用 09月05日(木) 16:30 〜 17:30 会場 302 ● 現在多くのゲームで挑戦中です！ ● 業界全体で知見を共有していきたい ● Next time... DeNA TechCon 2018 https://www.slideshare.net/dena_tech/ss-87960853 MLアナリストプランナー Bottom Up から生まれた事例

Slide 35

Slide 35 text

Top Down 計画的に AI を推進 ● Bottom Up（探索）とは対照的に、 ● 事業インパクトが出せそうな領域で ● 計画的に AI 活用をスケールさせる

Slide 36

Slide 36 text

組織的な動き

Slide 37

Slide 37 text

過去タイトル専門家 AI 推進チーム

Slide 38

Slide 38 text

過去タイトル専門家 AI 推進チームユースケースの pool ● 社内の過去実績の蓄積, 汎化 ● 社外の事例の収集, 蓄積

Slide 39

Slide 39 text

過去タイトル専門家 AI 推進チームユースケースの pool ● 社内の過去実績の蓄積, 汎化 ● 社外の事例の収集, 蓄積 pool しているものとのマッチング ● → 課題の吸い上げ ● ↔ ユースケースの明確化, 選択, 方向付け ● ← 技術, 手段の紹介 ● ← feasibility, コストなど, 施策の判断材料の提供 ● → インパクトの評価

Slide 40

Slide 40 text

過去タイトル専門家 AI 推進チームユースケースの pool ● 社内の過去実績の蓄積, 汎化 ● 社外の事例の収集, 蓄積 pool しているものとのマッチング ● → 課題の吸い上げ ● ↔ ユースケースの明確化, 選択, 方向付け ● ← 技術, 手段の紹介 ● ← feasibility, コストなど, 施策の判断材料の提供 ● → インパクトの評価要素の提供 ● 技術 (e.g., AI 技術) ● リソース (e.g., 人) ● 実装実行力の pool ● 橋渡しをするためのコミュニケーション能力 ● クライアント, サーバー, AI の多分野に渡る知識, 実装力

Slide 41

Slide 41 text

過去タイトル専門家 AI 推進チームここがなかった外の事例の収集, 蓄積内の分析, 考察現場と横断部署の有機的な連携問題と解法をつないで価値を出す社内に既にある有名 IP, グローバルタイトルなどの規模の大きさそれに伴う色々な課題 AI の専門家ゲーム基盤の専門家テストや自動化の専門家 etc

Slide 42

Slide 42 text

ゲームと機械学習の最前線　〜現状と未来を正しく捉えるために〜 09月06日 (金) 11:20 〜 12:20 会場メインホール ● 過去事例を踏まえ, これからのゲーム業界での機械学習利用がどうなっていくのかについてパネルディスカッション Top Down なアクションの一例

Slide 43

Slide 43 text

“Simulator”

Slide 44

Slide 44 text

Why “simulator”? ● AI 絡めた取り組みで最初に必要なのは, 課題とユースケースの設定 ○ 何を解決したいのか ○ どういうストーリーでそれを解決するのか ● シミュレータは手段, 技術 ○ 但し, 広く使える ○ なので, ここで取り上げてみる

Slide 45

Slide 45 text

What’s “simulator”? ● よく言われること ○ 「初期段階からシミュレータをちゃんと作っておくのは重要」 ○ 「ビューとロジックを分離したゲーム作りにしておく」 ○ このへんはもう当たり前 ● あまり言われないこと ○ ゲーム本体とAI の境界の設計 ○ やりたいことに対する要件定義 D. Sculley, et al. Hidden technical debt in machine learning systems, NIPS, 2015

Slide 46

Slide 46 text

“Simulator” = 境界

Slide 47

Slide 47 text

● 課題 ○ 手強い AI と戦い気軽に練習できる場がない ■ PvE → PvP 環境に ○ 様々な相手に応じた戦い方を覚えるのが大変 ■ アーキタイプの特性を学ぶ場がない ■ 「プレイングスキル」「デッキの強さ」の両軸でコンテンツに幅出ししたい ● ユースケース ○ 「強い AI」と自由に対戦できる環境を作る ● 技術 ○ ディープラーニング（教師あり学習） ■ プレイヤーの対戦ログから AI を作成

Slide 48

Slide 48 text

設定オセロニアをもう一度 ● ユースケース ○ 「強い AI」と自由に対戦できる環境を作る ● 具体的には ○ プレイヤーさんの対戦ログを教師データとして, 教師あり学習で Tier 1 の強さの AI を作る ○ キャラクターやスキルの追加などのアップデート後, データが集まりさえすれば AI が常に up to date にできるようにする「境界」には何が必要?

Slide 49

Slide 49 text

内部構造作業フロー

Slide 50

Slide 50 text

training serving serving training 棋譜 AI モデルによる推論 Cloud Machine Learning 特徴量抽出 API App Engine 打ち手の価値打ち手の価値 AI PvE マッチ PvP マッチ Training AI model BigQuery Preprocessing Compute Engine Training Compute Engine Cloud Storage 棋譜 AI model 特徴量 Cloud Storage AI model 棋譜推論 API Kubernetes Engine 特徴量棋譜『オセロニア道場』のシステムアーキテクチャ

Slide 51

Slide 51 text

Slide 52

Slide 52 text

52 棋譜特徴量 BattleEmulator FeatureExtractor 実際のゲームのバトルロジックを簡略化したもの各ターンに何が起こったか特徴量抽出

Slide 53

Slide 53 text

課題こうしておけばよかった ● 既存の棋譜ログを流用した ○ → AI 用にあるべき棋譜ログの設計をしておきたかった ● バトルロジックの二重管理 ○ ゲームやシミュレータ(Unity, C#)と特徴量抽出器(Python) ○ キャラクター, スキルの追加に対して追加の実装が必要 ○ → AI 踏まえたバトルロジックの設計をしておきたかった

Slide 54

Slide 54 text

Slide 55

Slide 55 text

55 棋譜特徴量 BattleEmulator FeatureExtractor 実際のゲームのバトルロジックを簡略化したもの各ターンに何が起こったか特徴量抽出棋譜に従ってビューなしでバトルをリプレイ & 特徴量抽出形式はなんでもよい (バイナリでも) ターン制のゲームならアクションを protobuf などで serializable にしておいて保存したり通信したりゲームと同じ言語で特徴量抽出までやってしまう + 必要であれば薄い wrapper

Slide 56

Slide 56 text

『バトルロジック』は入力を出力に変換する機械 game simulator 棋譜ログ描画ロジック特徴量抽出器バトルロジック内部状態ダメージ計算機 NCP AI etc 入力コマンド描画コマンド or observe state 記録

Slide 57

Slide 57 text

入力が同じなら内部状態や後段の出力も同じになる game simulator 棋譜ログ描画ロジック特徴量抽出器バトルロジック内部状態ダメージ計算機 NCP AI etc 入力コマンド observe state Random seed も記録 Replay!!

Slide 58