スマホゲームにおけるAI活用プロジェクトの攻略本【DeNA TechCon 2021】/techcon2021-9

Slide 1

Slide 1 text

Takuma Yoshimura, Akira Tanaka

Slide 2

Slide 2 text

AIプロジェクトをやりきってきた経験ノウハウ抽出攻略本！

Slide 3

Slide 3 text

● 登壇者紹介 ● 背景 ○ 『逆転オセロニア』について ○ 『逆転オセロニア』におけるAI関連の取り組みについて ● 本編 1. 根源的ニーズと適切な打ち手 2. 大きな夢とスモールスタート 3. 不確実性の把握と対処 4. 保守や運用を見据えたシステム開発 5. ノウハウ蓄積と基盤整備、波及活動 ● 総括

Slide 4

Slide 4 text

● ● 背景 ○ 『逆転オセロニア』について ○ 『逆転オセロニア』におけるAI関連の取り組みについて ● 本編 1. 根源的ニーズと適切な打ち手 2. 大きな夢とスモールスタート 3. 不確実性の把握と対処 4. 保守や運用を見据えたシステム開発 5. ノウハウ蓄積と基盤整備、波及活動 ● 総括

Slide 5

Slide 5 text

● 2020年中途入社 ● 前職までは人材系の事業会社に所属し、オンプレ環境からクラウドサービスまで幅広い環境で、サービス開発、構築運用やAI機能開発を経験 ● DeNA ではゲームへの AI 施策の導入を推進する横断チームに所属し、複数タイトル案件で主にクラウド環境構築やサーバ実装を担当 ● 2013年度新卒入社 ● 複数のゲームタイトルの運用にエンジニアやPMとして従事 ● 『逆転オセロニア』でAIプロジェクトにゲーム運営チームのPMとして参画 ● 2019年6月よりゲームへの AI 施策の導入を推進する横断チームに所属し、主に『逆転オセロニア』関連のプロジェクトを担当吉村拓真田中晶

Slide 6

Slide 6 text

● 登壇者紹介 ● ○ 『逆転オセロニア』について ○ 『逆転オセロニア』におけるAI関連の取り組みについて ● 本編 1. 根源的ニーズと適切な打ち手 2. 大きな夢とスモールスタート 3. 不確実性の把握と対処 4. 保守や運用を見据えたシステム開発 5. ノウハウ蓄積と基盤整備、波及活動 ● 総括

Slide 7

Slide 7 text

No content

Slide 8

Slide 8 text

1. オススメ編成(Released) ○ ゲーム内コンテンツ ○ 実践的なデッキをAIが自動構築 ○ Apriori アルゴリズムによるアソシエーション分析 2. オセロニア道場(Released) ○ ゲーム内コンテンツ ○ プレイヤーの打ち方を学習した強力な AI と対戦 ○ プレイヤーの行動ログを教師データにした教師あり学習 3. キャラクター設計支援ツール(On going) ○ 開発支援ツール ○ 新規キャラクターの設計を AI がサポート ○ 教師あり学習と強化学習の併用 2020/07の画像のため、現在は内容が異なる場合がございます。

Slide 9

Slide 9 text

○ ○ ○ 2. オセロニア道場(Released) ○ ゲーム内コンテンツ ○ プレイヤーの打ち方を学習した強力な AI と対戦 ○ プレイヤーの行動ログを教師データにした教師あり学習 3. キャラクター設計支援ツール(On going) ○ 開発支援ツール ○ 新規キャラクターの設計を AI がサポート ○ 教師あり学習と強化学習の併用 2020/07の画像のため、現在は内容が異なる場合がございます。

Slide 10

Slide 10 text

1. オススメ編成(Released) ○ ゲーム内コンテンツ ○ 実践的なデッキをAIが自動構築 ○ Apriori アルゴリズムによるアソシエーション分析 ○ ○ ○ 3. キャラクター設計支援ツール(On going) ○ 開発支援ツール ○ 新規キャラクターの設計を AI がサポート ○ 教師あり学習と強化学習の併用 2020/07の画像のため、現在は内容が異なる場合がございます。

Slide 11

Slide 11 text

1. オススメ編成(Released) ○ ゲーム内コンテンツ ○ 実践的なデッキをAIが自動構築 ○ Apriori アルゴリズムによるアソシエーション分析 2. オセロニア道場(Released) ○ ゲーム内コンテンツ ○ プレイヤーの打ち方を学習した強力な AI と対戦 ○ プレイヤーの行動ログを教師データにした教師あり学習 ○ ○ ○ 2020/07の画像のため、現在は内容が異なる場合がございます。

Slide 12

Slide 12 text

● 登壇者紹介 ● 背景 ○ 『逆転オセロニア』について ○ 『逆転オセロニア』におけるAI関連の取り組みについて ● 1. 根源的ニーズと適切な打ち手 2. 大きな夢とスモールスタート 3. 不確実性の把握と対処 4. 保守や運用を見据えたシステム開発 5. ノウハウ蓄積と基盤整備、波及活動 ● 総括

Slide 13

Slide 13 text

● 登壇者紹介 ● 背景 ○ 『逆転オセロニア』について ○ 『逆転オセロニア』におけるAI関連の取り組みについて ● 2. 大きな夢とスモールスタート 3. 不確実性の把握と対処 4. 保守や運用を見据えたシステム開発 5. ノウハウ蓄積と基盤整備、波及活動 ● 総括

Slide 14

Slide 14 text

AIプロジェクトを立ち上げる時 ● ゲーム運営現場の根源的ニーズを捉えよう！ ● ニーズに応える適切な打ち手を選択しよう！

Slide 15

Slide 15 text

AIプロジェクト立ち上げに際し、やることを模索しているときという風に提案してもらえることがよくある運営チーム AIで◯◯したい AIチーム

Slide 16

Slide 16 text

AIプロジェクト立ち上げに際し、やることを模索しているときという風に提案してもらえることがよくある運営チーム AIで◯◯したい AIチーム

Slide 17

Slide 17 text

● 「AIで◯◯する」を実現したはいいが…？ ● そもそも「AIで◯◯する」ことが現実的でない場合…？運営チーム AIで◯◯したいゲーム運営チームの期待通りの効果が得られない場合も他のアプローチを模索することができない AIチーム

Slide 18

Slide 18 text

運営チーム AIで◯◯したい Why? 根源的ニーズ AIチーム相互理解

Slide 19

Slide 19 text

● 要望されたプロダクトを実現することでゲーム運営チームの期待通りの効果が得られるか否かを検討できる ● 要望されたプロダクト自体を作ることが困難な場合でも視点を転換し根源的ニーズを満たす別の手段を提案できる根源的ニーズを捉えられていると

Slide 20

Slide 20 text

運営チーム新キャラクターの想定強度(10段階評価)を入力すると AIが調整案を提示してくれるツールがほしい AIチーム ● 既存キャラクターの強度評価が定性的・流動的 ● AIの提案をそのまま信じるのはAIの品質に過剰に依存し危険最初は…

Slide 21

Slide 21 text

運営チーム新キャラクターの調整案を入力するとAIが強度(10段階評価)を推定してくれるツールがほしい AIチーム ● 既存キャラクターの強度評価が定性的・流動的 ● AIの提案をそのまま信じるのはAIの品質に過剰に依存し危険じゃあ…

Slide 22

Slide 22 text

運営チーム AIチーム …

Slide 23

Slide 23 text

運営チーム AIチーム ● 想定と異なる強度のキャラクターをリリースしたくない ● キャラクター設計業務の属人性を排除したい ● 属人性排除の結果人員の流動性が高まることにも期待しているどうしてそういうツールがほしいの？これらの実現こそがゲーム運営現場の根源的ニーズ

Slide 24

Slide 24 text

根源的ニーズ ● 想定外の強度のキャラクターをリリースしたくない ● キャラクター設計業務の属人性を排除したい(人員の流動性もUP) 制約 ● 既存キャラクターとの直接的な強度比較は困難 ● AIの提案をそのまま信じるのはAIの品質に過剰に依存し危険現在のキャラクター設計支援ツールの着想引用: CEDEC2020 『逆転オセロニア』におけるバンディットアルゴリズムおよび強化学習を用いた対戦環境のバランス設計支援

Slide 25

Slide 25 text

● まずは立ち止まってゲーム運営現場の「根源的ニーズ」を探る ● 「根源的ニーズ」とAIによる「打ち手」を適切にマッチさせる運営チーム AIチーム相互理解

Slide 26

Slide 26 text

● 登壇者紹介 ● 背景 ○ 『逆転オセロニア』について ○ 『逆転オセロニア』におけるAI関連の取り組みについて ● 1. 根源的ニーズと適切な打ち手 3. 不確実性の把握と対処 4. 保守や運用を見据えたシステム開発 5. ノウハウ蓄積と基盤整備、波及活動 ● 総括

Slide 27

Slide 27 text

運営チーム AIチーム今ココゴール AIプロジェクトは長大になりがち ● 不確定要素が大きい ● R&Dを伴う場合がある ● スマホゲーム運営のスピード感にそぐわない ● プロジェクトが頓挫した際の不利益が大きい

Slide 28

Slide 28 text

今ココゴール中間目標中間目標中間目標運営チーム AIチーム最終目標へ至る過程に中間目標を設けられるようなロードマップを設定する ● スピード感を持って実益を享受できる ● プロジェクトが頓挫した際の不利益を軽減できる ● 中間成果物を他のプロジェクトに転用できる可能性がある

Slide 29

Slide 29 text

キャラクター設計支援ツールを作りたい！スタートキャラクター設計支援ツール

Slide 30

Slide 30 text

キャラクター設計支援ツールを作りたい！スタートキャラクター設計支援ツール対戦AIエージェント AI対戦コンテンツ

Slide 31

Slide 31 text

キャラクター設計支援ツールを作りたい！スタートキャラクター設計支援ツール対戦AIエージェントシミュレータ AI対戦コンテンツ自動QA (品質保証)

Slide 32

Slide 32 text

キャラクター設計支援ツールを作りたい！スタートキャラクター設計支援ツール対戦AIエージェントシミュレータ AI対戦コンテンツ自動QA (品質保証)

Slide 33

Slide 33 text

● AIプロジェクトは長大になりやすい ○ ゲーム運営現場への貢献の遅れ ○ プロジェクトの頓挫による大きな徒労 ● 中間目標を辿れるロードマップを！ ● スモールスタートで素早い貢献！ ● 大きな空振りを防ぎつつ最終目標へリーチ！

Slide 34

Slide 34 text

● 登壇者紹介 ● 背景 ○ 『逆転オセロニア』について ○ 『逆転オセロニア』におけるAI関連の取り組みについて ● 1. 根源的ニーズと適切な打ち手 2. 大きな夢とスモールスタート 4. 保守や運用を見据えたシステム開発 5. ノウハウ蓄積と基盤整備、波及活動 ● 総括

Slide 35

Slide 35 text

AIは不確実性を孕む！ AIの不確実性はAIプロジェクトの不確実性を誘発する！種々の不確実性を予め理解し備えておくことで AIプロジェクトを柔軟に推進できるようにしよう！

Slide 36

Slide 36 text

Quality  品質  Cost  費用  Delivery  納期 

Slide 37

Slide 37 text

Cost  費用  Delivery  納期  Quality  AIの品質 

Slide 38

Slide 38 text

Quality  AIの品質  Cost  費用  Delivery  納期 

Slide 39

Slide 39 text

Quality  AIの品質  Delivery  納期  Cost  費用 

Slide 40

Slide 40 text

リリース時期 2019年3月概要プレイヤーの打ち方から学習し様々なデッキを使いこなす強力なAIと戦うゲーム内コンテンツ狙い初心者プレイヤーの育成 2020/07の画像のため、現在は内容が異なる場合がございます。

Slide 41

Slide 41 text

対戦AIは強さが生命線オセロニア道場はAIとの戦いの中でプレイヤーが成長するためのコンテンツ AIの強さが約束されていなくては意味がない運営チーム AIチーム AIの強さが不十分なままオセロニア道場をリリースするわけにはいかないね！品質十分と言えるレベルまでAIを強くするよ！

Slide 42

Slide 42 text

強さの要求水準が定量化されていない AIの強さに対する評価が戦った感想(定性)しかなく、ゴールが不明瞭であった運営チーム AIチーム概ね強いと評して良いんだけど完璧かと問われると… どこまでAIを強くすれば合格をもらえるのかわからない…

Slide 43

Slide 43 text

強さが不十分である場合のバックアッププランがない AIがオセロニア道場をリリースするに足らない品質だった場合に何らかの別プロダクトのリリースにシフトする用意がなかった運営チーム AIチーム別のプロダクト案と言われても急には… 合格をもらえなければアウトプットが一切出ないことに…

Slide 44

Slide 44 text

リリース時期だけははっきり決まっている AIの品質向上を無限に待ち続けることはできない運営チーム AIチーム満足な定性的評価を下せるまで AIとひたすら対戦し続けるしかない…！！リリースまでに合格をもらう以外に道がない…！！

Slide 45

Slide 45 text

Quality  AIの品質  Delivery  納期  Cost  費用 

Slide 46

Slide 46 text

● AIの品質の効率的・定量的な測定方法を用意する ○ 旧バージョンのAIモデルと数値化された品質を比較するなど ● AIの品質に合わせた段階的なプロダクト案を用意する ○ 立て付けや見せ方を工夫するだけで良い場合も ● 松竹梅の開発スケジュール案を用意する ● 工数や予算の計画にバッファを持たせておく ○ プロジェクト毎でなく複数プロジェクト横断的にバッファを設けられると効率的

Slide 47

Slide 47 text

● ○ ● AIの品質に合わせた段階的なプロダクト案を用意する ○ 立て付けや見せ方を工夫するだけで良い場合も ● 松竹梅の開発スケジュール案を用意する ● 工数や予算の計画にバッファを持たせておく ○ プロジェクト毎でなく複数プロジェクト横断的にバッファを設けられると効率的

Slide 48

Slide 48 text

● AIの品質の効率的・定量的な測定方法を用意する ○ 旧バージョンのAIモデルと数値化された品質を比較するなど ● ○ ● 松竹梅の開発スケジュール案を用意する ● 工数や予算の計画にバッファを持たせておく ○ プロジェクト毎でなく複数プロジェクト横断的にバッファを設けられると効率的

Slide 49

Slide 49 text

● AIの品質の効率的・定量的な測定方法を用意する ○ 旧バージョンのAIモデルと数値化された品質を比較するなど ● AIの品質に合わせた段階的なプロダクト案を用意する ○ 立て付けや見せ方を工夫するだけで良い場合も ● ● 工数や予算の計画にバッファを持たせておく ○ プロジェクト毎でなく複数プロジェクト横断的にバッファを設けられると効率的

Slide 50

Slide 50 text

● AIの品質の効率的・定量的な測定方法を用意する ○ 旧バージョンのAIモデルと数値化された品質を比較するなど ● AIの品質に合わせた段階的なプロダクト案を用意する ○ 立て付けや見せ方を工夫するだけで良い場合も ● 松竹梅の開発スケジュール案を用意する ● ○

Slide 51

Slide 51 text

Slide 52

Slide 52 text

● AIの不確実性はAIプロジェクト全体に波及する ● 予め理解し備えることでAIプロジェクトを柔軟に推進できるように！ Quality  Delivery  Cost 

Slide 53

Slide 53 text

● 登壇者紹介 ● 背景 ○ 『逆転オセロニア』について ○ 『逆転オセロニア』におけるAI関連の取り組みについて ● 1. 根源的ニーズと適切な打ち手 2. 大きな夢とスモールスタート 3. 不確実性の把握と対処 5. ノウハウ蓄積と基盤整備、波及活動 ● 総括

Slide 54

Slide 54 text

業務活用できそうです。運用はどうなりますか？いままで通り数ヶ月毎にモデル更新しますシステム開発しました。使ってみてください実際の業務で使う場合、数ヶ月毎の更新頻度でのモデルでは、課題を解決できないです

Slide 55

Slide 55 text

問題: 開発したが、実運用に耐えないものになってしまった解決策:

Slide 56

Slide 56 text

なぜ保守や運用を見据えた計画的なシステム開発が必要なのか？

Slide 57

Slide 57 text

環境・人間・技術が、時間とともに変化する技術環境人間

Slide 58

Slide 58 text

● 『逆転オセロニア』でのキャラクター設計支援試験運用で、より高頻度に対戦AIを更新する必要があることが判明した想定よりも新しいゲーム環境データで高頻度にモデル更新していないと、業務活用するには精度上の問題があった対戦AIは、ゲーム内では常に最新でなくても仕組み上問題なかったが、 AIツールでは、最新ゲーム環境の対戦AIで精度確保の必要があったとは、変化に追従しないと、精度が出なくなる可能性がある

Slide 59

Slide 59 text

● きゅうり農家が深層学習に挑戦-自作の仕分け機を作るまでの道筋実際の作業では、1.4倍の作業スピードの向上が図れたが、半年後にはわたしの判断能力が向上したため現在は使っていない。しかし、仕分け作業の初心者や未経験者には効果的なのではないだろうか引用：https://news.mynavi.jp/article/20180606-642208/ とは、

Slide 60

Slide 60 text

● 『逆転オセロニア』でのキャラクター設計支援難易度の高い熟練の業務に、AIツールで熟練するのに、長期の経験を求められる業務は人材育成にも課題業務改善とともに、育成コストの削減にも貢献引用: https://ledge.ai/theai-3rd-dentsu/

Slide 61

Slide 61 text

参考:強化学習等による『逆転オセロニア』対戦環境バランス設計支援 ● 『逆転オセロニア』におけるキャラクター設計支援左：教師あり学習とバンディット探索の併用右：並列強化学習（より高難易度の課題）

Slide 62

Slide 62 text

参考:強化学習等による『逆転オセロニア』対戦環境バランス設計支援とは、 ● 課題に合わせた技術利用 ● 新しく発見や発展した技術への置き換え・導入

Slide 63

Slide 63 text

● が変わる ○ 傾向・データが変わる ● が変わる ○ 習熟度・ニーズが変わる ● が変わる ○ 新しいアルゴリズム・技術が発展するというように、

Slide 64

Slide 64 text

DevOps ：開発チーム（Development）と運用チーム（Operations）の継続的連携サイクル MLOps ：機械学習チーム（Machine Learning）+ DevOps ・モデルやアルゴリズムの構築、評価・システム設計・アプリケーション開発（ML & Dev）・ログ出力と分析・モニタリング・CI / CD

Slide 65

Slide 65 text

● が変わる ● が変わる ● が変わる継続的開発サイクルの構築変更しやすいシステムで、以下が可能に ● ○ 再学習コスト低減、学習の高速高頻度化 ● ○ 仕様変更や機能拡張に強い構成、実装 ● ○ 最新技術への追随、導入

Slide 66

Slide 66 text

これだけ広い領域で継続的開発サイクルの構築をする必要がある。一度に構築することは難しいので、それぞれにおいて、やを進めていくこと引用：Hidden Technical Debt in Machine Learning Systems D.Sculley ら NIPS 2015

Slide 67

Slide 67 text

が変わる継続的な再学習・改善・技術アップデート

Slide 68

Slide 68 text

● 登壇者紹介 ● 背景 ○ 『逆転オセロニア』について ○ 『逆転オセロニア』におけるAI関連の取り組みについて ● 1. 根源的ニーズと適切な打ち手 2. 大きな夢とスモールスタート 3. 不確実性の把握と対処 4. 保守や運用を見据えたシステム開発 ● 総括

Slide 69

Slide 69 text

No content

Slide 70

Slide 70 text

No content

Slide 71

Slide 71 text

組織横断的にノウハウが蓄積できると、 ● 『2章大きな夢とスモールスタート』様々な選択肢や中間成果物を設定できる ● 『3章不確実性の把握と対処』状況による不確実性を減らせるこれらを事業横断的に実現するためには・・・バラバラに施策を進めるのではなく、が必要 ▶

Slide 72

Slide 72 text

いままでは・・・担当者や部門によって思い思いの方向に担当者A「時間もないので独自でやろう」担当者B「3年後を考えると必要だけど、いまは...」担当者C「売上に貢献する施策優先」

Slide 73

Slide 73 text

打ち手の検討 PoC 本開発運用課題定義案件A 打ち手の検討 PoC 本開発運用課題定義案件B 打ち手の検討 PoC 本開発運用課題定義案件C ↕ ↕

Slide 74

Slide 74 text

AI推進部の戦略例 ● AI推進部ビジョン:「AIを活用してを構築する」 ● 組織の注力領域について優先度判断 ● アクションプラン:「AI開発用の共通基盤の形成から、事業貢献を図りやすい自動QA施策や、AI施策の知見の横展開・先端領域の開拓」共通基盤 AI施策 AI以外の施策 (長期的貢献) (短期中期的貢献)

Slide 75

Slide 75 text

実績事例強化学習等による『逆転オセロニア』対戦環境バランス設計支援 CEDEC(Computer Entertainment Developers Conference)で外部発信引用:https://cedec.cesa.or.jp/2020/session/detail/s5e7d8eee81142

Slide 76

Slide 76 text

まとめ：ノウハウの活用 AI施策・AI以外の施策・基盤の実績を、 ● AI開発特有の不確実性 ● 長期的AI開発における中間成果物を実績ベースで計画・実施

Slide 77

Slide 77 text

No content

Slide 78

Slide 78 text

基盤整備ができると、 ● 『2章大きな夢とスモールスタート』開発サイクルを小さく、開発スピードの高速化ができる ● 『4章保守や運用を見据えたシステム開発』開発・保守コストの削減ができる元となる基盤があることで、したり、したりすることで、効率的に開発・保守できる ▶

Slide 79

Slide 79 text

打ち手の検討本開発運用課題定義案件A ↓ ↕ 案件B 案件C PoC 共通基盤本開発運用 PoC 共通基盤本開発運用 PoC 共通基盤横展開による効率化・高速化

Slide 80

Slide 80 text

まとめ：基盤の展開 ● ○ 自動QA、新規ゲームタイトルへの反映、他施策への検討 ○ 自動QAは、一部試験導入しており、効果に手応え ● ○ 開発・運用ノウハウの蓄積 ※ ゲームx機械学習をスケーリング！後悔しない導入計画法！共通基盤保守や運用を見据えた基盤

Slide 81

Slide 81 text

No content

Slide 82

Slide 82 text

波及活動とは、「AIを活用したい！」と、事業側を巻き込んだAI施策導入がスムーズに進んでいくような組織全体に波及させる活動今回のTechconも含めた外部発信もその一つ目的は、

Slide 83

Slide 83 text

事業 & AIチーム打ち手の検討本開発運用課題定義 PoC 共通基盤本開発運用 PoC 共通基盤事業連携によるさらなる横展開

Slide 84

Slide 84 text

まとめ：波及による組織変革ゲームにAI機能が導入され、事業貢献することが目的ビジネス的にも、技術的にもできることを増やしていき、 ● 専門性が必要な案件は、Kagglerが多数所属するAIチーム主導 ● ノウハウ・基盤の波及活動によって、 AIチーム以外でもAI導入できる体制を作っていく

Slide 85

Slide 85 text

No content

Slide 86

Slide 86 text

No content

Slide 87

Slide 87 text

● 登壇者紹介 ● 背景 ○ 『逆転オセロニア』について ○ 『逆転オセロニア』におけるAI関連の取り組みについて ● 本編 1. 根源的ニーズと適切な打ち手 2. 大きな夢とスモールスタート 3. 不確実性の把握と対処 4. 保守や運用を見据えたシステム開発 5. ノウハウ蓄積と基盤整備、波及活動 ●