スマホゲームにおけるAI活用プロジェクトの攻略本【DeNA TechCon 2021】/techcon2021-9

スマホゲームでのAI活用を考える場合、「AIの不確実性とうまく付き合う必要がある」「プロダクトのスピード感に合わせるのが大変」「つくって終わり！じゃない」など、AIプロジェクトならではの難易度の高い多くの課題に直面することになります。
DeNAは、スマホゲームにおけるAI活用の促進を目指しこれまでにいくつかのプロジェクトを推進し、 これらの課題に直面しつつもそのいくつかを解決してきました。
本セッションでは、そのようにして得た「スマホゲームにおけるAI活用プロジェクトをやりきるための知見」を、実例を交えてご紹介します。

Transcript

1. Takuma Yoshimura, Akira Tanaka
2. AIプロジェクトを やりきってきた経験 ノウハウ抽出 攻略本！
3. • 登壇者紹介 • 背景 ◦ 『逆転オセロニア』について ◦ 『逆転オセロニア』におけるAI関連の取り組みについて • 本編 1. 根源的ニーズと適切な打ち手 2. 大きな夢とスモールスタート 3. 不確実性の把握と対処 4. 保守や運用を見据えたシステム開発 5. ノウハウ蓄積と基盤整備、波及活動 • 総括
4. • • 背景 ◦ 『逆転オセロニア』について ◦ 『逆転オセロニア』におけるAI関連の取り組みについて • 本編 1. 根源的ニーズと適切な打ち手 2. 大きな夢とスモールスタート 3. 不確実性の把握と対処 4. 保守や運用を見据えたシステム開発 5. ノウハウ蓄積と基盤整備、波及活動 • 総括
5. • 2020年中途入社 • 前職までは人材系の事業会社に所属 し、オンプレ環境からクラウドサービ スまで幅広い環境で、サービス開発、 構築運用やAI機能開発を経験 • DeNA ではゲームへの AI 施策の導入 を推進する横断チームに所属し、複数 タイトル案件で主にクラウド環境構築 やサーバ実装を担当 • 2013年度新卒入社 • 複数のゲームタイトルの運用にエンジ ニアやPMとして従事 • 『逆転オセロニア』でAIプロジェクト にゲーム運営チームのPMとして参画 • 2019年6月よりゲームへの AI 施策の 導入を推進する横断チームに所属し、 主に『逆転オセロニア』関連のプロ ジェクトを担当 吉村 拓真 田中 晶
6. • 登壇者紹介 • ◦ 『逆転オセロニア』について ◦ 『逆転オセロニア』におけるAI関連の取り組みについて • 本編 1. 根源的ニーズと適切な打ち手 2. 大きな夢とスモールスタート 3. 不確実性の把握と対処 4. 保守や運用を見据えたシステム開発 5. ノウハウ蓄積と基盤整備、波及活動 • 総括
8. 1. オススメ編成(Released) ◦ ゲーム内コンテンツ ◦ 実践的なデッキをAIが自動構築 ◦ Apriori アルゴリズムによるアソシエーション分析 2. オセロニア道場(Released) ◦ ゲーム内コンテンツ ◦ プレイヤーの打ち方を学習した強力な AI と対戦 ◦ プレイヤーの行動ログを教師データにした教師あり学習 3. キャラクター設計支援ツール(On going) ◦ 開発支援ツール ◦ 新規キャラクターの設計を AI がサポート ◦ 教師あり学習と強化学習の併用 2020/07の画像のため、現在は 内容が異なる場合がございます。
9. ◦ ◦ ◦ 2. オセロニア道場(Released) ◦ ゲーム内コンテンツ ◦ プレイヤーの打ち方を学習した強力な AI と対戦 ◦ プレイヤーの行動ログを教師データにした教師あり学習 3. キャラクター設計支援ツール(On going) ◦ 開発支援ツール ◦ 新規キャラクターの設計を AI がサポート ◦ 教師あり学習と強化学習の併用 2020/07の画像のため、現在は 内容が異なる場合がございます。
10. 1. オススメ編成(Released) ◦ ゲーム内コンテンツ ◦ 実践的なデッキをAIが自動構築 ◦ Apriori アルゴリズムによるアソシエーション分析 ◦ ◦ ◦ 3. キャラクター設計支援ツール(On going) ◦ 開発支援ツール ◦ 新規キャラクターの設計を AI がサポート ◦ 教師あり学習と強化学習の併用 2020/07の画像のため、現在は 内容が異なる場合がございます。
11. 1. オススメ編成(Released) ◦ ゲーム内コンテンツ ◦ 実践的なデッキをAIが自動構築 ◦ Apriori アルゴリズムによるアソシエーション分析 2. オセロニア道場(Released) ◦ ゲーム内コンテンツ ◦ プレイヤーの打ち方を学習した強力な AI と対戦 ◦ プレイヤーの行動ログを教師データにした教師あり学習 ◦ ◦ ◦ 2020/07の画像のため、現在は 内容が異なる場合がございます。
12. • 登壇者紹介 • 背景 ◦ 『逆転オセロニア』について ◦ 『逆転オセロニア』におけるAI関連の取り組みについて • 1. 根源的ニーズと適切な打ち手 2. 大きな夢とスモールスタート 3. 不確実性の把握と対処 4. 保守や運用を見据えたシステム開発 5. ノウハウ蓄積と基盤整備、波及活動 • 総括
13. • 登壇者紹介 • 背景 ◦ 『逆転オセロニア』について ◦ 『逆転オセロニア』におけるAI関連の取り組みについて • 2. 大きな夢とスモールスタート 3. 不確実性の把握と対処 4. 保守や運用を見据えたシステム開発 5. ノウハウ蓄積と基盤整備、波及活動 • 総括
14. AIプロジェクトを立ち上げる時 • ゲーム運営現場の根源的ニーズを捉えよう！ • ニーズに応える適切な打ち手を選択しよう！
15. AIプロジェクト立ち上げに際し、やることを模索しているとき という風に提案してもらえることがよくある 運営チーム AIで◯◯したい AIチーム
16. AIプロジェクト立ち上げに際し、やることを模索しているとき という風に提案してもらえることがよくある 運営チーム AIで◯◯したい AIチーム
17. • 「AIで◯◯する」を実現したはいいが…？ • そもそも「AIで◯◯する」ことが現実的でない場合…？ 運営チーム AIで◯◯したい ゲーム運営チームの期待通りの効果が得られない場合も 他のアプローチを模索することができない AIチーム
18. 運営チーム AIで◯◯したい Why? 根源的ニーズ AIチーム 相互理解
19. • 要望されたプロダクトを実現することで ゲーム運営チームの期待通りの効果が得られるか否かを検討できる • 要望されたプロダクト自体を作ることが困難な場合でも 視点を転換し根源的ニーズを満たす別の手段を提案できる 根源的ニーズ を捉えられていると
20. 運営チーム 新キャラクターの想定強度(10段階評価)を入力すると AIが調整案を提示してくれるツールがほしい AIチーム • 既存キャラクターの強度評価が定性的・流動的 • AIの提案をそのまま信じるのはAIの品質に過剰に依存し危険 最初は…
21. 運営チーム 新キャラクターの調整案を入力するとAIが 強度(10段階評価)を推定してくれるツールがほしい AIチーム • 既存キャラクターの強度評価が定性的・流動的 • AIの提案をそのまま信じるのはAIの品質に過剰に依存し危険 じゃあ…
22. 運営チーム AIチーム …
23. 運営チーム AIチーム • 想定と異なる強度のキャラクターをリリースしたくない • キャラクター設計業務の属人性を排除したい • 属人性排除の結果人員の流動性が高まることにも期待している どうしてそういうツールがほしいの？ これらの実現こそがゲーム運営現場の根源的ニーズ
24. 根源的ニーズ • 想定外の強度のキャラクターをリリー スしたくない • キャラクター設計業務の属人性を排除 したい(人員の流動性もUP) 制約 • 既存キャラクターとの直接的な強度比 較は困難 • AIの提案をそのまま信じるのはAIの品 質に過剰に依存し危険 現在のキャラクター設計支援ツールの着想 引用: CEDEC2020 『逆転オセロニア』におけるバンディットアルゴリズムおよび強化学習を用いた対戦環境のバランス設計支援
25. • まずは立ち止まってゲーム運営現場の「根源的ニーズ」を探る • 「根源的ニーズ」とAIによる「打ち手」を適切にマッチさせる 運営チーム AIチーム 相互理解
26. • 登壇者紹介 • 背景 ◦ 『逆転オセロニア』について ◦ 『逆転オセロニア』におけるAI関連の取り組みについて • 1. 根源的ニーズと適切な打ち手 3. 不確実性の把握と対処 4. 保守や運用を見据えたシステム開発 5. ノウハウ蓄積と基盤整備、波及活動 • 総括
27. 運営チーム AIチーム 今ココ ゴール AIプロジェクトは長大になりがち • 不確定要素が大きい • R&Dを伴う場合がある • スマホゲーム運営のスピード 感にそぐわない • プロジェクトが頓挫した際の 不利益が大きい
28. 今ココ ゴール 中間目標 中間目標 中間目標 運営チーム AIチーム 最終目標へ至る過程に 中間目標を設けられるような ロードマップを設定する • スピード感を持って実益を享 受できる • プロジェクトが頓挫した際の 不利益を軽減できる • 中間成果物を他のプロジェク トに転用できる可能性がある
29. キャラクター設計支援ツールを作りたい！ スタート キャラクター設計支援ツール
30. キャラクター設計支援ツールを作りたい！ スタート キャラクター設計支援ツール 対戦AIエージェント AI対戦コンテンツ
31. キャラクター設計支援ツールを作りたい！ スタート キャラクター設計支援ツール 対戦AIエージェント シミュレータ AI対戦コンテンツ 自動QA (品質保証)
32. キャラクター設計支援ツールを作りたい！ スタート キャラクター設計支援ツール 対戦AIエージェント シミュレータ AI対戦コンテンツ 自動QA (品質保証)
33. • AIプロジェクトは長大になりやすい ◦ ゲーム運営現場への貢献の遅れ ◦ プロジェクトの頓挫による大きな徒労 • 中間目標を辿れるロードマップを！ • スモールスタートで素早い貢献！ • 大きな空振りを防ぎつつ最終目標へリーチ！
34. • 登壇者紹介 • 背景 ◦ 『逆転オセロニア』について ◦ 『逆転オセロニア』におけるAI関連の取り組みについて • 1. 根源的ニーズと適切な打ち手 2. 大きな夢とスモールスタート 4. 保守や運用を見据えたシステム開発 5. ノウハウ蓄積と基盤整備、波及活動 • 総括
35. AIは不確実性を孕む！ AIの不確実性はAIプロジェクトの不確実性を誘発する！ 種々の不確実性を予め理解し備えておくことで AIプロジェクトを柔軟に推進できるようにしよう！
36. Quality
 品質
 Cost
 費用
 Delivery
 納期

37. Cost
 費用
 Delivery
 納期
 Quality
 AIの品質

38. Quality
 AIの品質
 Cost
 費用
 Delivery
 納期

39. Quality
 AIの品質
 Delivery
 納期
 Cost
 費用

40. リリース時期 2019年3月 概要 プレイヤーの打ち方から学習し 様々なデッキを使いこなす 強力なAIと戦うゲーム内コンテンツ 狙い 初心者プレイヤーの育成 2020/07の画像のため、現在は内容が異なる場合がございます。
41. 対戦AIは強さが生命線 オセロニア道場はAIとの戦いの中でプレイヤーが成長するためのコンテンツ AIの強さが約束されていなくては意味がない 運営チーム AIチーム AIの強さが不十分なままオセロニア道場を リリースするわけにはいかないね！ 品質十分と言えるレベルまでAIを強くするよ！
42. 強さの要求水準が定量化されていない AIの強さに対する評価が戦った感想(定性)しかなく、ゴールが不明瞭であった 運営チーム AIチーム 概ね強いと評して良いんだけど 完璧かと問われると… どこまでAIを強くすれば 合格をもらえるのかわからない…
43. 強さが不十分である場合のバックアッププランがない AIがオセロニア道場をリリースするに足らない品質だった場合に 何らかの別プロダクトのリリースにシフトする用意がなかった 運営チーム AIチーム 別のプロダクト案と言われても急には… 合格をもらえなければ アウトプットが一切出ないことに…
44. リリース時期だけははっきり決まっている AIの品質向上を無限に待ち続けることはできない 運営チーム AIチーム 満足な定性的評価を下せるまで AIとひたすら対戦し続けるしかない…！！ リリースまでに合格をもらう以外に 道がない…！！
45. Quality
 AIの品質
 Delivery
 納期
 Cost
 費用

46. • AIの品質の効率的・定量的な測定方法を用意する ◦ 旧バージョンのAIモデルと数値化された品質を比較するなど • AIの品質に合わせた段階的なプロダクト案を用意する ◦ 立て付けや見せ方を工夫するだけで良い場合も • 松竹梅の開発スケジュール案を用意する • 工数や予算の計画にバッファを持たせておく ◦ プロジェクト毎でなく複数プロジェクト横断的にバッファを設けられると効率的
47. • ◦ • AIの品質に合わせた段階的なプロダクト案を用意する ◦ 立て付けや見せ方を工夫するだけで良い場合も • 松竹梅の開発スケジュール案を用意する • 工数や予算の計画にバッファを持たせておく ◦ プロジェクト毎でなく複数プロジェクト横断的にバッファを設けられると効率的
48. • AIの品質の効率的・定量的な測定方法を用意する ◦ 旧バージョンのAIモデルと数値化された品質を比較するなど • ◦ • 松竹梅の開発スケジュール案を用意する • 工数や予算の計画にバッファを持たせておく ◦ プロジェクト毎でなく複数プロジェクト横断的にバッファを設けられると効率的
49. • AIの品質の効率的・定量的な測定方法を用意する ◦ 旧バージョンのAIモデルと数値化された品質を比較するなど • AIの品質に合わせた段階的なプロダクト案を用意する ◦ 立て付けや見せ方を工夫するだけで良い場合も • • 工数や予算の計画にバッファを持たせておく ◦ プロジェクト毎でなく複数プロジェクト横断的にバッファを設けられると効率的
50. • AIの品質の効率的・定量的な測定方法を用意する ◦ 旧バージョンのAIモデルと数値化された品質を比較するなど • AIの品質に合わせた段階的なプロダクト案を用意する ◦ 立て付けや見せ方を工夫するだけで良い場合も • 松竹梅の開発スケジュール案を用意する • ◦
51. • AIの品質の効率的・定量的な測定方法を用意する ◦ 旧バージョンのAIモデルと数値化された品質を比較するなど • AIの品質に合わせた段階的なプロダクト案を用意する ◦ 立て付けや見せ方を工夫するだけで良い場合も • 松竹梅の開発スケジュール案を用意する • 工数や予算の計画にバッファを持たせておく ◦ プロジェクト毎でなく複数プロジェクト横断的にバッファを設けられると効率的
52. • AIの不確実性はAIプロジェクト全体に波及する • 予め理解し備えることでAIプロジェクトを柔軟に推進できるように！ Quality
 Delivery
 Cost

53. • 登壇者紹介 • 背景 ◦ 『逆転オセロニア』について ◦ 『逆転オセロニア』におけるAI関連の取り組みについて • 1. 根源的ニーズと適切な打ち手 2. 大きな夢とスモールスタート 3. 不確実性の把握と対処 5. ノウハウ蓄積と基盤整備、波及活動 • 総括
54. 業務活用できそうです。運用はどうなりますか？ いままで通り数ヶ月毎にモデル更新します システム開発しました。使ってみてください 実際の業務で使う場合、数ヶ月毎の更新頻度でのモデ ルでは、課題を解決できないです
55. 問題: 開発したが、実運用に耐えないものになってしまった 解決策:
56. なぜ保守や運用を見据えた計画的なシステム開発が必要なのか？
57. 環境・人間・技術が、時間とともに変化する 技術 環境 人間
58. • 『逆転オセロニア』でのキャラクター設計支援 試験運用で、より高頻度に対戦AIを更新する必要があることが判明した 想定よりも新しいゲーム環境データで高頻度にモデル更新していない と、業務活用するには精度上の問題があった 対戦AIは、ゲーム内では常に最新でなくても仕組み上問題なかったが、 AIツールでは、最新ゲーム環境の対戦AIで精度確保の必要があった とは、 変化に追従しないと、精度が出なくなる可能性がある
59. • きゅうり農家が深層学習に挑戦-自作の仕分け機を作るまでの道筋 実際の作業では、1.4倍の作業スピードの向上が図れたが、半年後にはわ たしの判断能力が向上したため現在は使っていない。 しかし、仕分け作業の初心者や未経験者には効果的なのではないだろう か 引用：https://news.mynavi.jp/article/20180606-642208/ とは、
60. • 『逆転オセロニア』でのキャラクター設計支援 難易度の高い熟練の業務に、AIツールで 熟練するのに、長期の経験を求められる業務は人材育成にも課題 業務改善とともに、育成コストの削減にも貢献 引用: https://ledge.ai/theai-3rd-dentsu/
61. 参考:強化学習等による『逆転オセロニア』対戦環境バランス設計支援 • 『逆転オセロニ ア』におけるキャ ラクター設計支援 左：教師あり学習と バンディット探索の 併用 右：並列強化学習 （より高難易度の課 題）
62. 参考:強化学習等による『逆転オセロニア』対戦環境バランス設計支援 とは、 • 課題に合わせた技 術利用 • 新しく発見や発展 した技術への置き 換え・導入
63. • が変わる ◦ 傾向・データが変わる • が変わる ◦ 習熟度・ニーズが変わる • が変わる ◦ 新しいアルゴリズム・技術が発展する というように、
64. DevOps ： 開発チーム（Development）と運用チーム（Operations）の 継続的連携サイクル MLOps ： 機械学習チーム（Machine Learning）+ DevOps ・モデルやアルゴリズム の構築、評価 ・システム設計 ・アプリケーション開発 （ML & Dev） ・ログ出力と分析 ・モニタリング ・CI / CD
65. • が変わる • が変わる • が変わる 継続的 開発サ イクル の構築 変更しやすいシステムで、以下が可能に • ◦ 再学習コスト低減、学習の高速高頻度化 • ◦ 仕様変更や機能拡張に強い構成、実装 • ◦ 最新技術への追随、導入
66. これだけ広い領域で継続的開発サイクルの構築をする必要がある。一度に構築することは難しいので、それぞれ において、 や を進めていくこと 引用：Hidden Technical Debt in Machine Learning Systems D.Sculley ら NIPS 2015
67. が変わる 継続的な再学習・改善・技術 アップデート
68. • 登壇者紹介 • 背景 ◦ 『逆転オセロニア』について ◦ 『逆転オセロニア』におけるAI関連の取り組みについて • 1. 根源的ニーズと適切な打ち手 2. 大きな夢とスモールスタート 3. 不確実性の把握と対処 4. 保守や運用を見据えたシステム開発 • 総括
71. 組織横断的にノウハウが蓄積できると、 • 『2章 大きな夢とスモールスタート』 様々な選択肢や中間成果物を設定できる • 『3章 不確実性の把握と対処』 状況による不確実性を減らせる これらを事業横断的に実現するためには・・・ バラバラに施策を進めるのではなく、 が必要 ▶
72. いままでは・・・ 担当者や部門によって思い思いの方向に 担当者A「時間もないので独自でやろう」 担当者B「3年後を考えると必要だけど、いまは...」 担当者C「売上に貢献する施策優先」
73. 打ち手の 検討 PoC 本開発 運用 課題定義 案件A 打ち手の 検討 PoC 本開発 運用 課題定義 案件B 打ち手の 検討 PoC 本開発 運用 課題定義 案件C ↕ ↕
74. AI推進部の戦略例 • AI推進部ビジョン:「AIを活用して を構築する」 • 組織の注力領域について優先度判断 • アクションプラン:「AI開発用の共通基盤の形成から、事業貢献を図 りやすい自動QA施策や、AI施策の知見の横展開・先端領域の開拓」 共通基盤 AI施策 AI以外の施策 (長期的貢献) (短期中期的貢献)
75. 実績事例 強化学習等による『逆転オセロニア』対戦環境バランス設計支援 CEDEC(Computer Entertainment Developers Conference)で外部発信 引用:https://cedec.cesa.or.jp/2020/session/detail/s5e7d8eee81142
76. まとめ：ノウハウの活用 AI施策・AI以外の施策・基盤の実績を、 • AI開発特有の不確実性 • 長期的AI開発における中間成果物 を実績ベースで計画・実施
78. 基盤整備ができると、 • 『2章 大きな夢とスモールスタート』 開発サイクルを小さく、開発スピードの高速化ができる • 『4章 保守や運用を見据えたシステム開発』 開発・保守コストの削減ができる 元となる基盤があることで、 したり、 したりする ことで、効率的に開発・保守できる ▶
79. 打ち手 の検討 本開発 運用 課題定義 案件A ↓ ↕ 案件B 案件C PoC 共通 基盤 本開発 運用 PoC 共通 基盤 本開発 運用 PoC 共通 基盤 横展開による 効率化・高速化
80. まとめ：基盤の展開 • ◦ 自動QA、新規ゲームタイトルへの反映、他施策への検討 ◦ 自動QAは、一部試験導入しており、効果に手応え • ◦ 開発・運用ノウハウの蓄積 ※ ゲームx機械学習をスケーリング！後悔しない導入計画法！ 共通基盤 保守や運用を見据えた基盤
82. 波及活動とは、 「AIを活用したい！」と、事業側を巻き込んだAI施策導入がスムーズに 進んでいくような組織全体に波及させる活動 今回のTechconも含めた外部発信もその一つ 目的は、
83. 事業 & AIチーム 打ち手 の検討 本開発 運用 課題定義 PoC 共通 基盤 本開発 運用 PoC 共通 基盤 事業連携による さらなる横展開
84. まとめ：波及による組織変革 ゲームにAI機能が導入され、事業貢献することが目的 ビジネス的にも、技術的にもできることを増やしていき、 • 専門性が必要な案件は、Kagglerが多数所属するAIチーム主導 • ノウハウ・基盤の波及活動によって、 AIチーム以外でもAI導入できる体制を作っていく
87. • 登壇者紹介 • 背景 ◦ 『逆転オセロニア』について ◦ 『逆転オセロニア』におけるAI関連の取り組みについて • 本編 1. 根源的ニーズと適切な打ち手 2. 大きな夢とスモールスタート 3. 不確実性の把握と対処 4. 保守や運用を見据えたシステム開発 5. ノウハウ蓄積と基盤整備、波及活動 •