『逆転オセロニア』におけるAI活用を振り返る

by DeNA_Tech

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. 『逆転オセロニア』とは ■ オセロのルールで簡単にプレイできる対戦型ゲームアプリ ⁃ 盤面にキャラクター駒を置くことで様々なスキルやコンボが発動 ⁃ 4000種類以上のキャラクター駒の中から好きな16駒を選んでデッキを組み対戦 ⁃ 劣勢からでも逆転の可能性があるのが特徴 ■ 2016 年 2 月リリース後、継続的に成長 ⁃ 累計 2,800 万ダウンロード突破（2020年8月時点） 4

Slide 5

Slide 5 text

Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. オセロニアでのAI活用事例の概要 ■ おすすめ編成機能 ⁃ 初心者にとって壁だったデッキ作成を支援 ⁃ 技術: アソシエーション分析・ヒューリスティック最適化 ■ オセロニア道場 ⁃ 手強いAIと対戦することによるプレイヤーへの学習支援 ⁃ 技術: 教師あり学習・強化学習 ■ デッキのアーキタイプ抽出による環境把握 ⁃ バランスのとれた対戦環境になるように、プランニングを支援 ⁃ 技術: トピックモデル ■ AIプレイヤーによる新キャラリリースの網羅的なテストプレイ ⁃ 資料｜ https://www.slideshare.net/TakumaYoshimura/ss-238429447 ⁃ 技術: バンディットアルゴリズム・強化学習 5

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. 『逆転オセロニア』で解決したい課題① 1. デッキ（駒16体で構成）の組み方は多種多様で迷ってしまう 2. 相手に応じた様々な戦い方を覚えるのが大変 1. デッキのレコメンド機能「オススメ編成」 2. 戦略の学習サポート機能「オセロニア道場」 7 ゲームの奥深さや面白さを知ってもらいたい（目標）  プレイヤーの学習をサポートする AI を開発し、リリース

Slide 8

Slide 8 text

Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. AI の活用事例① オススメ編成（2018/11リリース） ■ プレイヤーの持っている駒からデッキを素早くレコメンド ⁃ デッキは16体で構成される ⁃ 組んでほしい条件も指定できる ■ 条件に応じて、様々な種類のデッキを組んでくれる 8 ①デッキの属性  ②デッキのコスト  ③使用したい  　キャラクター駒   （任意）  AI がオススメの  デッキを提案 

Slide 9

Slide 9 text

Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. AI ロジックの全体像 ■ アソシエーション分析を活用 ⁃ 大量のデッキ編成ログをもとにキャラクター間の関係性を抽出 ■ 分析結果を利用してオススメのデッキをレコメンド 9 ※『逆転オセロニア』における運用効率化支援〜デッキログのデータマイニング〜  https://www.slideshare.net/dena_tech/ss-87960853    オススメのデッキ作って！アソシエーションルールの抽出（アソシエーション分析）レコメンド API サーバー大量のデッキ編成ログ

Slide 10

Slide 10 text

Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. アソシエーション分析 ■ 大規模データに存在する関係性を抽出する分析手法 ⁃ 関係を支持度、信頼度、リフトと呼ばれる指標で定量化できる 10 ルール  支持度  信頼度  リフト  アバドン → アズリエル  5%  50%  2.0  ガラム → ジークフリート  25%  40%  1.5  フレデリカ → アルキメデス  20%  45%  2.1  ラヴーシュカ → アルキメデス   5%  30%  2.0  デネヴ → クロリス  55%  60%  2.3  …  …  …  …  組み合わせの頻度  ルールの有用度前者のキャラがいるときに  後者のキャラが含まれる確率  基本的にはスコアの高い組み合わせをオススメしていけば定番のデッキを作れる

Slide 11

Slide 11 text

Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. デッキ構築ロジックの概要 11 ❶編成条件 ❷リーダーキャラクターの選択 ❸ルールの元になるキャラクターの選択 ❹関係性の高いキャラクターを選択 ❺オススメデッキの提案ルール採用ルール採用ルール不採用細かな工夫も随所に施している  ● コストチェック  ● スキル発動チェック  ● 属性チェック  ● 動的なパラメタ選定  ● ... 

Slide 12

Slide 12 text

Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. 導入後の結果 ■ 初心者プレイヤーに順調に利用されている ■ 上位プレイヤーにも一定、利用されている 12 ■ 機能を使った初心者のPvP勝率が +5pt程度改善 ■ 序盤のつまづき低減をサポート時刻勝率  (初心者プレイヤー)  リリース  「おすすめ編成」で作成したデッキ   「おすすめ編成」を使わずに作成したデッキ   利用回数  (初心者プレイヤー)  リリース  デッキ編成を促す  イベントで認知拡大  時刻

Slide 13

Slide 13 text

Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. AI の活用事例② オセロニア道場（2019/3リリース） ■ 実際の PvP（対人戦）と同じような条件下で、本物の人間のような手応えのある AI と気軽に戦える機能 ■ 多様な相手と戦い、相手に応じた戦略の学習をサポートをしたい 13 色々な種類のデッキから戦いたい AI を選択  人間のような戦いをする  AI と対戦できる！  AI の強さレベルを選択 

Slide 14

Slide 14 text

Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. 深層学習を用いた戦略の学習 ■ Deep Learning (Neural Network) を活用 ■ 上位プレイヤーの棋譜を用いて戦略を学習 14 5 1 9 2 5 3 0 4 5 1 2 7 1 4 7 8 4 6 3 1 4 9 0 4 6 4 6 8 7 3 2 3 5 1 6 0 Deep Neural Network  行動の評価値  5 1 9 2 5 3 0 4 5 1 2 7 1 4 7 8 4 6 3 1 4 9 0 4 6 4 6 8 7 3 2 3 5 1 6 0 5 1 9 2 5 3 0 4 5 1 2 7 1 4 7 8 4 6 3 1 4 9 0 4 6 4 6 8 7 3 2 3 5 1 6 0 大量の対戦棋譜  特徴量変換  学習  推論  約5,000の  特徴  1千万件以上の棋譜  教師信号  プレイヤーがその行動を  取ったか否かの２値 

Slide 15

Slide 15 text

Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. モデルの訓練の工夫・Tips ■ Data Augmentation（データ拡張） ⁃ 盤面の回転 ⁃ デッキ、手駒の順番シャッフル ■ Bidirectional LSTM/GRU ⁃ 行動履歴の入力 ⁃ デッキ、手駒の学習（集合情報を暗黙的に学習してくれることを期待） ■ 駒の Embedding ⁃ 駒（3,000 体以上）を one-hot ベクトル（約 3,000 次元）ではなく、より低次元の Embedding ベクトルで学習を効率化 ■ 特徴量エンジニアリング ⁃ 盤面の黒駒の数、デッキの攻撃力平均、隅/X/Cマスの各色の駒数、など ⁃ Embedding ベクトルの足し合わせ（デッキ全体の特徴の表現を期待） 15

Slide 16

Slide 16 text

Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. （参考）Network アーキテクチャ 16 打ち手1の評価値 FC-BN-DO-elu (2048) Concat FC-BN-DO-elu (1024) FC (1) ステータスデッキ手駒盤面選択可能な打ち手打ち手2の評価値打ち手Nの評価値 … Concat Concat Concat 打ち手 1 打ち手 2 打ち手 N Player Opponent (leader, HP)　 Opponent (aura, curse) Player Flatten or CNN-like ❸Embedding ❶Augmentation ❶Augmentation ❷BiGRU ❷BiGRU ❷BiGRU ❹Sum

Slide 17

Slide 17 text

Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. （参考）System アーキテクチャ  Training Serving 推論システム ❻推論 API Kubernetes Engine ❾打ち手の評価値道場プレイ（vs. AI） ❽オンライン予測API Cloud Machine Learning Engine (CMLE) 特徴量 ❾打ち手の評価値 ❺棋譜 ❷AI モデルの作成 PvP 対戦 BigQuery 前処理・特徴量作成 Compute Engine 学習 Compute Engine Cloud Storage Cloud Storage ❶棋譜棋譜 AI モデル AI モデル ❸モデル保存 ❹モデル読込（デプロイ） ❼特徴抽出 API App Engine 特徴量棋譜 ※『逆転オセロニア』対戦型 AI のバックエンドの実装 https://www.slideshare.net/ShoheiMiyashita1/ai-140397029  17

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. 『逆転オセロニア』で解決したい課題② 1. 対戦環境に似たようなデッキばかりだと飽きてしまう 2. 特定の駒が強すぎるとプレイヤー間に格差が生まれる 1. デッキのアーキタイプ抽出による環境把握 2. AIプレイヤーによる新キャラリリースの網羅的なテストプレイ* 20 ゲームの対戦環境を適正化し、プレイヤーの満足度をあげたい  AI技術による効率的かつ公平なバランス調整 

Slide 21

Slide 21 text

Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. AIの活用事例③ デッキのアーキタイプ抽出による環境把握デッキアーキタイプとは？ ■ 戦い方についてのコンセプトを持つデッキ構成 ⁃ 例）短いターンで決着を目指す「速攻デッキ」など ⁃ トレーディングカードゲームでは一般的な概念 ■ アーキタイプの種類は多岐にわたり、20種前後確認されている 21 【貫通速攻デッキ】  高い攻撃力で序盤から  どんどん大ダメージを与え、短いターンで決着を狙う。長期戦に持ち込むデッキに強いが、攻撃力弱体化スキルに弱い【混合デッキ】  全属性の駒をデッキに  組み込むことでバランスの取れたデッキ。  どのアーキタイプにも  バランスよく戦える 

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. デッキアーキタイプ把握の重要性 ■ アーキタイプの相互関係は対戦環境に大きな影響を及ぼす ■ アーキタイプバランスが崩れると... ⁃ プレイヤー体験に影響 (例｜特定のアーキタイプが強すぎてつまらない) ⁃ 中長期の継続率に大きな影響 ■ バランスの把握＆メンテナンスが重要 23 A  B  C 対戦環境 

Slide 24

Slide 24 text

Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. ゲーム運用上の問題点と解決の方針 ■ 運用上の問題点 ⁃ 特定のアーキタイプが強すぎる ⁃ アーキタイプの優劣が固定化されている ■ 問題点を解決したい ⁃ 対戦環境を平均化・ダイナミックにすることでプレイヤー体験を向上したい ⁃ 運用上のポリシー • 禁止駒のグランドルールはない ⁃ プランニングのアクション • 駒の追加 • 属性補正の追加 24

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. A  B  C 対戦環境  ？  ？  問題点１    プレイング  習熟まで時間が  必要  定性情報に基づいたプランニングとその問題点  問題点2    客観的に判断を  する難易度が高い  27 27 ■ 定性 = 人力  ⁃ プランナーがクラスマッチを徹底的にプレイ＋プレイヤーの声  ⁃ 蓄積した定性意見を元にプランニング 

Slide 28

Slide 28 text

Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. A  B  C 対戦環境  ？  ？  問題点１    プレイング  習熟まで時間が  必要  定性情報に基づいたプランニングとその問題点  問題点3    増え続ける  アーキタイプ数への  対応が難しい  問題点2    客観的に判断を  する難易度が高い  28 ■ 定性 = 人力  ⁃ プランナーがクラスマッチを徹底的にプレイ＋プレイヤーの声  ⁃ 蓄積した定性意見を元にプランニング 

Slide 29

Slide 29 text

Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. A  B  C 対戦環境  ？  ？  問題点１    プレイング  習熟まで時間が  必要  定性情報に基づいたプランニングとその問題点  問題点2    客観的に判断を  する難易度が高い  問題点3    増え続ける  アーキタイプ数への  対応が難しい  機械学習で定量的・自動的にアーキタイプを  抽出できないか？  29 ■ 定性 = 人力  ⁃ プランナーがクラスマッチを徹底的にプレイ＋プレイヤーの声  ⁃ 蓄積した定性意見を元にプランニング 

Slide 30

Slide 30 text

Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. 機械学習に使用するデータ ■ シーズンマッチダイヤモンド帯のデッキデータ  ⁃ ユーザーのリテラシーが高く、デッキのアーキタイプが成立している    ■ 週次データ  ⁃ バトル数: 数十万  ⁃ ユニークなデッキ数: 数十万    ■ 月次データで属性補正ごと  ⁃ 属性補正の種類 (e.g. 1ヶ月で5種類前後)  ⁃ バトル数: 数十万  ⁃ ユニークなデッキ数: 数十万  30 ブロンズ  シルバー  ゴールド  プラチナ  ダイヤモンド  シーズンマッチのランク 

Slide 31

Slide 31 text

Slide 32

Slide 32 text

Slide 33

Slide 33 text

Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. 機械学習を用いたデッキアーキタイプ抽出の概要  機械学習モデル  大量のデッキデータ (100,000)  トピックモデル (LDA: Latent Dirichlet Allocation)   抽出するアーキタイプ数 = 7    駒1  駒2  駒99  0.5  0.01  0.2  ...  ...  アーキタイプA  駒1  駒21  駒99  0.01  0.3  0.2  ...  ...  アーキタイプB  駒1  駒77  駒99  0.01  0.4  0.2  ...  ...  アーキタイプG  ...  ...  ...  アーキタイプの解釈はプランナーが行う  各アーキタイプの組成 (A~Gの7つ)  ...  ...  33 33

Slide 34

Slide 34 text

Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. 確率  デッキ100,000  デッキ1  機械学習を用いたデッキアーキタイプ抽出の概要  機械学習モデル  大量のデッキデータ (100,000)  トピックモデル (LDA: Latent Dirichlet Allocation) ...    抽出するアーキタイプ数 = 7    駒1  駒2  駒99  0.5  0.01  0.2  ...  ...  アーキタイプA  駒1  駒21  駒99  0.01  0.3  0.2  ...  ...  アーキタイプB  駒1  駒77  駒99  0.01  0.4  0.2  ...  ...  アーキタイプG  ...  ...  ...  各デッキが属するアーキタイプ  ...  ...  34 34

Slide 35

Slide 35 text

Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. トピックモデルを用いたデッキアーキタイプ抽出  駒1  駒2  駒99  0.5  0.01  0.2  ...  ...  3) トピック＝アーキタイプ  　　　　　　=駒上の確率分布  アーキタイプA  駒1  駒21  駒99  0.01  0.6  0.02  ...  ...  アーキタイプB  ...  ...  2) ドキュメント＝デッキ＝アーキタイプ上の確率分布  駒1  駒77  駒99  0.01  0.1  0.7  ...  ...  アーキタイプG  ...  ...  ...  ...  ...  A  B  G  アーキタイプ  割り当て  1) ドキュメント内の単語＝デッキ内の駒  35 35

Slide 36

Slide 36 text

Slide 37

Slide 37 text

Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. デッキアーキタイプの抽出フロー  アーキタイプA,  アーキタイプB,...  週 T  既存のアーキタイプと比較  Raw対戦ログ  (デッキ, 勝敗, ターン数 etc.)  アーキタイプ抽出処理  ...  Raw対戦ログ  (デッキ, 勝敗, ターン数 etc.)  前処理  週 T+1  ...  アーキタイプA  アーキタイプB  ルールベース抽出  アーキタイプ1,  アーキタイプ2,...  37 37

Slide 38

Slide 38 text

Slide 39

Slide 39 text

Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. デッキアーキタイプの抽出フロー  アーキタイプA,  アーキタイプB,...  週 T  既存のアーキタイプと比較  Raw対戦ログ  (デッキ, 勝敗, ターン数 etc.)  アーキタイプ抽出処理  Raw対戦ログ  (デッキ, 勝敗, ターン数 etc.)  前処理  ルールベース抽出  アーキタイプ1,  アーキタイプ2,...  LDA  アーキタイプx,  アーキタイプy,...  (New) アーキタイプF  アーキタイプB,  アーキタイプD,...  週 T+1  既存のアーキタイプと比較  ...  ...  ...  アーキタイプx  アーキタイプA  アーキタイプB  39 39

Slide 40

Slide 40 text

Slide 41

Slide 41 text

Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. 改善アクション1〜対戦環境のバランス平均化  OLDツール各アーキタイプ勝率グラフクラス：＊月：2019/03 補正：魔H1.1 A0.9 竜H1.1 A0.9 OLDツール各アーキタイプ対戦表クラス：＊月：2019/03 補正：魔H1.1 A0.9 竜H1.1 A0.9 対戦表  勝率  41 41 運用上の課題：特定のアーキタイプが強すぎる  ■ 実際に、アーキタイプ分析ツールで突出したアーキタイプがあることを確認した

Slide 42

Slide 42 text

Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. 改善アクション2〜勝てるアーキタイプの選択肢を増やす  OLDツール各アーキタイプ勝率グラフクラス：＊月：2018/12 補正：all 1.0 OLDツール各アーキタイプ勝率グラフクラス：ダイマス月：2019/03 補正：all 1.0 3ヶ月後  上位の序列に大きな  変化がない  A  B  C  A  B  C  D  E  F  F  D  E  42 42 運用上の課題：アーキタイプ間の優劣が固定化  ■ 実際にアーキタイプ分析ツールでアーキタイプ間  の優劣が固定化していることを確認した 

Slide 43

Slide 43 text

Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. 運用上の課題：アーキタイプ間の優劣が固定化  ■ 実際に、アーキタイプ分析ツールで新たなアーキタイプ「NEW」を検知  改善アクション3〜新しいアーキタイプの検知と使用率向上  OLDツール各アーキタイプ勝率グラフクラス：＊月：2019/03 補正：all 1.0 NEW3 使用率  NEW  43 43

Slide 44

Slide 44 text

Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. まとめ ■ オセロニアでは盛んにAI技術・データサイエンス技術の活用が行われている ⁃ おすすめ編成機能：初心者にとって壁だったデッキ作成を支援 ⁃ オセロニア道場：手強いAIと対戦することによるプレイヤーへの学習支援 ⁃ デッキのアーキタイプ抽出による環境把握：バランスのとれた対戦環境になるように、プランニングを支援 ⁃ などなど・・・ 44 44

Slide 45

Slide 45 text

Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. 参考 ■ CEDEC2018『逆転オセロニア』におけるAI活用 ■ DeNA TechCon2018 ゲーム体験を支えるための強化学習 ■ 『逆転オセロニア』における運用効率化支援〜デッキログのデータマイニング〜 ■ 『逆転オセロニア』における、機械学習モデルを用いたデッキのアーキタイプ抽出とゲーム運用への活用 45

Slide 46

Slide 46 text

Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. Twitter @DeNAxTech をフォローしよう！技術を徹底的に磨き、積み上げ、試行錯誤を繰り返しながら、幅広いチャレンジを続ける DeNA のエンジニア。彼らの考え方を見て面白いと思ってもらえるように、彼らの発信について短く要約してお伝えしてます。ぜひ Twitter フォローお願いします！！