『逆転オセロニア』におけるAI活用を振り返る

本資料は、出張！DeNAデータサイエンス輪講 （https://dena-ai.connpass.com/event/188588/） にて「『逆転オセロニア』におけるAI活用を振り返る」という題目にて登壇した際のものです。
『逆転オセロニア』というDeNAが抱えるタイトルのスマホゲームにおいて、どのようにAI技術・データサイエンス技術が活用されてきたのかについて、振り返ることのできる資料となっています。
トピック：アソシエーション分析・ヒューリスティック最適化・教師あり学習・強化学習・トピックモデル・バンディットアルゴリズム

Transcript

1. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. 『逆転オセロニア』におけるAI活用を振り返る 出張！DeNAデータサイエンス輪講
 2020/10/10
 横尾修平
 システム本部AIシステム部

2. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. 自己紹介 ▪ 横尾修平 （@lyakaap）
 
 ▪ DeNAには今年の四月に入社
 
 ▪ データサイエンスグループでオセロニア関係の
 お仕事をしています
 
 ▪ 趣味：Kaggle
 ⁃ Grandmaster
 ⁃ 主に画像コンペに参戦
 2
3. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. 今日話すこと
 『逆転オセロニア』というゲームにおいて、どのように
 AI技術・データサイエンス技術が活用されてきたのか
 ※ オセロ・Othelloは登録商標です。TM&© Othello,Co. and MegaHouse / © 2016 DeNA Co.,Ltd. 3
4. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. 『逆転オセロニア』とは ▪ オセロのルールで簡単にプレイできる 対戦型ゲームアプリ ⁃ 盤面にキャラクター駒を置くことで 様々なスキルやコンボが発動 ⁃ 4000種類以上のキャラクター駒の中から 好きな16駒を選んでデッキを組み対戦 ⁃ 劣勢からでも逆転の可能性があるのが特徴 ▪ 2016 年 2 月リリース後、継続的に成長 ⁃ 累計 2,800 万ダウンロード突破（2020年8月時点） 4
5. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. オセロニアでのAI活用事例の概要 ▪ おすすめ編成機能 ⁃ 初心者にとって壁だったデッキ作成を支援 ⁃ 技術: アソシエーション分析・ヒューリスティック最適化 ▪ オセロニア道場 ⁃ 手強いAIと対戦することによるプレイヤーへの学習支援 ⁃ 技術: 教師あり学習・強化学習 ▪ デッキのアーキタイプ抽出による環境把握 ⁃ バランスのとれた対戦環境になるように、プランニングを支援 ⁃ 技術: トピックモデル ▪ AIプレイヤーによる新キャラリリースの網羅的なテストプレイ ⁃ 資料｜ https://www.slideshare.net/TakumaYoshimura/ss-238429447 ⁃ 技術: バンディットアルゴリズム・強化学習 5
6. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. オセロニアでのAI活用事例の概要 ▪ おすすめ編成機能 ⁃ 初心者にとって壁だったデッキ作成を支援 ⁃ 技術: アソシエーション分析・ヒューリスティック最適化 ▪ オセロニア道場 ⁃ 手強いAIと対戦することによるプレイヤーへの学習支援 ⁃ 技術: 教師あり学習・強化学習 ▪ デッキのアーキタイプ抽出による環境把握 ⁃ バランスのとれた対戦環境になるように、プランニングを支援 ⁃ 技術: トピックモデル ▪ AIプレイヤーによる新キャラリリースの網羅的なテストプレイ ⁃ 資料｜ https://www.slideshare.net/TakumaYoshimura/ss-238429447 ⁃ 技術: バンディットアルゴリズム・強化学習 6
7. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. 『逆転オセロニア』で解決したい課題① 1. デッキ（駒16体で構成）の組み方は多種多様で迷ってしまう 2. 相手に応じた様々な戦い方を覚えるのが大変 1. デッキのレコメンド機能「オススメ編成」 2. 戦略の学習サポート機能「オセロニア道場」 7 ゲームの奥深さや面白さを知ってもらいたい（目標）
 プレイヤーの学習をサポートする AI を開発し、リリース
8. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. AI の活用事例① オススメ編成（2018/11リリース） ▪ プレイヤーの持っている駒からデッキを素早くレコメンド ⁃ デッキは16体で構成される ⁃ 組んでほしい条件も指定できる ▪ 条件に応じて、様々な種類のデッキを組んでくれる 8 ①デッキの属性
 ②デッキのコスト
 ③使用したい
 　キャラクター駒 
 （任意）
 AI がオススメの
 デッキを提案

9. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. AI ロジックの全体像 ▪ アソシエーション分析を活用 ⁃ 大量のデッキ編成ログをもとにキャラクター間の関係性を抽出 ▪ 分析結果を利用してオススメのデッキをレコメンド 9 ※『逆転オセロニア』における運用効率化支援 〜デッキログのデータマイニング〜
 https://www.slideshare.net/dena_tech/ss-87960853
 
 オススメの デッキ作って！ アソシエーションルールの抽出 （アソシエーション分析） レコメンド API サーバー 大量のデッキ編成ログ
10. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. アソシエーション分析 ▪ 大規模データに存在する関係性を抽出する分析手法 ⁃ 関係を支持度、信頼度、リフトと呼ばれる指標で定量化できる 10 ルール
 支持度
 信頼度
 リフト
 アバドン → アズリエル
 5%
 50%
 2.0
 ガラム → ジークフリート
 25%
 40%
 1.5
 フレデリカ → アルキメデス
 20%
 45%
 2.1
 ラヴーシュカ → アルキメデス 
 5%
 30%
 2.0
 デネヴ → クロリス
 55%
 60%
 2.3
 …
 …
 …
 …
 組み合わせの 頻度
 ルールの有用 度 前者のキャラがいるときに
 後者のキャラが含まれる確率
 基本的にはスコアの高い組み合わせを オススメしていけば定番のデッキを作れる
11. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. デッキ構築ロジックの概要 11 ❶編成条件 ❷リーダーキャラクターの選 択 ❸ルールの元になる キャラクターの選択 ❹関係性の高い キャラクターを選択 ❺オススメデッキの提案 ルール採用 ルール採用 ルール不採用 細かな工夫も随所に施している
 • コストチェック
 • スキル発動チェック
 • 属性チェック
 • 動的なパラメタ選定
 • ...

12. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. 導入後の結果 ▪ 初心者プレイヤーに順調に利用さ れている ▪ 上位プレイヤーにも一定、利用され ている 12 ▪ 機能を使った初心者のPvP勝率が +5pt程度改善 ▪ 序盤のつまづき低減をサポート 時刻 勝率
 (初心者プレイヤー)
 リリース
 「おすすめ編成」で作成したデッキ 
 「おすすめ編成」を使わずに作成したデッキ 
 利用回数
 (初心者プレイヤー)
 リリース
 デッキ編成を促す
 イベントで認知拡大
 時刻
13. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. AI の活用事例② オセロニア道場（2019/3リリース） ▪ 実際の PvP（対人戦）と同じような条件下で、 本物の人間のような手応えのある AI と気軽に戦える機能 ▪ 多様な相手と戦い、相手に応じた戦略の学習をサポートをしたい 13 色々な種類のデッキから戦 いたい AI を選択
 人間のような戦いをする
 AI と対戦できる！
 AI の強さレベルを選択

14. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. 深層学習を用いた戦略の学習 ▪ Deep Learning (Neural Network) を活用 ▪ 上位プレイヤーの棋譜を用いて戦略を学習 14 5 1 9 2 5 3 0 4 5 1 2 7 1 4 7 8 4 6 3 1 4 9 0 4 6 4 6 8 7 3 2 3 5 1 6 0 Deep Neural Network
 行動の評価値
 5 1 9 2 5 3 0 4 5 1 2 7 1 4 7 8 4 6 3 1 4 9 0 4 6 4 6 8 7 3 2 3 5 1 6 0 5 1 9 2 5 3 0 4 5 1 2 7 1 4 7 8 4 6 3 1 4 9 0 4 6 4 6 8 7 3 2 3 5 1 6 0 大量の対戦棋譜
 特徴量変換
 学習
 推論
 約5,000の
 特徴
 1千万件以上 の棋譜
 教師信号
 プレイヤーがその行動を
 取ったか否かの２値

15. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. モデルの訓練の工夫・Tips ▪ Data Augmentation（データ拡張） ⁃ 盤面の回転 ⁃ デッキ、手駒の順番シャッフル ▪ Bidirectional LSTM/GRU ⁃ 行動履歴の入力 ⁃ デッキ、手駒の学習（集合情報を暗黙的に学習してくれることを期待） ▪ 駒の Embedding ⁃ 駒（3,000 体以上）を one-hot ベクトル（約 3,000 次元）ではなく、 より低次元の Embedding ベクトルで学習を効率化 ▪ 特徴量エンジニアリング ⁃ 盤面の黒駒の数、デッキの攻撃力平均、隅/X/Cマスの各色の駒数、など ⁃ Embedding ベクトルの足し合わせ（デッキ全体の特徴の表現を期待） 15
16. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. （参考）Network アーキテクチャ 16 打ち手1の評価値 FC-BN-DO-elu (2048) Concat FC-BN-DO-elu (1024) FC (1) ステータス デッキ 手駒 盤面 選択可能な打ち手 打ち手2の評価値 打ち手Nの評価値 … Concat Concat Concat 打ち手 1 打ち手 2 打ち手 N Player Opponent (leader, HP)　 Opponent (aura, curse) Player Flatten or CNN-like ❸Embedding ❶Augmentation ❶Augmentation ❷BiGRU ❷BiGRU ❷BiGRU ❹Sum
17. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. （参考）System アーキテクチャ
 Training Serving 推論システム ❻推論 API Kubernetes Engine ❾打ち手の評価値 道場プレイ （vs. AI） ❽オンライン予測API Cloud Machine Learning Engine (CMLE) 特徴量 ❾打ち手の評価値 ❺棋譜 ❷AI モデルの作成 PvP 対戦 BigQuery 前処理・特徴量作成 Compute Engine 学習 Compute Engine Cloud Storage Cloud Storage ❶棋譜 棋譜 AI モデル AI モデル ❸モデル保存 ❹モデル読込 （デプロイ） ❼特徴抽出 API App Engine 特徴量 棋譜 ※『逆転オセロニア』対戦型 AI のバックエンドの実装 https://www.slideshare.net/ShoheiMiyashita1/ai-140397029
 17
18. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. 導入後の結果: AI の対プレイヤー勝率 18 プレイヤーの
 熟練具合
 AI の対プレイヤー勝率
 （レベル別）
 ビギナー
 エキスパート
 AI は熟練プレイヤーに対しても
 十分な強さを誇っている
 初心者プレイヤーは対戦相手として
 複数段階のレベルの AI と対戦できている

19. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. オセロニアでのAI活用事例の概要 ▪ おすすめ編成機能 ⁃ 初心者にとって壁だったデッキ作成を支援 ⁃ 技術: アソシエーション分析・ヒューリスティック最適化 ▪ オセロニア道場 ⁃ 手強いAIと対戦することによるプレイヤーへの学習支援 ⁃ 技術: 教師あり学習・強化学習 ▪ デッキのアーキタイプ抽出による環境把握 ⁃ バランスのとれた対戦環境になるように、プランニングを支援 ⁃ 技術: トピックモデル ▪ AIプレイヤーによる新キャラリリースの網羅的なテストプレイ ⁃ 資料｜ https://www.slideshare.net/TakumaYoshimura/ss-238429447 ⁃ 技術: バンディットアルゴリズム・強化学習 19
20. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. 『逆転オセロニア』で解決したい課題② 1. 対戦環境に似たようなデッキばかりだと飽きてしまう 2. 特定の駒が強すぎるとプレイヤー間に格差が生まれる 1. デッキのアーキタイプ抽出による環境把握 2. AIプレイヤーによる新キャラリリースの網羅的なテストプレイ* 20 ゲームの対戦環境を適正化し、プレイヤーの満足度をあげたい
 AI技術による効率的かつ公平なバランス調整

21. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. AIの活用事例③ デッキのアーキタイプ抽出による環境把握 デッキアーキタイプとは？ ▪ 戦い方についてのコンセプトを持つデッキ構成 ⁃ 例）短いターンで決着を目指す「速攻デッキ」など ⁃ トレーディングカードゲームでは一般的な概念 ▪ アーキタイプの種類は多岐にわたり、20種前後確認されている 21 【貫通速攻デッキ】
 高い攻撃力で序盤から
 どんどん大ダメージを与え、 短いターンで決着を狙う。 長期戦に持ち込むデッキに 強いが、攻撃力弱体化スキ ルに弱い 【混合デッキ】
 全属性の駒をデッキに
 組み込むことでバランスの 取れたデッキ。
 どのアーキタイプにも
 バランスよく戦える

22. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. デッキアーキタイプ把握の重要性 ▪ アーキタイプの相互関係は 対戦環境に大きな影響を及ぼす ▪ アーキタイプバランスを保つことが大切 22 A
 B
 C 対戦環境

23. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. デッキアーキタイプ把握の重要性 ▪ アーキタイプの相互関係は 対戦環境に大きな影響を及ぼす ▪ アーキタイプバランスが崩れると... ⁃ プレイヤー体験に影響 (例｜ 特定の アーキタイプが強すぎてつまらない) ⁃ 中長期の継続率に大きな影響 ▪ バランスの把握＆メンテナンスが重要 23 A
 B
 C 対戦環境

24. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. ゲーム運用上の問題点と解決の方針 ▪ 運用上の問題点 ⁃ 特定のアーキタイプが強すぎる ⁃ アーキタイプの優劣が固定化されている ▪ 問題点を解決したい ⁃ 対戦環境を平均化・ダイナミックにすることでプレイヤー体験を向上したい ⁃ 運用上のポリシー • 禁止駒のグランドルールはない ⁃ プランニングのアクション • 駒の追加 • 属性補正の追加 24
25. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. 定性情報に基づいたプランニングとその問題点
 A
 B
 C 対戦環境
 ？
 ？
 プランナー
 25 25 ▪ 定性 = 人力
 ⁃ プランナーがクラスマッチを徹底的にプレイ＋プレイヤーの声
 ⁃ 蓄積した定性意見を元にプランニング

26. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. A
 B
 C 対戦環境
 ？
 ？
 問題点１
 
 プレイング
 習熟まで時間が
 必要
 定性情報に基づいたプランニングとその問題点
 26 26 ▪ 定性 = 人力
 ⁃ プランナーがクラスマッチを徹底的にプレイ＋プレイヤーの声
 ⁃ 蓄積した定性意見を元にプランニング

27. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. A
 B
 C 対戦環境
 ？
 ？
 問題点１
 
 プレイング
 習熟まで時間が
 必要
 定性情報に基づいたプランニングとその問題点
 問題点2
 
 客観的に判断を
 する難易度が高い
 27 27 ▪ 定性 = 人力
 ⁃ プランナーがクラスマッチを徹底的にプレイ＋プレイヤーの声
 ⁃ 蓄積した定性意見を元にプランニング

28. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. A
 B
 C 対戦環境
 ？
 ？
 問題点１
 
 プレイング
 習熟まで時間が
 必要
 定性情報に基づいたプランニングとその問題点
 問題点3
 
 増え続ける
 アーキタイプ数への
 対応が難しい
 問題点2
 
 客観的に判断を
 する難易度が高い
 28 ▪ 定性 = 人力
 ⁃ プランナーがクラスマッチを徹底的にプレイ＋プレイヤーの声
 ⁃ 蓄積した定性意見を元にプランニング

29. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. A
 B
 C 対戦環境
 ？
 ？
 問題点１
 
 プレイング
 習熟まで時間が
 必要
 定性情報に基づいたプランニングとその問題点
 問題点2
 
 客観的に判断を
 する難易度が高い
 問題点3
 
 増え続ける
 アーキタイプ数への
 対応が難しい
 機械学習で定量的・自動的にアーキタイプを
 抽出できないか？
 29 ▪ 定性 = 人力
 ⁃ プランナーがクラスマッチを徹底的にプレイ＋プレイヤーの声
 ⁃ 蓄積した定性意見を元にプランニング

30. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. 機械学習に使用するデータ ▪ シーズンマッチ ダイヤモンド帯のデッキデータ
 ⁃ ユーザーのリテラシーが高く、デッキのアーキタイプが成立している
 
 ▪ 週次データ
 ⁃ バトル数: 数十万
 ⁃ ユニークなデッキ数: 数十万
 
 ▪ 月次データで属性補正ごと
 ⁃ 属性補正の種類 (e.g. 1ヶ月で5種類前後)
 ⁃ バトル数: 数十万
 ⁃ ユニークなデッキ数: 数十万
 30 ブロンズ
 シルバー
 ゴールド
 プラチナ
 ダイヤモンド
 シーズンマッチのランク

31. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. 機械学習を用いたデッキアーキタイプ抽出の概要
 機械学習モデル
 
 トピックモデル (LDA: Latent Dirichlet Allocation) 31 31
32. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. パラメータ
 データ
 機械学習を用いたデッキアーキタイプ抽出の概要
 機械学習モデル
 大量のデッキデータ (100,000)
 トピックモデル (LDA: Latent Dirichlet Allocation) 抽出するアーキタイプ数 = 7
 32 32
33. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. 機械学習を用いたデッキアーキタイプ抽出の概要
 機械学習モデル
 大量のデッキデータ (100,000)
 トピックモデル (LDA: Latent Dirichlet Allocation) 
 抽出するアーキタイプ数 = 7
 
 駒1
 駒2
 駒99
 0.5
 0.01
 0.2
 ...
 ...
 アーキタイプA
 駒1
 駒21
 駒99
 0.01
 0.3
 0.2
 ...
 ...
 アーキタイプB
 駒1
 駒77
 駒99
 0.01
 0.4
 0.2
 ...
 ...
 アーキタイプG
 ...
 ...
 ...
 アーキタイプの解釈はプランナーが行う
 各アーキタイプの組成 (A~Gの7つ)
 ...
 ...
 33 33
34. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. 確率
 デッキ100,000
 デッキ1
 機械学習を用いたデッキアーキタイプ抽出の概要
 機械学習モデル
 大量のデッキデータ (100,000)
 トピックモデル (LDA: Latent Dirichlet Allocation) ...
 
 抽出するアーキタイプ数 = 7
 
 駒1
 駒2
 駒99
 0.5
 0.01
 0.2
 ...
 ...
 アーキタイプA
 駒1
 駒21
 駒99
 0.01
 0.3
 0.2
 ...
 ...
 アーキタイプB
 駒1
 駒77
 駒99
 0.01
 0.4
 0.2
 ...
 ...
 アーキタイプG
 ...
 ...
 ...
 各デッキが属するアーキタイプ
 ...
 ...
 34 34
35. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. トピックモデルを用いたデッキアーキタイプ抽出
 駒1
 駒2
 駒99
 0.5
 0.01
 0.2
 ...
 ...
 3) トピック＝アーキタイプ
 　　　　　　=駒上の確率分布
 アーキタイプA
 駒1
 駒21
 駒99
 0.01
 0.6
 0.02
 ...
 ...
 アーキタイプB
 ...
 ...
 2) ドキュメント＝デッキ＝アーキタイプ上の確率分布
 駒1
 駒77
 駒99
 0.01
 0.1
 0.7
 ...
 ...
 アーキタイプG
 ...
 ...
 ...
 ...
 ...
 A
 B
 G
 アーキタイプ
 割り当て
 1) ドキュメント内の単語＝デッキ内の駒
 35 35
36. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. トピックモデルの利点 ▪ 実装が簡単 (pythonパッケージあり: gensim)
 ▪ 新しいアーキタイプを抽出可能
 ▪ 時系列でのアーキタイプの紐付けが容易 (確率分布間の類似度)
 ▪ パフォーマンスが良い (駒が複数アーキタイプに共有される悪条件)
 36
37. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. デッキアーキタイプの抽出フロー
 アーキタイプA,
 アーキタイプB,...
 週 T
 既存のアーキタイプと比較
 Raw対戦ログ
 (デッキ, 勝敗, ターン数 etc.)
 アーキタイプ抽出処理
 ...
 Raw対戦ログ
 (デッキ, 勝敗, ターン数 etc.)
 前処理
 週 T+1
 ...
 アーキタイプA
 アーキタイプB
 ルールベース抽出
 アーキタイプ1,
 アーキタイプ2,...
 37 37
38. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. デッキアーキタイプの抽出フロー
 アーキタイプA,
 アーキタイプB,...
 週 T
 既存のアーキタイプと比較
 Raw対戦ログ
 (デッキ, 勝敗, ターン数 etc.)
 アーキタイプ抽出処理
 ...
 Raw対戦ログ
 (デッキ, 勝敗, ターン数 etc.)
 前処理
 週 T+1
 ...
 アーキタイプA
 アーキタイプB
 ルールベース抽出
 アーキタイプ1,
 アーキタイプ2,...
 LDA
 アーキタイプx,
 アーキタイプy,...
 ...
 アーキタイプx
 ...
 アーキタイプy
 38 38
39. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. デッキアーキタイプの抽出フロー
 アーキタイプA,
 アーキタイプB,...
 週 T
 既存のアーキタイプと比較
 Raw対戦ログ
 (デッキ, 勝敗, ターン数 etc.)
 アーキタイプ抽出処理
 Raw対戦ログ
 (デッキ, 勝敗, ターン数 etc.)
 前処理
 ルールベース抽出
 アーキタイプ1,
 アーキタイプ2,...
 LDA
 アーキタイプx,
 アーキタイプy,...
 (New) アーキタイプF
 アーキタイプB,
 アーキタイプD,...
 週 T+1
 既存のアーキタイプと比較
 ...
 ...
 ...
 アーキタイプx
 アーキタイプA
 アーキタイプB
 39 39
40. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. 可視化ツールの紹介 
 対戦表
 プレイヤー数分布
 ※ 数値は乱数に置き換えてあります 40 40
41. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. 改善アクション1〜対戦環境のバランス平均化
 OLDツール 各アーキタイプ勝率グラフ クラス：＊ 月：2019/03 補正：魔H1.1 A0.9 竜H1.1 A0.9 OLDツール 各アーキタイプ対戦表 クラス：＊ 月：2019/03 補正：魔H1.1 A0.9 竜H1.1 A0.9 対戦表
 勝率
 41 41 運用上の課題：特定のアーキタイプが強すぎる
 ▪ 実際に、アーキタイプ分析ツールで突出したアーキタイプがあることを確認した
42. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. 改善アクション2〜勝てるアーキタイプの選択肢を増やす
 OLDツール 各アーキタイプ勝率グラフ クラス：＊ 月：2018/12 補正：all 1.0 OLDツール 各アーキタイプ勝率グラフ クラス：ダイマス 月：2019/03 補正：all 1.0 3ヶ月後
 上位の序列に大きな
 変化がない
 A
 B
 C
 A
 B
 C
 D
 E
 F
 F
 D
 E
 42 42 運用上の課題：アーキタイプ間の優劣が固定化
 ▪ 実際にアーキタイプ分析ツールでアーキタイプ間
 の優劣が固定化していることを確認した

43. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. 運用上の課題：アーキタイプ間の優劣が固定化
 ▪ 実際に、アーキタイプ分析ツールで新たなアーキタイプ「NEW」を検知
 改善アクション3〜新しいアーキタイプの検知と使用率向上
 OLDツール 各アーキタイプ勝率グラフ クラス：＊ 月：2019/03 補正：all 1.0 NEW3 使用率
 NEW
 43 43
44. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. まとめ ▪ オセロニアでは盛んにAI技術・データサイエンス技術の 活用が行われている ⁃ おすすめ編成機能：初心者にとって壁だったデッキ作成を支援 ⁃ オセロニア道場：手強いAIと対戦することによるプレイヤーへの学習支援 ⁃ デッキのアーキタイプ抽出による環境把握： バランスのとれた対戦環境になるように、プランニングを支援 ⁃ などなど・・・ 44 44
45. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. 参考 ▪ CEDEC2018『逆転オセロニア』におけるAI活用 ▪ DeNA TechCon2018 ゲーム体験を支えるための強化学習 ▪ 『逆転オセロニア』における運用効率化支援 〜デッキログのデータマイニン グ〜 ▪ 『逆転オセロニア 』における、機械学習モデルを用いたデッキのアーキタイプ 抽出とゲーム運用への活用 45
46. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. Twitter @DeNAxTech をフォローしよう！ 技術を徹底的に磨き、積み上げ、試行錯誤を繰り返しながら、 幅広いチャレンジを続ける DeNA のエンジニア。 彼らの考え方を見て面白いと思ってもらえるように、彼らの発信について 短く要約してお伝えしてます。ぜひ Twitter フォローお願いします！！