『逆転オセロニア』におけるAI活用を振り返る

Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved.
『逆転オセロニア』におけるAI活用を振り返る
出張！DeNAデータサイエンス輪講 
2020/10/10 
横尾修平 
システム本部AIシステム部 

View Slide

自己紹介
■ 横尾修平（@lyakaap） 
 
■ DeNAには今年の四月に入社 
 
■ データサイエンスグループでオセロニア関係の 
お仕事をしています 
 
■ 趣味：Kaggle 
⁃ Grandmaster 
⁃ 主に画像コンペに参戦 
2

View Slide

今日話すこと 
『逆転オセロニア』というゲームにおいて、どのように 
AI技術・データサイエンス技術が活用されてきたのか 
※ オセロ・Othelloは登録商標です。TM&© Othello,Co. and MegaHouse / © 2016 DeNA Co.,Ltd.
3

View Slide

『逆転オセロニア』とは
■ オセロのルールで簡単にプレイできる
対戦型ゲームアプリ
⁃ 盤面にキャラクター駒を置くことで
様々なスキルやコンボが発動
⁃ 4000種類以上のキャラクター駒の中から
好きな16駒を選んでデッキを組み対戦
⁃ 劣勢からでも逆転の可能性があるのが特徴
■ 2016 年 2 月リリース後、継続的に成長
⁃ 累計 2,800 万ダウンロード突破（2020年8月時点）
4

View Slide

オセロニアでのAI活用事例の概要
■ おすすめ編成機能
⁃ 初心者にとって壁だったデッキ作成を支援
⁃ 技術: アソシエーション分析・ヒューリスティック最適化
■ オセロニア道場
⁃ 手強いAIと対戦することによるプレイヤーへの学習支援
⁃ 技術: 教師あり学習・強化学習
■ デッキのアーキタイプ抽出による環境把握
⁃ バランスのとれた対戦環境になるように、プランニングを支援
⁃ 技術: トピックモデル
■ AIプレイヤーによる新キャラリリースの網羅的なテストプレイ
⁃ 資料｜ https://www.slideshare.net/TakumaYoshimura/ss-238429447
⁃ 技術: バンディットアルゴリズム・強化学習
5

View Slide

6

View Slide

『逆転オセロニア』で解決したい課題①
1. デッキ（駒16体で構成）の組み方は多種多様で迷ってしまう
2. 相手に応じた様々な戦い方を覚えるのが大変
1. デッキのレコメンド機能「オススメ編成」
2. 戦略の学習サポート機能「オセロニア道場」
7
ゲームの奥深さや面白さを知ってもらいたい（目標） 
プレイヤーの学習をサポートする AI を開発し、リリース

View Slide

AI の活用事例① オススメ編成（2018/11リリース）
■ プレイヤーの持っている駒からデッキを素早くレコメンド
⁃ デッキは16体で構成される
⁃ 組んでほしい条件も指定できる
■ 条件に応じて、様々な種類のデッキを組んでくれる
8
①デッキの属性 
②デッキのコスト 
③使用したい 
　キャラクター駒  
（任意） 
AI がオススメの 
デッキを提案 

View Slide

AI ロジックの全体像
■ アソシエーション分析を活用
⁃ 大量のデッキ編成ログをもとにキャラクター間の関係性を抽出
■ 分析結果を利用してオススメのデッキをレコメンド
9
※『逆転オセロニア』における運用効率化支援〜デッキログのデータマイニング〜 
https://www.slideshare.net/dena_tech/ss-87960853 
 
オススメの
デッキ作って！
アソシエーションルールの抽出
（アソシエーション分析）
レコメンド API サーバー
大量のデッキ編成ログ

View Slide

アソシエーション分析
■ 大規模データに存在する関係性を抽出する分析手法
⁃ 関係を支持度、信頼度、リフトと呼ばれる指標で定量化できる
10
ルール  支持度  信頼度  リフト 
アバドン → アズリエル  5%  50%  2.0 
ガラム → ジークフリート  25%  40%  1.5 
フレデリカ → アルキメデス  20%  45%  2.1 
ラヴーシュカ → アルキメデス   5%  30%  2.0 
デネヴ → クロリス  55%  60%  2.3 
…  …  …  … 
組み合わせの
頻度  ルールの有用
度
前者のキャラがいるときに 
後者のキャラが含まれる確率 
基本的にはスコアの高い組み合わせを
オススメしていけば定番のデッキを作れる

View Slide

デッキ構築ロジックの概要
11
❶編成条件
❷リーダーキャラクターの選
択
❸ルールの元になる
キャラクターの選択
❹関係性の高い
キャラクターを選択
❺オススメデッキの提案
ルール採用
ルール採用
ルール不採用
細かな工夫も随所に施している 
● コストチェック 
● スキル発動チェック 
● 属性チェック 
● 動的なパラメタ選定 
● ... 

View Slide

導入後の結果
■ 初心者プレイヤーに順調に利用さ
れている
■ 上位プレイヤーにも一定、利用され
ている
12
■ 機能を使った初心者のPvP勝率が
+5pt程度改善
■ 序盤のつまづき低減をサポート
時刻
勝率 
(初心者プレイヤー) 
リリース 
「おすすめ編成」で作成したデッキ
 
「おすすめ編成」を使わずに作成したデッキ
 
利用回数 
(初心者プレイヤー) 
リリース 
デッキ編成を促す 
イベントで認知拡大 
時刻

View Slide

AI の活用事例② オセロニア道場（2019/3リリース）
■ 実際の PvP（対人戦）と同じような条件下で、
本物の人間のような手応えのある AI と気軽に戦える機能
■ 多様な相手と戦い、相手に応じた戦略の学習をサポートをしたい
13
色々な種類のデッキから戦
いたい AI を選択 
人間のような戦いをする 
AI と対戦できる！ 
AI の強さレベルを選択 

View Slide

深層学習を用いた戦略の学習
■ Deep Learning (Neural Network) を活用
■ 上位プレイヤーの棋譜を用いて戦略を学習
14
5 1 9 2 5 3
0 4 5 1 2 7
1 4 7 8 4 6
3 1 4 9 0 4
6 4 6 8 7 3
2 3 5 1 6 0
Deep Neural Network  行動の評価値 
5 1 9 2 5 3
0 4 5 1 2 7
1 4 7 8 4 6
3 1 4 9 0 4
6 4 6 8 7 3
2 3 5 1 6 0
5 1 9 2 5 3
0 4 5 1 2 7
1 4 7 8 4 6
3 1 4 9 0 4
6 4 6 8 7 3
2 3 5 1 6 0
大量の対戦棋譜  特徴量変換  学習  推論 
約5,000の 
特徴 
1千万件以上
の棋譜 
教師信号 
プレイヤーがその行動を 
取ったか否かの２値 

View Slide

モデルの訓練の工夫・Tips
■ Data Augmentation（データ拡張）
⁃ 盤面の回転
⁃ デッキ、手駒の順番シャッフル
■ Bidirectional LSTM/GRU
⁃ 行動履歴の入力
⁃ デッキ、手駒の学習（集合情報を暗黙的に学習してくれることを期待）
■ 駒の Embedding
⁃ 駒（3,000 体以上）を one-hot ベクトル（約 3,000 次元）ではなく、
より低次元の Embedding ベクトルで学習を効率化
■ 特徴量エンジニアリング
⁃ 盤面の黒駒の数、デッキの攻撃力平均、隅/X/Cマスの各色の駒数、など
⁃ Embedding ベクトルの足し合わせ（デッキ全体の特徴の表現を期待）
15

View Slide

（参考）Network アーキテクチャ
16
打ち手1の評価値
FC-BN-DO-elu
(2048)
Concat
FC-BN-DO-elu
(1024)
FC
(1)
ステータスデッキ手駒盤面選択可能な打ち手
打ち手2の評価値
打ち手Nの評価値
…
Concat
Concat
Concat
打ち手 1
打ち手 2
打ち手 N
Player
Opponent (leader, HP)　 Opponent (aura, curse)
Player
Flatten or CNN-like
❸Embedding
❶Augmentation ❶Augmentation
❷BiGRU
❷BiGRU
❷BiGRU
❹Sum

View Slide

（参考）System アーキテクチャ 
Training
Serving
推論システム
❻推論 API
Kubernetes Engine
❾打ち手の評価値
道場プレイ
（vs. AI）
❽オンライン予測API
Cloud Machine Learning Engine (CMLE)
特徴量
❾打ち手の評価値
❺棋譜
❷AI モデルの作成
PvP 対戦
BigQuery 前処理・特徴量作成
Compute Engine
学習
Compute Engine
Cloud
Storage
Cloud
Storage
❶棋譜
棋譜 AI モデル
AI モデル
❸モデル保存
❹モデル読込
（デプロイ）
❼特徴抽出 API
App Engine
特徴量
棋譜
※『逆転オセロニア』対戦型 AI のバックエンドの実装 https://www.slideshare.net/ShoheiMiyashita1/ai-140397029  17

View Slide

導入後の結果: AI の対プレイヤー勝率
18
プレイヤーの 
熟練具合 
AI の対プレイヤー勝率 
（レベル別） 
ビギナー  エキスパート 
AI は熟練プレイヤーに対しても 
十分な強さを誇っている 
初心者プレイヤーは対戦相手として 
複数段階のレベルの AI と対戦できている 

View Slide

19

View Slide

『逆転オセロニア』で解決したい課題②
1. 対戦環境に似たようなデッキばかりだと飽きてしまう
2. 特定の駒が強すぎるとプレイヤー間に格差が生まれる
1. デッキのアーキタイプ抽出による環境把握
2. AIプレイヤーによる新キャラリリースの網羅的なテストプレイ*
20
ゲームの対戦環境を適正化し、プレイヤーの満足度をあげたい 
AI技術による効率的かつ公平なバランス調整 

View Slide

AIの活用事例③ デッキのアーキタイプ抽出による環境把握
デッキアーキタイプとは？
■ 戦い方についてのコンセプトを持つデッキ構成
⁃ 例）短いターンで決着を目指す「速攻デッキ」など
⁃ トレーディングカードゲームでは一般的な概念
■ アーキタイプの種類は多岐にわたり、20種前後確認されている
21
【貫通速攻デッキ】 
高い攻撃力で序盤から 
どんどん大ダメージを与え、
短いターンで決着を狙う。
長期戦に持ち込むデッキに
強いが、攻撃力弱体化スキ
ルに弱い
【混合デッキ】 
全属性の駒をデッキに 
組み込むことでバランスの
取れたデッキ。 
どのアーキタイプにも 
バランスよく戦える 

View Slide

デッキアーキタイプ把握の重要性
■ アーキタイプの相互関係は
対戦環境に大きな影響を及ぼす
■ アーキタイプバランスを保つことが大切
22
A 
B  C
対戦環境 

View Slide

デッキアーキタイプ把握の重要性
■ アーキタイプの相互関係は
対戦環境に大きな影響を及ぼす
■ アーキタイプバランスが崩れると...
⁃ プレイヤー体験に影響 (例｜特定の
アーキタイプが強すぎてつまらない)
⁃ 中長期の継続率に大きな影響
■ バランスの把握＆メンテナンスが重要
23
A 
B  C
対戦環境 

View Slide

ゲーム運用上の問題点と解決の方針
■ 運用上の問題点
⁃ 特定のアーキタイプが強すぎる
⁃ アーキタイプの優劣が固定化されている
■ 問題点を解決したい
⁃ 対戦環境を平均化・ダイナミックにすることでプレイヤー体験を向上したい
⁃ 運用上のポリシー
• 禁止駒のグランドルールはない
⁃ プランニングのアクション
• 駒の追加
• 属性補正の追加
24

View Slide

定性情報に基づいたプランニングとその問題点 
A 
B  C
対戦環境 
？ 
？ 
プランナー 
25
25
■ 定性 = 人力 
⁃ プランナーがクラスマッチを徹底的にプレイ＋プレイヤーの声 
⁃ 蓄積した定性意見を元にプランニング 

View Slide

A 
B  C
対戦環境 
？ 
？ 
問題点１ 
 
プレイング 
習熟まで時間が 
必要 
26
26

View Slide

A 
B  C
対戦環境 
？ 
？ 
問題点１ 
 
プレイング 
必要 
問題点2 
 
客観的に判断を 
する難易度が高い 
27
27

View Slide

A 
B  C
対戦環境 
？ 
？ 
問題点１ 
 
プレイング 
必要 
問題点3 
 
増え続ける 
アーキタイプ数への 
対応が難しい 
問題点2 
 
28

View Slide

A 
B  C
対戦環境 
？ 
？ 
問題点１ 
 
プレイング 
必要 
問題点2 
 
問題点3 
 
増え続ける 
アーキタイプ数への 
対応が難しい 
機械学習で定量的・自動的にアーキタイプを 
抽出できないか？ 
29

View Slide

機械学習に使用するデータ
■ シーズンマッチダイヤモンド帯のデッキデータ 
⁃ ユーザーのリテラシーが高く、デッキのアーキタイプが成立している 
 
■ 週次データ 
⁃ バトル数: 数十万 
⁃ ユニークなデッキ数: 数十万 
 
■ 月次データで属性補正ごと 
⁃ 属性補正の種類 (e.g. 1ヶ月で5種類前後) 
⁃ バトル数: 数十万 
⁃ ユニークなデッキ数: 数十万 
30
ブロンズ 
シルバー 
ゴールド 
プラチナ 
ダイヤモンド 
シーズンマッチのランク 

View Slide

機械学習を用いたデッキアーキタイプ抽出の概要 
機械学習モデル 
 
トピックモデル (LDA: Latent Dirichlet Allocation)
31
31

View Slide

パラメータ 
データ 
大量のデッキデータ (100,000) 
抽出するアーキタイプ数 = 7 
32
32

View Slide

 
 
駒1 
駒2 
駒99 
0.5 
0.01 
0.2 
... 
... 
アーキタイプA 
駒1 
駒21 
駒99 
0.01 
0.3 
0.2 
... 
... 
アーキタイプB 
駒1 
駒77 
駒99 
0.01 
0.4 
0.2 
... 
... 
アーキタイプG 
... 
... 
... 
アーキタイプの解釈はプランナーが行う 
各アーキタイプの組成 (A~Gの7つ) 
... 
... 
33
33

View Slide

確率 
デッキ100,000 
デッキ1 
... 
 
 
駒1 
駒2 
駒99 
0.5 
0.01 
0.2 
... 
... 
駒1 
駒21 
駒99 
0.01 
0.3 
0.2 
... 
... 
駒1 
駒77 
駒99 
0.01 
0.4 
0.2 
... 
... 
... 
... 
... 
各デッキが属するアーキタイプ 
... 
... 
34
34

View Slide

トピックモデルを用いたデッキアーキタイプ抽出 
駒1 
駒2 
駒99 
0.5 
0.01 
0.2 
... 
... 
3) トピック＝アーキタイプ 
　　　　　　=駒上の確率分布 
駒1 
駒21 
駒99 
0.01 
0.6 
0.02 
... 
... 
... 
... 
2) ドキュメント＝デッキ＝アーキタイプ上の確率分布 
駒1 
駒77 
駒99 
0.01 
0.1 
0.7 
... 
... 
... 
... 
... 
... 
... 
A  B  G 
アーキタイプ 
割り当て 
1) ドキュメント内の単語＝デッキ内の駒 
35
35

View Slide

トピックモデルの利点
■ 実装が簡単 (pythonパッケージあり: gensim) 
■ 新しいアーキタイプを抽出可能 
■ 時系列でのアーキタイプの紐付けが容易 (確率分布間の類似度) 
■ パフォーマンスが良い (駒が複数アーキタイプに共有される悪条件) 
36

View Slide

デッキアーキタイプの抽出フロー 
アーキタイプA, 
アーキタイプB,... 
週 T 
既存のアーキタイプと比較 
Raw対戦ログ 
(デッキ, 勝敗, ターン数 etc.) 
アーキタイプ抽出処理 
... 
Raw対戦ログ 
前処理 
週 T+1 
... 
ルールベース抽出 
アーキタイプ1, 
アーキタイプ2,... 
37
37

View Slide

週 T 
Raw対戦ログ 
... 
Raw対戦ログ 
前処理 
週 T+1 
... 
LDA 
アーキタイプx, 
アーキタイプy,... 
... 
アーキタイプx 
... 
アーキタイプy 
38
38

View Slide

週 T 
Raw対戦ログ 
Raw対戦ログ 
前処理 
LDA 
アーキタイプx, 
アーキタイプy,... 
(New) アーキタイプF 
アーキタイプB, 
アーキタイプD,... 
週 T+1 
... 
... 
... 
アーキタイプx 
39
39

View Slide

可視化ツールの紹介  
対戦表  プレイヤー数分布 
※ 数値は乱数に置き換えてあります
40
40

View Slide

改善アクション1〜対戦環境のバランス平均化 
OLDツール
各アーキタイプ勝率グラフ
クラス：＊
月：2019/03
補正：魔H1.1 A0.9 竜H1.1 A0.9
OLDツール
各アーキタイプ対戦表
クラス：＊
月：2019/03
補正：魔H1.1 A0.9 竜H1.1 A0.9
対戦表 
勝率 
41
41
運用上の課題：特定のアーキタイプが強すぎる 
■ 実際に、アーキタイプ分析ツールで突出したアーキタイプがあることを確認した

View Slide

改善アクション2〜勝てるアーキタイプの選択肢を増やす 
OLDツール
クラス：＊
月：2018/12
補正：all 1.0
OLDツール
クラス：ダイマス
月：2019/03
補正：all 1.0
3ヶ月後 
上位の序列に大きな 
変化がない 
A 
B 
C  A 
B  C 
D 
E 
F  F 
D 
E  42
42
運用上の課題：アーキタイプ間の優劣が固定化 
■ 実際にアーキタイプ分析ツールでアーキタイプ間 
の優劣が固定化していることを確認した 

View Slide

運用上の課題：アーキタイプ間の優劣が固定化 
■ 実際に、アーキタイプ分析ツールで新たなアーキタイプ「NEW」を検知 
改善アクション3〜新しいアーキタイプの検知と使用率向上 
OLDツール
クラス：＊
月：2019/03
補正：all 1.0
NEW3
使用率 
NEW  43
43

View Slide

まとめ
■ オセロニアでは盛んにAI技術・データサイエンス技術の
活用が行われている
⁃ おすすめ編成機能：初心者にとって壁だったデッキ作成を支援
⁃ オセロニア道場：手強いAIと対戦することによるプレイヤーへの学習支援
⁃ デッキのアーキタイプ抽出による環境把握：
バランスのとれた対戦環境になるように、プランニングを支援
⁃ などなど・・・
44
44

View Slide

参考
■ CEDEC2018『逆転オセロニア』におけるAI活用
■ DeNA TechCon2018 ゲーム体験を支えるための強化学習
■ 『逆転オセロニア』における運用効率化支援〜デッキログのデータマイニン
グ〜
■ 『逆転オセロニア』における、機械学習モデルを用いたデッキのアーキタイプ
抽出とゲーム運用への活用
45

View Slide

Twitter @DeNAxTech をフォローしよう！
技術を徹底的に磨き、積み上げ、試行錯誤を繰り返しながら、
幅広いチャレンジを続ける DeNA のエンジニア。
彼らの考え方を見て面白いと思ってもらえるように、彼らの発信について
短く要約してお伝えしてます。ぜひ Twitter フォローお願いします！！

View Slide

『逆転オセロニア』におけるAI活用を振り返る

『逆転オセロニア』におけるAI活用を振り返る

DeNA_Tech
PRO

More Decks by DeNA_Tech

Other Decks in Technology

Featured

Transcript

『逆転オセロニア』におけるAI活用を振り返る

『逆転オセロニア』におけるAI活用を振り返る

DeNA_Tech PRO

More Decks by DeNA_Tech

Other Decks in Technology

Featured

Transcript

DeNA_Tech
PRO