Share
Embed
機械学習ベースの自動プレイエージェントを用いたバランス設計効率化の追求
CEDEC 2019 にて発表された資料です
https://cedec.cesa.or.jp/2019/session/detail/s5c989964626e1
Transcript
148 slides
-
自己紹介 Sohei Morita 森田 想平 2009年入社。 データエンジニアとして働いたのち、現在は事業横断部門でデータ 基盤 /
AIリサーチ / ビジネスアナリシスを担当するグループのマ ネージャーを務める。 本プロジェクトではプロジェクトマネジメントと一部の開発を担当。 -
本発表の概要 ゲームコンテンツのバランス調整を効率化するために、 自動プレイエージェントの導入を検証しているプロジェク トに関して • 解決したい課題 • 開発検証しているシステムの構成 •
開発プロジェクトはどう進んできたか をお話します -
本発表でお伝えしたいこと G D E N P M 知見を言語化して 伝える それを
理解する プロジェクト全体の進行管理 それを 理解する システムのロジック を説明する システムが複雑になり すぎるのを防ぐ 言語化の補強をする -
目次 運用の課題 エージェントの開 発/検証 プロジェクトは どう進んだか まとめ ダンメモについて 現状のボスバトルの設計方法とその課題 自動プレイ環境/ルールベースエージェントの構築
機械学習エージェントの構築 振り返り:GD・ENは何をしたのか 最初の失敗 システム開発の進め方 研究サーベイの進め方 振り返り:PMは何をしたのか -
目次 運用の課題 エージェントの開 発/検証 プロジェクトは どう進んだか まとめ ダンメモについて 現状のボスバトルの設計方法とその課題 自動プレイ環境/ルールベースエージェントの構築
機械学習エージェントの構築 振り返り:GD・ENは何をしたのか 最初の失敗 システム開発の進め方 研究サーベイの進め方 振り返り:PMは何をしたのか -
目次 運用の課題 エージェントの開 発/検証 プロジェクトは どう進んだか まとめ ダンメモについて 現状のボスバトルの設計方法とその課題 自動プレイ環境/ルールベースエージェントの構築
機械学習エージェントの構築 振り返り:GD・ENは何をしたのか 最初の失敗 システム開発の進め方 研究サーベイの進め方 振り返り:PMは何をしたのか -
2017年6月19日リリース(おかげさまで2周年!) 「ダンまち」初のスマートフォン向けゲームアプリ 原作者 大森藤ノ先生 完全監修のストーリー 総ワード数 85,000超の全編フルボイス
ダンまち〜メモリア・フレーゼ〜(以降ダンメモ)とは? © 大森藤ノ・SBクリエイティブ/ダンまち2製作委員会 -
通常バトルの設計 シナリオに付随 世界観を楽しんでもらうためのコンテンツ 通常バトル(低難易度コンテンツ) 想定パーティーを用いてオートでクリア可能 ※想定パーティ = 表記難易度に対して適正な強さのパーティ
攻略要素が必要など過剰に難しくしない 表記難易度に沿っていればOK © 大森藤ノ・SBクリエイティブ/ダンまち2製作委員会 -
ボスバトルの設計 難易度:6段階 ターン制限:15ターン ボスバトル(高難易度コンテンツ) 挑戦難易度 生存ターン数 与ダメージ量 を最大化してハイスコアを取る
最適な行動を考える必要があるバトル © 大森藤ノ・SBクリエイティブ/ダンまち2製作委員会 -
ボスバトルでのスコア計算 合計ダメージ 生存ターンボーナス 難易度ボーナス aaaa 最終スコア = 合計ダメージ ×
(1+生存ターンボーナス) × (1+難易度ボーナス) 覚えなくていいです © 大森藤ノ・SBクリエイティブ/ダンまち2製作委員会 -
挑戦難易度 生存ターン数 与ダメージ量 を最大化してハイスコアを取る 最適な行動を考える必要があるバトル ボスバトルの設計 難易度:6段階 ターン制限:15ターン
ボスバトル(高難易度コンテンツ) © 大森藤ノ・SBクリエイティブ/ダンまち2製作委員会 想定パーティーを用いて最適行動でハイスコア獲得 -
目次 運用の課題 エージェントの開 発/検証 プロジェクトは どう進んだか まとめ ダンメモについて 現状のボスバトルの設計方法とその課題 自動プレイ環境/ルールベースエージェントの構築
機械学習エージェントの構築 振り返り:GD・ENは何をしたのか 最初の失敗 システム開発の進め方 研究サーベイの進め方 振り返り:PMは何をしたのか -
ボスバトルの設計フローと課題 ステージ 設計 マスターデー タ設定 ビルド テスト プレイ バランス 調整
主にステージ設計、バランス調整において ダンメモに詳しい熟練のゲームデザイナーでないと難しい 主にテストプレイにおいて 手動プレイである分、通常バトルよりも膨大な時間がかかる -
ボスバトルの設計フロー ステージ 設計 マスターデー タ設定 ビルド テスト プレイ バランス 調整
①想定パーティの決定 ②敵の基本パラメータの決定 ③ユーザセグメント別のゴール設定 -
活躍させたいキャラクターを複数決定 登場したばかりの新キャラクターの活用 過去活躍する場面のなかった既存キャラクターを新たに活用 (通常バトルではキャラクターに関わらずレベル帯だけ一致していればOKだった) ステージ設計
①想定パーティの決定 新しい遊びの提供 継続的なキャラクター育成欲求の形成 今回はこのあたりがいい © 大森藤ノ・SBクリエイティブ/ダンまち2製作委員会 -
活躍させたいキャラクターを 複数決定 ステージ設計 ①想定パーティの決定 そのキャラクターを用いて ハイスコアが出せるパーティを作る ※パーティは一例です ©
大森藤ノ・SBクリエイティブ/ダンまち2製作委員会 -
活躍させたいキャラクターを 複数決定 ステージ設計 ①想定パーティの決定 そのキャラクターを用いて ハイスコアが出せるパーティを作る ※パーティは一例です ©
大森藤ノ・SBクリエイティブ/ダンまち2製作委員会 課題 ダンメモのキャラをすべて把握していないと ベストなパーティを組むことが難しい -
ステージ設計 ②敵の基本パラメータの決定 想定パーティがハイスコアを取れるように ボスのパラメータを決定する ex) パーティに火属性のキャラクターが多い → 火属性耐性を下げる 活躍させたいキャラクターが物理攻撃デバフを持っている → 物理攻撃が強 いボスにする
物理攻撃のボスなので、 そのイメージにマッチするキャラクターの選定もします © 大森藤ノ・SBクリエイティブ/ダンまち2製作委員会 -
ユーザセグメント別に 適正な難易度でハイスコアが出るようにする ステージ設計 ③ユーザセグメント別の設計 ラ イ ト ミ
ド ル なんとか15ターン 生き残りたい… 生き残るだけじゃなく もっと高い難易度に挑戦 したい ハイスコア狙うぞ! ランキング上位にも入り たい! 継続的な成長欲求の形成 ヘ ビ -
テストプレイの前に ①想定パーティの決定 ③ユーザセグメント別の ゴール設定 この情報だけでテストプレイを始めるのは途方もない… テストプレイのための定量的な目標値を決めたい ②敵の基本パラメータ の決定
© 大森藤ノ・SBクリエイティブ/ダンまち2製作委員会 -
ボスバトルの設計フロー ステージ 設計 マスターデー タ設定 ビルド テスト プレイ バランス 調整
①想定パーティの決定 ②敵の基本パラメータの決定 ③ユーザセグメント別のゴール設定 ①目標値の設定 ②実際にプレイする -
何ターン生き残るか テストプレイ ①目標値の設定
テストプレイの指標として、具体的な目標値を設定する ※赤ラインは理想のハイスコア帯 -
スコアを算出してみる テストプレイ ①目標値の設定
ついでにもう一つ指標ができました ※赤ラインは理想のハイスコア帯 aaaa 最終スコア = 合計ダメージ × (1+生存ターンボーナス) × (1+難易度ボーナス) 1ターンあたりのダメージ量を実績ベースで出し、 目標生存ターン数を入れればざっくり最終スコアを算出できる -
ボスバトルの設計フロー ステージ 設計 マスターデー タ設定 ビルド テスト プレイ バランス 調整
①想定パーティの決定 ②敵の基本パラメータの決定 ③ユーザセグメント別のゴール設定 ①目標値の設定と検証 ②実際にプレイする テストプレイの結果をもと に、敵のパラメータや行動の 調整を行う -
バランス調整 テストプレイの結果をもとに、敵のパラメータや行動の調整を行う ex) 目標の生存ターン数:10ターン テストプレイ結果:8ターン © 大森藤ノ・SBクリエイティブ/ダンまち2製作委員会
敵の攻撃力を下げてみる 攻撃の回数を減らしてみる 課題 ダンメモの調整に慣れたゲームデザイナーでないと スムーズに調整を行うことができない -
ボスバトルの設計フロー ステージ 設計 マスターデー タ設定 ビルド テスト プレイ バランス 調整
①想定パーティの決定 ②敵の基本パラメータの決定 ③ユーザセグメント別のゴール設定 ①目標値の設定と検証 ②実際にプレイする テストプレイの結果をもと に、敵のパラメータや行動の 調整を行う -
ボスバトル設計の中で挙げられる課題 手動でプレイ 時間がかかる 熟練のゲームデザイナー でないと難しい 膨大な検証数 バトルのランダム要素 パーティを組む コマンド選択 スムーズな
バランス調整 なんとかして欲しい! © 大森藤ノ・SBクリエイティブ/ダンまち2製作委員会 -
目次 運用の課題 エージェントの開 発/検証 プロジェクトは どう進んだか まとめ ダンメモについて 現状のボスバトルの設計方法とその課題 自動プレイ環境/ルールベースエージェントの構築
機械学習エージェントの構築 振り返り:GD・ENは何をしたのか 最初の失敗 システム開発の進め方 研究サーベイの進め方 振り返り:PMは何をしたのか -
自動プレイ環境 実運用のための環境と、検証のための環境、2つを用意してい る 検証環境 • 基本的にエンジニアが使う環境 • 各エージェントのデバッグ・検証や機械学習エージェントの 学習に使う 実運用環境
• 基本的にゲームデザイナーが使う環境 • ルールベースエージェントの利用が可能 • (機械学習エージェントの推論モードの利用を想定) -
検証向け自動プレイ環境 操作 ソケット通信 (バトル) Gym対応 エージェントスクリプト サーバーソケット インターフェース OpenAI Gym
ラッパー 起動 起動 シミュレーター -
自動プレイ環境 Gym対応エージェント スクリプト サーバーソケット インターフェース OpenAI Gym ラッパー ルールAI等の スクリプト
実運用の環境 検証用の環境 シミュレー ター シミュレーター -
自動プレイ環境 Gym対応エージェント スクリプト サーバーソケット インターフェース OpenAI Gym ラッパー ルールAI等の スクリプト
実運用の環境 検証用の環境 シミュレー ター シミュレーター -
開発システムのコンポーネント • ゲーム本体 • シミュレーター • シミュレーターが呼び出すスクリプト ◦ 共通仕様 ◦
ルールベースエージェント ◦ サーバーソケットインタフェース • OpenAI Gymラッパー • Gym対応エージェントスクリプト ◦ ルールベースエージェント ◦ 機械学習モデルの学習用エージェント ◦ 機械学習モデルの推論検証用エージェント -
開発システムのコンポーネント • ゲーム本体 • シミュレーター • シミュレーターが呼び出すスクリプト ◦ 共通仕様 ◦
ルールベースエージェント ◦ サーバーソケットインタフェース • OpenAI Gymラッパー • Gym対応エージェントスクリプト ◦ ルールベースエージェント ◦ 機械学習モデルの学習用エージェント ◦ 機械学習モデルの推論検証用エージェント -
開発システムのコンポーネント • ゲーム本体 • シミュレーター • シミュレーターが呼び出すスクリプト ◦ 共通仕様 ◦
ルールベースエージェント ◦ サーバーソケットインタフェース • OpenAI Gymラッパー • Gym対応エージェントスクリプト ◦ ルールベースエージェント ◦ 機械学習モデルの学習用エージェント ◦ 機械学習モデルの推論検証用エージェント -
シミュレーターが呼び出すスクリプト エージェントがプレイする設定の場合、シミュレーターは path/to/external_script < input.json > output.json を毎ターン実行する external_scriptは設定に応じて切り替えることができる •
ルールベースエージェント • サーバーソケットインターフェース といった種類がある -
開発システムのコンポーネント • ゲーム本体 • シミュレーター • シミュレーターが呼び出すスクリプト ◦ 共通仕様 ▪
バフ/デバフ特徴量 ◦ ルールベースエージェント ◦ サーバーソケットインタフェース • OpenAI Gymラッパー • Gym対応エージェントスクリプト ◦ ルールベースエージェント ◦ 機械学習モデルの学習用エージェント ◦ 機械学習モデルの推論検証用エージェント -
開発システムのコンポーネント • ゲーム本体 • シミュレーター • シミュレーターが呼び出すスクリプト ◦ 共通仕様 ◦
ルールベースエージェント ◦ サーバーソケットインタフェース • OpenAI Gymラッパー • Gym対応エージェントスクリプト ◦ ルールベースエージェント ◦ 機械学習モデルの学習用エージェント ◦ 機械学習モデルの推論検証用エージェント -
ルールベースエージェント ゲームデザイナーがシンプルな行動ルールを考え、 それをそのままコードにする。ダンメモにおいてはそ れなりに強い if PC_ID_XXX in status.keys(): if
status[PC_ID_XXX]['effect']['buff']['attack']['_strength'][1] > 0: commands[PC_ID_XXX] = 'SKILL3' ルールの例 ルールベース エージェント -
ルールベースエージェントの課題 • 熟練ゲームデザイナーでないとルール作成が難しい • ステージ数が少ない場合は手動で戦った方が早い • 汎用的なルール作成は複雑で難しい •
同じパーティとボスでも、難易度により行動が変化する • あらゆる情報を複合的に判断している • 現ターン数、バフ残ターン数、生存キャラなど • 過去の経験から未来を予測をする • 人間は数回プレイをし、ボスの行動を記憶している -
目次 運用の課題 エージェントの開 発/検証 プロジェクトは どう進んだか まとめ ダンメモのバトルについて 現状のボスバトルの設計方法とその課題 自動プレイ環境/ルールベースエージェントの構築
機械学習エージェントの構築 振り返り:GD・ENは何をしたのか 最初の失敗 システム開発の進め方 研究サーベイの進め方 振り返り:PMは何をしたのか -
検証向け自動プレイ環境 操作 ソケット通信 (バトル) Gym対応 エージェントスクリプト サーバーソケット インターフェース OpenAI Gym
ラッパー 起動 起動 シミュレーター -
検証向け自動プレイ環境 操作 ソケット通信 (バトル) Gym対応 エージェントスクリプト サーバーソケット インターフェース OpenAI Gym
ラッパー 起動 起動 シミュレーター -
開発システムのコンポーネント • ゲーム本体 • シミュレーター • シミュレーターが呼び出すスクリプト ◦ 共通仕様 ◦
ルールベースエージェント ◦ サーバーソケットインタフェース • OpenAI Gymラッパー • Gym対応エージェントスクリプト ◦ ルールベースエージェント ◦ 機械学習モデルの学習用エージェント ◦ 機械学習モデルの推論検証用エージェント -
サーバーソケットインターフェース input_data = json.load(sys.stdin) with socket.socket(socket.AF_INET, socket.SOCK_STREAM) as s:
finish = False s.bind((BIND_IP, BIND_PORT)) s.listen(1) while not finish: conn, addr = s.accept() with conn: while True: data = conn.recv(MESSAGE_SIZE) if data.decode('utf-8') == 'state': conn.send(json.dumps(input_data).encode('utf-8')) elif 'action' in json.loads(data.decode('utf-8')): action = json.loads(data.decode('utf-8'))['action'] finish = True ... json.dump(output_data, sys.stdout, indent = 4, ensure_ascii = False) -
開発システムのコンポーネント • ゲーム本体 • シミュレーター • シミュレーターが呼び出すスクリプト ◦ 共通仕様 ◦
ルールベースエージェント ◦ サーバーソケットインタフェース • OpenAI Gymラッパー • Gym対応エージェントスクリプト ◦ ルールベースエージェント ◦ 機械学習モデルの学習用エージェント ◦ 機械学習モデルの推論検証用エージェント -
OpenAI Gymラッパーの役割 Gym ラッパー シミュレーター ゲーム本体 サーバーソケット インタフェース whileループでconnect() 起動
ターンごとに起動 Gym対応 エージェント スクリプト 操作 -
OpenAI Gymラッパー def reset(self): #シミュレーターを起動するために呼び出す … while True:
with socket.socket(socket.AF_INET, socket.SOCK_STREAM) as s: s.connect((SIM_IP, SIM_PORT + PARALLEL_PARAM)) s.send('state'.encode('utf-8')) observation = json.loads(s.recv(MESSAGE_SIZE).decode('utf-8')) … def step(self, action): #1ターン進めるために呼び出す … with socket.socket(socket.AF_INET, socket.SOCK_STREAM) as s: s.connect((SIM_IP, SIM_PORT + PARALLEL_PARAM)) s.send(json.dumps({'action': action}).encode('utf-8') … -
開発システムのコンポーネント • ゲーム本体 • シミュレーター • シミュレーターが呼び出すスクリプト ◦ 共通仕様 ◦
ルールベースエージェント ◦ サーバーソケットインタフェース • OpenAI Gymラッパー • Gym対応エージェントスクリプト ◦ ルールベースエージェント ◦ 機械学習モデルの学習用エージェント ◦ 機械学習モデルの推論検証用エージェント -
教師あり学習のシステム構成 Gym ラッパー シミュレーター ゲーム本体 サーバーソケット インタフェース whileループでconnect() 起動 ターンごとに起動
ルールベース エージェント 操作 機械学習 モデル プレイログ 教師あり学習 -
強化学習のシステム構成 Gym ラッパー シミュレーター ゲーム本体 サーバーソケット インタフェース whileループでconnect() 起動 ターンごとに起動
強化学習 エージェント 操作 機械学習 モデル -
目次 運用の課題 エージェントの開 発/検証 プロジェクトは どう進んだか まとめ ダンメモのバトルについて 現状のボスバトルの設計方法とその課題 自動プレイ環境/ルールベースエージェントの構築
機械学習エージェントの構築 振り返り:GD・ENは何をしたのか 最初の失敗 システム開発の進め方 研究サーベイの進め方 振り返り:PMは何をしたのか -
GD・ENは何をしたのか/すべきなのか ゲームデザイナー • 自分がどうやってゲームをプレイしているか、を言語化した ◦ ルールの作成、特徴量の選定 • ルールベースエージェントの課題を言語化した エンジニア •
ゲームデザイナーの話を理解してコード化した • 実装しているモデルの仕組みを丁寧に説明した ◦ ユーザーログを利用した教師あり学習と強化学習の違い -
協働でエージェントをデザインしていく G D E N P M 知見を言語化して 伝える それを
理解する プロジェクト全体の進行管理 それを 理解する システムのロジック を説明する システムが複雑になり すぎるのを防ぐ 言語化の補強をする -
目次 運用の課題 エージェントの開 発/検証 プロジェクトは どう進んだか まとめ ダンメモのバトルについて 現状のボスバトルの設計方法とその課題 自動プレイ環境/ルールベースエージェントの構築
機械学習エージェントの構築 振り返り:GD・ENは何をしたのか 最初の失敗 システム開発の進め方 研究サーベイの進め方 振り返り:PMは何をしたのか -
PvBにおけるボス性能の検証 現状シミュレータはインタラクティブな操作に非対応 各キャラクターの行動×15ターン分をあらかじめ選択して結果を取得 ベイズ最適化を使って最適な行動を探索 パーティはプランナーが選定した強そうなもので固定
(1ターンあたりの行動可能パターン)^15の探索空間を持つ ブラックボックス最適化問題 CEDEC2018での発表 -
結果 コマンド選択の探索を行うことでスコアは大幅に向上 初期スコア:933,480 最適化後スコア:15,199,704 人間の最高スコア: 24,278,700 (人の壁は厚い) PvBにおけるコマンド選択の探索はかなり成功
ターン毎の状況判断、強化学習の検証等は今後の課題 ※有限時間で探索を打ち切っているので、大域的な最適解には至っていない CEDEC2018での発表 -
対応策:2つのプロジェクトに分離 プロジェクト プロジェクトの位置付け システム開発 • メインの開発プロジェクト 研究サーベイ • サイドプロジェクト •
高度なアルゴリズムに関する知見を貯める -
目次 運用の課題 エージェントの開 発/検証 プロジェクトは どう進んだか まとめ ダンメモのバトルについて 現状のボスバトルの設計方法とその課題 自動プレイ環境/ルールベースエージェントの構築
機械学習エージェントの構築 振り返り:GD・ENは何をしたのか 最初の失敗 システム開発の進め方 研究サーベイの進め方 振り返り:PMは何をしたのか -
Rules of MLとの出会い Rules of Machine Learningという、Googleが公開して いる機械学習プロジェクトのベストプラクティス集を 知った その時、漠然と考えていたことを裏付けてくれるような
内容だったので、以降はこのRules of MLに沿って開 発を進めた • ドメイン知識をムッチャ使う進め方 https://developers.google.com/machine-learning/guides/rules-of-ml/ -
Rules of MLの推奨開発プロセス(意訳) ヒューリスティクスをベースにしたシステムの導入 / パイプライン整備 ヒューリスティクス追加による性能改善 複雑化し、メンテコストが大きくなったら機械学習での置き換えを検討 機械学習の為のパイプラインの整備 シンプルな目的関数、特徴量、アルゴリズムで構成するベースモデルの導入
特徴量エンジニアリング(特徴量の追加)による性能改善 より高度なアルゴリズムの導入による性能改善 -
本システム開発との対応表 自動プレイ環境 の整備 ルールベース エージェント 特徴量 エンジニアリング パイプライン の整備 ヒューリスティクスの導
入 ヒューリスティクスの追 加 自動プレイエージェント Rules of ML 機械学習での 置き換え 機械学習 エージェント -
目次 運用の課題 エージェントの開 発/検証 プロジェクトは どう進んだか まとめ ダンメモのバトルについて 現状のボスバトルの設計方法とその課題 自動プレイ環境/ルールベースエージェントの構築
機械学習エージェントの構築 振り返り:GD・ENは何をしたのか 最初の失敗 システム開発の進め方 研究サーベイの進め方 振り返り:PMは何をしたのか -
目次 運用の課題 エージェントの開 発/検証 プロジェクトは どう進んだか まとめ ダンメモのバトルについて 現状のボスバトルの設計方法とその課題 自動プレイ環境/ルールベースエージェントの構築
機械学習エージェントの構築 振り返り:GD・ENは何をしたのか 最初の失敗 システム開発の進め方 研究サーベイの進め方 振り返り:PMは何をしたのか -
コミュニケーション可能な環境を用意する G D E N P M 知見を言語化して 伝える それを
理解する プロジェクト全体の進行管理 それを 理解する システムのロジック を説明する システムが複雑になり すぎるのを防ぐ 言語化の補強をする -
目次 運用の課題 エージェントの開 発/検証 プロジェクトは どう進んだか まとめ ダンメモのバトルについて 現状のボスバトルの設計方法とその課題 自動プレイ環境/ルールベースエージェントの構築
機械学習エージェントの構築 振り返り:GD・ENは何をしたのか 最初の失敗 システム開発の進め方 研究サーベイの進め方 振り返り:PMは何をしたのか -
運用の課題 手動でプレイ 時間がかかる 熟練のゲームデザイナー でないと難しい 膨大な検証数 バトルのランダム要素 パーティを組む コマンド選択 スムーズな
バランス調整 時間がかかる 熟練のゲームデザイナー でないと難しい -
エージェントの開発/検証 • ゲーム本体 • シミュレーター • シミュレーターが呼び出すスクリプト ◦ 共通仕様 ◦
ルールベースエージェント ◦ サーバーソケットインタフェース • OpenAI Gymラッパー • Gym対応エージェントスクリプト ◦ ルールベースエージェント ◦ 機械学習モデルの学習用エージェント ◦ 機械学習モデルの推論検証用エージェント -
プロジェクトはどう進んだか 自動プレイ環境 の整備 ルールベース エージェント 特徴量 エンジニアリング 自動プレイエージェント 研究サーベイ 機械学習
エージェント 強化学習 エンジニアリング サンプル効率化