明日から実践！強化学習で強い対戦ゲームAIを作ろう 〜だれでも試せる状態をめざして〜

セッションの内容
プレイヤー同士が対戦するようなゲームでは、人間の相手をする対戦AIの開発が必要となることが多いでしょう。我々はAI技術の一種である強化学習を活用した対戦AIの作成に取り組んできました。強化学習を活用すると、手動で作るAIの行動ルールやプレイヤーの対戦ログを必要とせずに、対戦AIは自律的にゲームプレイを学習して強くなっていきます。一般的に強化学習の適用は簡単ではないと言われることが多いですが、安定して強い対戦AIを作れるようになってきました。

本セッションでは、長年の開発過程で得た強化学習を横展開するために必要なシミュレータやアルゴリズム、開発ノウハウについて紹介します。講演の終わりには受講者のみなさんが強化学習を試すことができる状態を目指し、DeNA で開発した強化学習ライブラリ「HandyRL」を軸として強い対戦ゲームAIを作るための実践的な方法を紹介します。

また、解説する内容はKaggleで開催されたゲームAIの世界大会の入賞時に使用した手法でもあります。
・「Google Research Football with Manchester City F.C.」5位入賞（サッカーゲーム）
・「Hungry Geese」2021年2月度優勝（4人対戦ヘビゲーム）

Transcript

1. 明日から実践！強化学習で強い対戦ゲームAIを作ろう
 〜だれでも試せる状態をめざして〜
 
 田中一樹 (DeNA)　大渡勝己 (quantum / DeNA)　 

2. こんな経験ありませんか？
3. “強い”NPCを作りたい！
4. “強い”NPCを作りたい！ PvPのような相手と練習できるPvE作りたい 初心者のオンボーディングを助けるNPC作りたい 対戦環境のバランス調整誰か助けてほしい
5. それ、AIがサポートします！
6. え、プレイヤーの対戦ログがない？ え、リリース前に欲しい？
7. AIって大量のデータがないと・・・
8. 大丈夫です！ データがなくてもゲーム実装さえあれば！ “強化学習”というAI技術で解決します
9. え、“強化学習”は難しいって噂を聞く？
10. 動かすまで大変で、動作も不安定 学習時間もかかる印象・・・
11. 大丈夫です！ 手軽に使えて、安定して動く 強化学習ライブラリ“HandyRL” を作りました
12. そしてHandyRLを オープンソース化しました！ 誰でも使えます
13. 優勝/879チーム 世界１位！ 5位入賞/1138チーム 日本人最高位！ |
14. HandyRLによって効率的に開発された 強化学習AIの事例を紹介します 使い方のコツなどもお話しします 強化学習ライブラリ
15. 本講演でお話しすること 1. 背景｜対戦AIを活用したユースケースと強化学習 2. 何ができるの？強化学習で作れる対戦ゲームAI 3. HandyRLを使ってみよう！ 4. ここだけ押さえよう！強化学習のためのシミュレータ設計
16. 大渡 勝己　@cute_na_piglets AI Specialist 　ゲームAIを初めとした 　AIの研究開発を8年 田中 一樹　@ikki407 Data Scientist 　AI/機械学習 案件@ゲームのリード 自己紹介
17. 対戦AIを活用したユースケース と、強化学習 何をしたい？ どう解決する？ 質問はチャット にどうぞ！
18. 背景｜ユースケース ユースケース①　対戦AIを直接相手として使用するコンテンツ • エンドコンテンツとしての高難度AI ◦ 新ステージなど遊びの拡大 ◦ 中級〜上級プレイヤーの練習相手 • プレイヤーの習熟度に合わせた対戦AIコンテンツ※特許出願中 ◦ 初心者のオンボーディング ◦ 適切なレベルのAI・コンテンツの推薦 見込まれる効果 • 成功体験の提供 • 持続可能なUXの提供 • 離脱防止 対戦AIコンテンツを 『逆転オセロニア』にて導入 (CEDEC2019) オセロ・Othelloは登録商標です。TM&© Othello,Co. and MegaHouse / © 2016 DeNA Co.,Ltd.
19. 背景｜ユースケース ユースケース②　対戦環境のバランス調整サポート • AI同士で膨大な対戦シミュレーション ◦ 人間では不可能な網羅性 ◦ AIは疲れを知らない • 統計量の可視化 ◦ 勝敗、ダメージ量、ターン数・・・ ◦ カードパワー • 網羅性を担保した上で意図した設計かチェック 見込まれる効果 • 事故発生の抑止 • 量産性の向上 • レピュテーションリスク低減 • 工数削減 新規キャラクタ を扱えるAI AI同士の大量 対戦による検証 結果集計 可視化 設計 完了 NG 対戦環境 投入 評価 OK 設計案 検証
20. 背景｜AI活用のメリット ユースケース①　対戦AIを直接相手として使用するコンテンツ • 最新ゲーム環境に追従した高品質のAIを半自動で開発 • ルールベースNPC開発の運用コスト、属人性の低下 ユースケース②　対戦環境のバランス調整サポート • 膨大な組み合わせを網羅した検証 • 人間が拾いきれない範囲をカバー可能 • 例）1日での対戦検証量 ◦ 人間：288回 仮に1試合5分の場合 ◦ AI：8,640,000回 仮に1試合1秒で100並列の場合 新規キャラクタ を扱えるAI AI同士の大量 対戦による検証 結果集計 可視化 設計 完了 NG 対戦環境 投入 評価 OK 設計案 検証
21. 背景｜要望と課題 要望 • リリース前またはリリース直後にほしい • 効果の最大化を考えると当然 • 必然的に開発はリリース前から行う必要 課題 • 対戦ログ（棋譜）がない • プレイヤーの動きを真似るAI技術（教師あり学習、模倣学習）が使えない すでにあるもの • ゲームエンジンの実装 では、どうするか？
22. 背景｜要望と課題 ゲームエンジンだけあれば動くAI技術が必要
23. 背景｜強化学習の採用 ゲームエンジンだけあれば動くAI技術が必要 強化学習というAI技術の採用
24. 背景｜強化学習の採用 ゲームエンジンだけあれば動くAI技術が必要 強化学習というAI技術の採用 リリース前に強いAIが作れる！ ユースケースの実現が可能に！
25. 課題の解決策｜強化学習とは？ ゲーム状態を観測 行動選択（パスetc） 次のゲーム状態と報酬※を観測 … 試行錯誤を繰り返しながら 自律的に学習して強い戦略を獲得 ※サッカーゲームで考えられる報酬：勝敗、得点、パスカットetc
26. よく言われる強化学習のメリット・デメリット メリット • ゲームエンジンがあれば動作（対戦ログ要らず） • 強いAIが作れる デメリット • 応用先が少ない • スケールできない ◦ アルゴリズムが難しい ◦ 実装が難しい ◦ 対戦AIに特化したパッケージが少ない • シミュレータ設計が必要で知見が少ない
27. よく言われる強化学習のメリット・デメリット メリット • ゲームエンジンがあれば動作（対戦ログ要らず） • 強いAIが作れる デメリット • 応用先が少ない → ユースケースはゲームだと無限にある • スケールできない ◦ アルゴリズムが難しい ◦ 実装が難しい ◦ 対戦AIに特化したパッケージが少ない • シミュレータ設計が必要で知見が少ない
28. よく言われる強化学習のメリット・デメリット メリット • ゲームエンジンがあれば動作（対戦ログ要らず） • 強いAIが作れる デメリット • 応用先が少ない • スケールできない → 手軽に使える実践的なライブラリを公開※次ページ解説 ◦ アルゴリズムが難しい ◦ 実装が難しい ◦ 対戦AIに特化したパッケージが少ない • シミュレータ設計が必要で知見が少ない
29. よく言われる強化学習のメリット・デメリット メリット • ゲームエンジンがあれば動作（対戦ログ要らず） • 強いAIが作れる デメリット • 応用先が少ない • スケールできない ◦ アルゴリズムが難しい ◦ 実装が難しい ◦ 対戦AIに特化したパッケージが少ない • シミュレータ設計が必要で知見が少ない → 共通基盤として仕様策定※講演後半解 説
30. よく言われる強化学習のメリット・デメリット メリット • ゲームエンジンがあれば動作（対戦ログ要らず） • 強いAIが作れる デメリット • 応用先が少ない → ユースケースはゲームだと無限にある • スケールできない → 手軽に使える実践的なライブラリを公開※次ページ解説 ◦ アルゴリズムが難しい ◦ 実装が難しい ◦ 対戦AIに特化したパッケージが少ない • シミュレータ設計が必要で知見が少ない → 共通基盤として仕様策定※講演後半解 説 共通基盤化することで デメリットを解消
31. 対応可能な対戦ゲーム • （複数人）ターンベース ゲーム • （複数人）同時行動ゲーム HandyRL｜強化学習をライブラリ化（共通基盤化） 目指すところ • 汎用｜誰でも強化学習を手軽に扱える • 安定｜対戦ゲームにおいて勝てるAIが作れる • 高速｜並列度を上げて学習がスケールする https://github.com/DeNA/HandyRL Handy=手軽に　RL=Reinforcement Learning（強化学習）
32. 対応可能な対戦ゲーム • （複数人）ターンベース ゲーム • （複数人）同時行動ゲーム HandyRL｜強化学習をライブラリ化（共通基盤化） https://github.com/DeNA/HandyRL 強化学習を利用するプロジェクトの 立ち上がりを高速化 目指すところ • 汎用｜誰でも強化学習を手軽に扱える • 安定｜対戦ゲームにおいて勝てるAIが作れる • 高速｜並列度を上げて学習がスケールする
33. 背景｜まとめ 対戦AIを用いたユースケースを リリース前から実現したい ゲーム実装さえあれば “強化学習”というAI技術で強いAIの開発が可能 共通基盤化することで 実用に耐えうる強化学習の活用を実現
34. 何ができるの？ 強化学習で作れる対戦ゲームAI ゲームAIの イメージを掴もう！ 質問はチャット にどうぞ！
35. さまざまな対戦ゲームAIの開発 事例①『逆転オセロニア』における対戦AI 事例②　サッカーゲームにおける対戦AI 事例③　ヘビゲームにおける対戦AI
36. 事例①『逆転オセロニア』における対戦AI 色々な種類のデッキから 戦いたい AI を選択 歯応えのあるAI と対戦できる！ AI の強さレベルを選択 • 様々な AI 相手に気軽に練習・戦略を学べる場を提供（オセロニア道場） ◦ オセロのルールをベースにした対戦ゲーム ◦ オセロの駒から召喚されるキャラクタを2人のプレイヤが交互に使用しながら対戦 詳細はこちらへ→運用中のゲームにAIを導入するには〜プロジェクト推進・ユースケース・運用〜 [DeNA TechCon 2019]
37. KaggleとゲームAI • Kaggle｜データ分析世界大会のプラットフォーム • 2020年頃からゲームを題材とした大会が開催 ◦ 基本は強いゲームAIエージェントを作るのが目的 ◦ 開催期間は数ヶ月が多い • ゲーム環境はKaggleが提供 (Python) • 評価方法（対戦方法） ◦ ゲームAIのコード群を提出 ◦ 各チームが提出したAIと随時対戦・レート更新 • 実行環境 ◦ ~1CPU / No GPU ◦ ~4GB RAM 過去開催された ゲームを題材としたコンペティション |
38. 事例②　サッカーゲーム@Kaggle • 2020/9/29〜2020/11/30 開催 • サッカーゲームのAgent作成が目的 ◦ ウイニングイレブン、FIFAのようなゲーム • 短期間での強化学習活用（HandyRLライブラリのおかげ） ◦ HandyRLチームは11/4に結成（残り1ヶ月未満） • 5位入賞/1138チーム ◦ 日本人最高位！ |
39. サッカーゲーム（二人同時対戦ゲーム） ①1人の操作対象プレイヤを動かす ③守備時はタックルなどが可能 ②攻撃時はパスやシュートが可能 ④試合終了時に得点の多いチームが勝ち |
40. Great Goals of HandyRL 中央突破からのゴール⚽
 サイド攻撃からのゴール👟
 |
41. • 2021/1/25〜07/26 開催 • 2/70 HandyRLによって学習したモデルを公開 • 2/10 HandyRLライブラリに環境を用意 • 2/26 チーム「HandyRL」 毎月表彰の2月度優勝 • 8/10 世界1位！ （最終結果） 事例③　ヘビゲーム「HungryGeese」@Kaggle
42. HungryGeese（4人対戦トーラスヘビゲーム） ①上下左右に移動できる　　　　②後ろに戻る/自分や相手にぶつかると死ぬ ③食べると体が１長くなる　　　④生き残るか、同時に死んだら長い方が勝ち |
43. Best Moment of HandyRL 青 下で食べ物をとって抜けられる 　 のに 自分から詰まりにいった |
44. Best Moment of HandyRL 実は残り2ターンなので死なない 赤の周囲に食べ物が補充され るのを防ぐ手だった！ ※食べ物は常に盤上に２つ |
45. 対戦ゲームAIまとめ｜HandyRLの効果を実証 • 複数種類の対戦ゲームのAIを開発 ◦ 2人ターンベースゲーム ◦ 2人・4人同時対戦ゲーム • 汎用｜誰でも強化学習を手軽に扱える ◦ ヘビゲームでは多くの上位チームがHandyRLを利用 • 安定｜対戦ゲームにおいて勝てるAIが作れる ◦ サッカーゲーム（5位入賞/1138チーム） ◦ ヘビゲーム（2月度優勝・収録時1位） • 高速｜並列度を上げて学習がスケールする ◦ 短期間で上位入賞 |
46. HandyRLを使ってみよう！ 強化学習の世界へ Deep Dive！ 質問はチャット にどうぞ！
47. （再掲） 強化学習とは？ ゲーム状態を観測 行動選択（パスetc） 次のゲーム状態と報酬※を観測 … 試行錯誤を繰り返しながら 自律的に学習して強い戦略を獲得 ※サッカーゲームで考えられる報酬：勝敗、得点、パスカットetc
48. HandyRLの全体像（分散型強化学習） ・Worker：繰り返し対戦を行い試合（エピソード）を送信 
 ・Learner：Workerに現在のモデル（ニューラルネット）を渡し 
 　　　　　　　エピソードを保存 
 ・Trainer：エピソードからモデルを学習しLearnerに渡す 

49. HandyRLの全体像（分散型強化学習） ・Worker：繰り返し対戦を行い試合（エピソード）を送信 
 ・Learner：Workerに現在のモデル（ニューラルネット）を渡し 
 　　　　　　　エピソードを保存 
 ・Trainer：エピソードからモデルを学習しLearnerに渡す 

50. HandyRLの全体像（分散型強化学習） ・Worker：繰り返し対戦を行い試合（エピソード）を送信 
 ・Learner：Workerに現在のモデル（ニューラルネット）を渡し 
 　　　　　　　エピソードを保存 
 ・Trainer：エピソードからモデルを学習しLearnerに渡す 

51. HandyRLの全体像（分散型強化学習） ・Worker：繰り返し対戦を行い試合（エピソード）を送信 
 ・Learner：Workerに現在のモデル（ニューラルネット）を渡し 
 　　　　　　　エピソードを保存 
 ・Trainer：エピソードからモデルを学習しLearnerに渡す 

52. HandyRLの３つの特徴 ① 誰でも強化学習を手軽に扱える ② 対戦ゲームにおいて強くて勝てるAIが作れる ③ 並列度を上げて学習がスケールする
53. HandyRLの特徴① 〜誰でも強化学習を手軽に扱える〜 ・最小限かつシンプルなコードで使いやすさを重視 ・拡張性を持たせた実装によりカスタマイズ性に富み、 　様々なゲームドメインで利用可能 Simple is Best
54. HandyRLの特徴② 〜対戦ゲームにおいて強くて勝てるAIが作れる〜 ・既存ライブラリでは一人環境想定が多い ・多人数ゲームにおける性能向上のための工夫を加え、 　二人や多人数のゲームで有効に使える ２人・多人数 重視
55. HandyRLの特徴③ 〜並列度を上げて学習がスケールする〜 ・CPUやGPUのマシンリソースに応じて 　容易にスケールでき、高速に学習できる ・後から対戦ワーカのマシンを追加 / 削除することが簡単で　 空いたマシンを有効活用できる おてがる 並列化
56. HandyRL on Local Machine ローカルでサンプル（◦✖ゲーム）の学習を動かす $ git clone https://github.com/DeNA/HandyRL $ cd HandyRL $ pip3 install -r requirements.txt $ python3 main.py --train デモ動画
57. HandyRL on Remote Machines リモートマシンで並列学習を動かすまで デモ動画 $ python3 main.py --train-server $ python3 main.py --worker サーバ (GPU) 側 ワーカ (CPU) 側
58. チューニングポイント maximum_episodes batch_size entropy_reguralization 保存する試合数や 一度の学習試合数 CPU, GPUメモリが許す だけ大きくすることが多 い policy_target value_target どの程度の「探索」 （色々な行動を試す） を行うかを決める 学習アルゴリズム を設定する 向き不向きがある
59. ここだけ押さえよう！ 強化学習のためのシミュレータ設計 大事な基盤部分！ 質問はチャット にどうぞ！
60. シミュレータ｜役割 ゲームエンジンとAIをつなぐ役割 シミュレーター ゲームエンジン AIプログラム
61. シミュレータ｜役割 ゲームエンジンとAIをつなぐ役割 シミュレーター ゲームエンジン AIプログラム • AIはシミュレータを通じてゲームをプレイ • ゲームプレイを繰り返しAIは学習していく（強化学習） • シミュレータが適切に実装されていると強化学習の実行が容易になる • シミュレータの実装には押さえるべきポイントが多数ある ◦ ゲーム開発初期からシミュレータ設計を考慮しておくべき ◦ ゲーム実装を熟知したゲームエンジニアと強化学習を実装するAI エンジニアの間で認識をすり合わせながら設計するべき
62. シミュレータ｜利用イメージ シミュレーター ゲームエンジン AIプログラム シミュレータの起動 対戦の開始 行動の実行 AIの行動選択 AIの学習 ゲーム状態 ゲーム状態 初期設定 行動
63. シミュレータ｜利用イメージ シミュレーター ゲームエンジン AIプログラム シミュレータの起動 対戦の開始 行動の実行 AIの行動選択 AIの学習 ゲーム状態 ゲーム状態 初期設定 行動
64. シミュレータ｜利用イメージ シミュレーター ゲームエンジン AIプログラム シミュレータの起動 対戦の開始 行動の実行 AIの行動選択 AIの学習 ゲーム状態 ゲーム状態 初期設定 行動
65. シミュレータ｜利用イメージ シミュレーター ゲームエンジン AIプログラム シミュレータの起動 対戦の開始 行動の実行 AIの行動選択 AIの学習 ゲーム状態 ゲーム状態 初期設定 行動
66. シミュレータ｜利用イメージ シミュレーター ゲームエンジン AIプログラム シミュレータの起動 対戦の開始 行動の実行 AIの行動選択 AIの学習 ゲーム状態 ゲーム状態 初期設定 行動
67. シミュレータ｜利用イメージ シミュレーター ゲームエンジン AIプログラム シミュレータの起動 対戦の開始 行動の実行 AIの行動選択 AIの学習 ゲーム状態 ゲーム状態 初期設定 行動
68. シミュレータ｜利用イメージ シミュレーター ゲームエンジン AIプログラム シミュレータの起動 対戦の開始 行動の実行 AIの行動選択 AIの学習 ゲーム状態 ゲーム状態 初期設定 行動
69. シミュレータ｜押さえるべき３つのポイント 1 2 3 機能要件 APIインターフェイス APIリクエスト・レスポンス
70. シミュレータ｜1. 機能要件 • AIプログラムとの接続が可能 ◦ 接続方法はgRPC（クライアント・サーバ方式） ◦ protoファイルによるI/F・仕様定義の統一化 • 並列にゲーム実行可能 ◦ シミュレータのインスタンスを複数生成できる • 高速実行 ◦ 描画機能オン/オフ機能 ◦ gRPC (protocol buffer) / TCP / UDP • リプレイ機能 ◦ 対戦ログを再生できる • ゲームエンジンの更新が容易 ◦ 疎結合な開発 シミュ レーター ゲーム エンジン AI シミュ レーター AI クライアント サーバ ゲーム エンジン シミュ レーター ゲーム エンジン 対戦 ログ シミュ レーター AI ゲーム エンジン
71. Step シミュレータ｜2. APIインターフェイス シミュレーター AIプログラム シミュレーター AIプログラム ResetRequest ResetResponse StepRequest StepResponse Reset
72. Step シミュレータ｜2. APIインターフェイス シミュレーター AIプログラム シミュレーター AIプログラム ResetRequest ResetResponse StepRequest StepResponse Reset
73. Step シミュレータ｜2. APIインターフェイス シミュレーター AIプログラム シミュレーター AIプログラム ResetRequest ResetResponse StepRequest StepResponse Reset
74. シミュレータ｜3. APIリクエスト・レスポンス Step シミュレーター AIプログラム シミュレーター AIプログラム ResetRequest ResetResponse StepRequest StepResponse Reset
75. シミュレータ｜3. APIリクエスト・レスポンス Step シミュレーター AIプログラム シミュレーター AIプログラム ResetRequest ResetResponse StepRequest StepResponse Reset
76. シミュレータ｜3. APIリクエスト・レスポンス Step シミュレーター AIプログラム シミュレーター AIプログラム ResetRequest ResetResponse StepRequest StepResponse Reset
77. シミュレータ｜3. APIリクエスト・レスポンス Step シミュレーター AIプログラム シミュレーター AIプログラム ResetRequest ResetResponse StepRequest StepResponse Reset
78. シミュレータ｜3. APIリクエスト・レスポンス Step シミュレーター AIプログラム シミュレーター AIプログラム ResetRequest ResetResponse StepRequest StepResponse Reset
79. まとめ

80. 対戦AIを活用した ユースケース 必要なAI技術 〜強化学習〜 知見抽出 共通基盤化 対戦AI バランス調整AI 強化学習ライブラリ ゲームAI開発 シミュレータ