Upgrade to Pro — share decks privately, control downloads, hide ads and more …

話す、たたかう、作りだす ゲームとAIの50年史

miyayou
June 18, 2023

話す、たたかう、作りだす ゲームとAIの50年史

新時代の教養講座「ゲンロン・セミナー」 第1期「1000分で『遊び』学」
https://www.genron-alpha.com/genron-seminar-1st/

における講演資料です。

[概要]
遊びと人工知能の関係は、実に多様なものです。遊び相手としての人工知能は、たとえば、囲碁や将棋、チェス、格闘ゲームなどで対戦相手になってくれる人工知能です。しかし、デジタルゲームではむしろ、遊びそのものの要素として人工知能が組み込まれる場合が多くあります。たとえば、RPGの仲間キャラクター、敵キャラクター、村人、重要キャラクターなどです。遊びの歴史を紐解くと、面白いことに、人工知能によって可能になったゲームが沢山あります。たとえば、たとえば『Eliza』(1966)というカウンセリング人工知能は、その後、対話ゲームの基礎となり、これを母体としてアドベンチャーゲームが生まれます。さらに『ミステリーハウス』(1980)が、テキストアドベンチャーに絵をつけて新しい絵と文字からなるゲームが始まります。『PONG』(1972)は対戦ゲームでしたが、一人で遊べるようなゲームに発展し、様々なアクションゲームが生まれます。
また、テーブルトークPRGは現代のRPGゲームの母体ですが、そのゲームマスターの役割をデジタルゲームで引き継いたのが「メタAI」という人工知能です。「メタAI」は自らステージを作り、物語を作り、敵キャラクターを配置します。このように人工知能は常に遊びの地平を切り拓いてきました。その奔流をお見せできましたらと思います。

miyayou

June 18, 2023
Tweet

More Decks by miyayou

Other Decks in Education

Transcript

  1. ゲームと人工知能の関係 ゲームAI ゲームを外側から プレイするAI ゲーム内側から 構成するAI 将棋、チェス、囲碁… アカデミックで研究されるAI アカデミックではゲームを製作する、 ということはなかなかできない・しない

    マリオ、ゼルダ、フォートナイト 産業で開発されるAI ゲームを構成するAI ゲームを作り出す 人工知能 ゲームを管理する人工知能 ゲームを製作する人工知能
  2. ゲームと人工知能の関係 ゲームAI ゲームを外側から プレイするAI ゲーム内側から 構成するAI 将棋、チェス、囲碁… アカデミックで研究されるAI アカデミックではゲームを製作する、 ということはなかなかできない・しない

    マリオ、ゼルダ、フォートナイト 産業で開発されるAI ゲームを構成するAI ゲームを作り出す 人工知能 ゲームを管理する人工知能 ゲームを製作する人工知能 人工知能は自らを発展させるためにゲームを利用した
  3. 人間の知能の形/人工知能の知能の形 AlphaGO =囲碁しか打てない =人間より強い ナビ =目的地へのルート = とても正確 お掃除ロボット =お掃除しかできない

    = 24時間掃除 IBM ワトソン =記号の統計情報しかない =何百万行のテキストの関係 を記憶 お料理ロボット =お料理しかできない =何万と言うレシピ 人工知能=専門的知能 一つのことしかできない。
  4. 人間の知能の形/人工知能の知能の形 お料理ロボット =お料理しかできない AlphaGO =囲碁しか打てない ナビ =目的地へのルート お掃除ロボット =お掃除しかできない 人工知能=専門的知能

    一つのことしかできない。一つのことがとても(人間より)得意。 IBM ワトソン =記号の統計情報しかない =何百万行のテキストの関係 を記憶
  5. 閉じている 開いている 総合型 専門型 直観 精密 総合型人工知能 (汎用人工知能) 問題特化型 人工知能

    フレームが 閉じている 問題領域 フレームが 閉じていない 問題領域
  6. 閉じている 開いている 総合型 専門型 直観 精密 総合型人工知能 (汎用人工知能) 問題特化型 人工知能

    モラベックのパラドックス =人間と人工知能に得意・ 不得意は正反対
  7. 閉じている 開いている 総合型 専門型 直観 精密 総合型人工知能 (汎用人工知能) 問題特化型 人工知能

    フレームが 閉じている 問題領域 フレームが 閉じていない 問題領域
  8. 閉じている 開いている 総合型 専門型 直観 精密 総合型人工知能 (汎用人工知能) 問題特化型 人工知能

    フレームが 閉じていない 問題領域 フレームが 閉じている 問題領域
  9. 閉じている 開いている 総合型 専門型 直観 精密 総合型人工知能 (汎用人工知能) 問題特化型 人工知能

    フレームが 閉じている 問題領域 フレームが 閉じていない 問題領域 ゲーム
  10. 身体 身体 環境 意識 前意識 無意識 (言語の網) 意識 前意識 無意識

    (プログラム 言語の網) 外部から の情報 言語・非言語境界面 知覚の境界面 人間 人工知能(エージェント) 意識的干渉 無意識的干渉 外部からの 情報 物理的干渉 他者の構成 他者の構成プロセス
  11. 身体 身体 環境 意識 前意識 無意識 (言語の網) 意識 前意識 無意識

    (プログラム 言語の網) 外部から の情報 人間 人工知能(エージェント) 外部からの 情報 物理的干渉 他者の構成プロセス 人間と人工知能は複数のレイヤーで結ばれる
  12. 身体 身体 環境 意識 前意識 無意識 (言語の網) 意識 前意識 無意識

    (プログラム 言語の網) 外部から の情報 人間 人工知能(エージェント) 外部からの 情報 物理的干渉 他者の構成プロセス ゆったりとした強い同期の輪 人間と人工知能は複数の関係で 結ばれている
  13. 身体 身体 環境 意識 前意識 無意識 (言語の網) 意識 前意識 無意識

    (プログラム 言語の網) 外部から の情報 人間 人工知能(エージェント) 外部からの 情報 物理的干渉 他者の構成プロセス ゆったりとした強い同期の輪 人間と人工知能は複数の関係で 結ばれている =人間同士も、人間と人工知能同士も なかなかわかりあえない
  14. 身体 身体 環境 意識 前意識 無意識 (言語の網) 意識 前意識 無意識

    (プログラム 言語の網) 外部から の情報 人間 人工知能(エージェント) 外部からの 情報 物理的干渉 他者の構成プロセス ゆったりとした強い同期の輪 わかりあえない、のは、 環境が複雑だからでもある。 世界内存在でも、セカイがみんな違う
  15. 身体 身体 ゲーム 意識 前意識 無意識 (言語の網) 意識 前意識 無意識

    (プログラム 言語の網) 外部から の情報 人間 人工知能(エージェント) 外部からの 情報 物理的干渉 他者の構成プロセス ゆったりとした強い同期の輪
  16. 身体 身体 ゲーム 意識 前意識 無意識 (言語の網) 意識 前意識 無意識

    (プログラム 言語の網) 外部から の情報 人間 人工知能(エージェント) 外部からの 情報 物理的干渉 他者の構成プロセス ゆったりとした強い同期の輪 一般にはわかりあえない、しかし、 人間同士も、人間と人工知能も ゲームという場を通してわかり合える。
  17. 世界 五感 身体 言語 知識表 現型 知識 生成 Knowledge Making

    意思決定 Decision Making 身体 運動 生成 Motion Making インフォメーション・フロー(情報回廊) 記憶 キャラクターにおける学習の原理 行動の表現 結果の表現 意思決定 Q(s,a) 関数
  18. Deep Q Network (DQN)とは • Q = 予想される報酬 (意思決定関数) •

    S = State (座標、速度、現在の姿勢) • A = Action (キック、パンチ、波動拳) • R = 報酬 • Q (s,a ) という関数を決める方法 深層ニューラルネットワーク Deep Q Network
  19. 世界 五感 身体 言語 知識表 現型 知識 生成 Knowledge Making

    意思決定 Decision Making 身体 運動 生成 Motion Making インフォメーション・フロー(情報回廊) 記憶 キャラクターにおける学習の原理 行動の表現 状態・結果の表現 意思決定 ニューラル ネットワーク (DQN)
  20. Deep Q-Learning (2013) Volodymyr Mnih, Koray Kavukcuoglu, David Silver, Alex

    Graves, Ioannis Antonoglou, Daan Wierstra, Martin Riedmiller (DeepMind Technologies) Playing Atari with Deep Reinforcement Learning http://www.cs.toronto.edu/~vmnih/docs/dqn.pdf 画面を入力 操作はあらかじめ教える スコアによる強化学習 DQN Breakout (Google Deep Mind) https://www.youtube.com/watch?v=TmPfTpjtdgg
  21. 学習過程解析 Volodymyr Mnih, Koray Kavukcuoglu, David Silver, Alex Graves, Ioannis

    Antonoglou, Daan Wierstra, Martin Riedmiller (DeepMind Technologies) Playing Atari with Deep Reinforcement Learning http://www.cs.toronto.edu/~vmnih/docs/dqn.pdf
  22. • Pπ ロールアウトポリシー(ロールアウトで討つ手を決める。 Pπ(a|s) sという状態でaを討つ確率) • Pσ Supervised Learning Network

    プロの討つ手からその 手を討つ確率を決める。Pσ(a|s)sという状態でaを討つ確 率。 • Pρ 強化学習ネットワーク。Pρ(学習済み)に初期化。 • Vθ(s’) 局面の状態 S’ を見たときに、勝敗の確率を予測 する関数。つまり、勝つか、負けるかを返します。 Mastering the game of Go with deep neural networks and tree search http://www.nature.com/nature/journal/v529/n7587/full/nature16961.html https://deepmind.com/research/alphago/
  23. 囲碁AI: 位置評価関数から位置評価ニューラルネットワークへ Mastering the game of Go with deep neural

    networks and tree search http://www.nature.com/nature/journal/v529/n7587/full/nature16961.html https://deepmind.com/research/alphago/ S Q
  24. 現在の盤面の状態 負 勝率 : 4/5 勝率 : 2/5 勝率 :

    3/5 基本、 乱数による プレイアウト 勝 候補となる手
  25. より有望そうな枝を試すアルゴリズム W_1(=80) W_2(=70) W_3(=120) 試行回数 報酬合計 3回 2回 4回 全試行回数

    9回 20ドル/回 マシン1 マシン2 マシン3 120 80 + 2 ∗ 9 80 70 40 + 2 ∗ 9 40 80 60 + 2 ∗ 9 60 UCB1 掛け金総額 60ドル 40ドル 80ドル プレイヤー
  26. アクション・バケット 末端のノード 選択された アクション・バケット 現在のゲーム状態 Combat := if prev( wait

    ) then Artillery AttackOrder SpecialOrder UseGate Openings := if root then WaitUntilContact WaitUntilAmbush PuckStealth
  27. Fable Legends Fable Legends Gameplay Demo - IGN Live: E3

    2014 https://www.youtube.com/watch?v=hQM_Dw_b0jE
  28. Early in the learning process … … after 15 minutes

    of learning Reward for decrease in Wulong Goth’s health Ralf Herbrich, Thore Graepel, Joaquin Quiñonero Candela Applied Games Group,Microsoft Research Cambridge "Forza, Halo, Xbox Live The Magic of Research in Microsoft Products" http://research.microsoft.com/en-us/projects/drivatar/ukstudentday.pptx
  29. Early in the learning process … … after 15 minutes

    of learning Punishment for decrease in either player’s health Ralf Herbrich, Thore Graepel, Joaquin Quiñonero Candela Applied Games Group,Microsoft Research Cambridge "Forza, Halo, Xbox Live The Magic of Research in Microsoft Products" http://research.microsoft.com/en-us/projects/drivatar/ukstudentday.pptx
  30. Forza motorsports (EA) Jeffrey Schlimmer, "Drivatar and Machine Learning Racing

    Skills in the Forza Series" http://archives.nucl.ai/recording/drivatar-and-machine-learning-racing-skills-in-the-forza-series/
  31. Drivatar (Microsoft, Forza Motorsport) How Forza's Drivatar Actually Works |

    AI and Games #60 https://www.youtube.com/watch?v=JeYP9eyIl4E
  32. DQNのさらなる発展 • 最後までスコアに苦しんだゲーム • Montezuma’s Revenge • Pitfall • Solaris

    • Skiing Agent57: Outperforming the human Atari benchmark (DeepMind) https://deepmind.com/blog/article/Agent57-Outperforming-the-human-Atari-benchmark
  33. 年 企業 テーマ Open 2003 Microsoft 「Teo Feng」における強化学習 2005 Microsoft

    「Forzamotor Sports」における強化学習 2013 DeepMind AtariのゲームをDQNで学習 〇 2015 DeepMind 囲碁 AlphaGO 2017 AnyLogic 倉庫・機械などモデルのシミュレーション Microsoft 「パックマン」多報酬学習 Hybrid Reward Architecture for Reinforcement Learning 〇 2019 Google 「サッカーシミュレーター」による強化学習の研究 〇 DeepMind 「Capture the flag」によるディープラーニング学習 〇 Microsoft 「AirSim」ドローンシミュレーター 〇 Nvidia 「ドライビングシミュレーター」 Mircrosoft 「TextWorld」アドベンチャーゲームを題材に言語学習 〇 facebook 「CraftAssist」マインクラフト内で会話研究 〇 CarMelon カーネギーメロン大学「MineRL」マインクラフトを使ったAIコンテスト 〇 facebook 「LIGHT」ファンタジーワールドを構築してクラウドワーカーで会話研究 〇 OpenAI 「Dota2」OpenAIによる「OpenAIFive」 〇 DeepMind 「StarCraft2」AlphaStar 〇 DeepMind 「Capture the Flag」QuakeIII エンジン 〇 2020 Nvidia GameGAN「ディープラーニングによるパックマンの目コピー」 〇 DeepMind 「Agent57」AtariのほとんどのゲームをDQN+LSTMなどで学習 〇 OpenAI 「HIDE AND SEEK」かくれんぼを用いたマルチエージェントのカリキュラム学習 〇
  34. 年 企業 テーマ Open 2003 Microsoft 「Teo Feng」における強化学習 2005 Microsoft

    「Forzamotor Sports」における強化学習 2013 DeepMind AtariのゲームをDQNで学習 〇 2015 DeepMind 囲碁 AlphaGO 2017 AnyLogic 倉庫・機械などモデルのシミュレーション Microsoft 「パックマン」多報酬学習 Hybrid Reward Architecture for Reinforcement Learning 〇 2019 Google 「サッカーシミュレーター」による強化学習の研究 〇 DeepMind 「Capture the flag」によるディープラーニング学習 〇 Microsoft 「AirSim」ドローンシミュレーター 〇 Nvidia 「ドライビングシミュレーター」 Mircrosoft 「TextWorld」アドベンチャーゲームを題材に言語学習 〇 facebook 「CraftAssist」マインクラフト内で会話研究 〇 CarMelon カーネギーメロン大学「MineRL」マインクラフトを使ったAIコンテスト 〇 facebook 「LIGHT」ファンタジーワールドを構築してクラウドワーカーで会話研究 〇 OpenAI 「Dota2」OpenAIによる「OpenAIFive」 〇 DeepMind 「StarCraft2」AlphaStar 〇 DeepMind 「Capture the Flag」QuakeIII エンジン 〇 2020 Nvidia GameGAN「ディープラーニングによるパックマンの目コピー」 〇 DeepMind 「Agent57」AtariのほとんどのゲームをDQN+LSTMなどで学習 〇 OpenAI 「HIDE AND SEEK」かくれんぼを用いたマルチエージェントのカリキュラム学習 〇
  35. シミュレーション 現実 機械学習 (ディープ ラーニン グ) https://deepmind.com/blog/article/capture-the-flag-science Human-level performance in

    3D multiplayer games with population-based reinforcement learning Max Jaderberg et al. Science 31 May 2019: Vol. 364, Issue 6443, pp. 859-865 DOI: 10.1126/science.aau6249
  36. 年 企業 テーマ Open 2003 Microsoft 「Teo Feng」における強化学習 2005 Microsoft

    「Forzamotor Sports」における強化学習 2013 DeepMind AtariのゲームをDQNで学習 2015 DeepMind 囲碁 AlphaGO 2017 AnyLogic 倉庫・機械などモデルのシミュレーション Microsoft 「パックマン」多報酬学習 Hybrid Reward Architecture for Reinforcement Learning 2019 Google 「サッカーシミュレーター」による強化学習の研究 〇 DeepMind 「Capture the flag」によるディープラーニング学習 Microsoft 「AirSim」ドローンシミュレーター 〇 Nvidia 「ドライビングシミュレーター」 Mircrosoft 「TextWorld」アドベンチャーゲームを題材に言語学習 〇 facebook 「CraftAssist」マインクラフト内で会話研究 〇 CarMelon カーネギーメロン大学「MineRL」マインクラフトを使ったAIコンテスト 〇 facebook 「LIGHT」ファンタジーワールドを構築してクラウドワーカーで会話研究 〇 OpenAI 「Dota2」OpenAIによる「OpenAIFive」 〇 DeepMind 「StarCraft2」AlphaStar 〇 DeepMind 「Capture the Flag」QuakeIII エンジン 〇 2020 Nvidia GameGAN「ディープラーニングによるパックマンの目コピー」 〇 DeepMind 「Agent57」AtariのほとんどのゲームをDQN+LSTMなどで学習 〇 OpenAI 「HIDE AND SEEK」かくれんぼを用いたマルチエージェントのカリキュラム学習 〇
  37. 「かくれんぼ」によってマルチエージェ ントを学習させる • オブジェクトがあって、動かしたり固 定したりできる。 • オブジェクトは直方体、傾斜台、長い 板がある。 • 一度固定したオブジェトは動かせない

    • エージェントは次第にオブジェクトを 利用してかくれんぼをするようになる • 6種類の戦術を順番に発見・学習して いく https://openai.com/blog/emergent-tool-use/ Emergent Tool Use From Multi-Agent Autocurricula (2019) Bowen Baker, Ingmar Kanitscheider, Todor Markov, Yi Wu, Glenn Powell, Bob McGrew, Igor Mordatch https://arxiv.org/abs/1909.07528
  38. ゲームと人工知能の関係 ゲームAI ゲームを外側から プレイするAI ゲーム内側から 構成するAI 将棋、チェス、囲碁… アカデミックで研究されるAI アカデミックではゲームを製作する、 ということはなかなかできない・しない

    マリオ、ゼルダ、フォートナイト 産業で開発されるAI ゲームを構成するAI ゲームを作り出す 人工知能 ゲームを管理する人工知能 ゲームを製作する人工知能
  39. ゲームと人工知能の関係 ゲームAI ゲームを外側から プレイするAI ゲーム内側から 構成するAI 将棋、チェス、囲碁… アカデミックで研究されるAI アカデミックではゲームを製作する、 ということはなかなかできない・しない

    マリオ、ゼルダ、フォートナイト 産業で開発されるAI ゲームを構成するAI ゲームを作り出す 人工知能 ゲームを管理する人工知能 ゲームを製作する人工知能
  40. ボードゲームの人工知能 ボードゲーム 一般の デジタルゲーム 時間:ターンベース 空間:グリッド 非連続時間、非連続空間 =AIが考えやすい =でも難しい =最善手を長時間考える

    時間:連続空間 空間:連続時間 連続時間、連続空間 =AIにとってなかなかヘビー =1/60秒近くで意思決定 =最善手でなくていい
  41. 公開された「パックマン」仕様書 岩谷徹, 高橋ミレイ , 三宅陽一郎, “ゲームAI の原点『パックマン』はいかにして生み出されたのか?: 岩谷 徹インタビュー,” 人工知能,Vol.34,

    No.1 pp.86-99., 2019. Japanese Society of Artificial Intelligence,No.1, 2019. Anyone can download the article: https://jsai.ixsq.nii.ac.jp/ej/index.php?active_action=repository_view_main_item_detail&page_id=13&block_id=23&item_id=9670&item_no=1
  42. 7s 20s 7s 20s 5s 20s 5s 5s 20s 5s

    20s 5s 27 34 54 59 7 25 30 50 55 5 79 84 7s 20s 7s 20s 5s 27 34 54 59 7 Monster Rest(四隅で待機) Monster Attack(一斉に攻撃) A B C, D (sec) (sec) (sec) 3つの波状攻撃タイミングテーブル
  43. モンスター 波状攻撃の状態 包囲攻撃 離散 アカ 常にパックマンのいるマス (8x8ドット)を追う プレイフィールド上の右上付近を 動き回る. ピンク

    パックマンの口先の3つ先の マスを目指す プレイフィールド上の左上付近を 動き回る. シアン 赤モンスターのパックマンを 中心とした点対称を目指す プレイフィールド上の右下付近を 動き回る. オレンジ パックマンから半径約130 ドットの外では赤モンスターの 性格を持ち、半径内ではパック マンと無関係にランダムに動く プレイフィールド上の左下付近を 動き回る. 4匹の攻撃の方法にバリエーションを持たせる
  44. 2匹 3匹 4匹 A B C モンスター出現数 244個 30個 90個

    3匹 4匹 50個 4匹 (食べたえさの数)
  45. SPEED PATTERN SPEED A B C D 22 21 20

    19 18 17 16 15 14 13 12 11 10 9 8 7 ① イジケ ワープ ② ① イジケ ワープ ② ① イジケ ワープ ② ① イジケ ワープ ②
  46. レベル キャラクターAI レベルを認識し、 自律的な判断を行い、 身体を動かす. 敵・味方 キャラクタ- プレイヤー 情報獲得 スパーシャルAI

    空間全般に関する思考 メタAI, キャラクターAIの為に 空間認識のためのデータを準備 ナビゲーション・データの管理 パス検索 戦術位置解析 オブジェクト認識 メタAI エージェントを動的に配置 レベル状況を監視 エージェントに指示 ゲームの流れを作る Order Ask & Report ゲーム全体をコントロール Support query 頭脳として機能 MCS-AI動的 連携モデル query
  47. レベルスクリプト ナビゲーションAI キャラクターAI メタAI 1995 2000 2005 2010 1999 (スクリプティッドAIによる

    大型ゲームのキャラクター制御の限界。 自律型AI技術のアカデミックからの流入) (ゲームの3D化) 1994 2005 (ウィル・ライトによる“メタAI”定義) 2008 (“LEFT 4 DEAD”ににおけるAI Director) 2010頃~ (オープンワールド型ゲームの隆盛) スパーシャルAI 1980 PlayStation (1994) Xbox360 (2005) PlayStation3 (2006) スクリプティッドAI 三宅陽一郎、水野勇太、里井大輝、 「メタAI」と「AI Director」の歴史的発展、日本デジタルゲーム学会(2020年、Vol.13, No.2) https://www.jstage.jst.go.jp/article/digraj/13/2/13_1/_article/-char/ja/ LS-Modelモデル LCN-AI連携モデル MCS-AI動的連携モデル MCN-AI連携モデル
  48. レベル キャラクターAI レベルを認識し、 自律的な判断を行い、 身体を動かす. 敵・味方 キャラクタ- プレイヤー 情報獲得 スパーシャルAI

    空間全般に関する思考 メタAI, キャラクターAIの為に 空間認識のためのデータを準備 ナビゲーション・データの管理 パス検索 戦術位置解析 オブジェクト認識 メタAI エージェントを動的に配置 レベル状況を監視 エージェントに指示 ゲームの流れを作る Order Ask & Report ゲーム全体をコントロール Support query query 頭脳として機能 MCS-AI動的 連携モデル
  49. 知能の世界 環境世界 認識の 形成 記憶 意思の 決定 身体 制御 エフェクター・

    身体 運動の 構成 センサー・ 身体 意思決定 モジュール 意思決定 モジュール 意思決定 モジュール 記憶体 情報処理過程 運動創出過程 身体部分 情報 統合 運動 統合
  50. FC SFC SS, PS PS2,GC,Xbox Xbox360, PS3, Wii DC (次世代)

    Hardware 時間軸 2005 1999 ゲームの進化と人工知能 複雑な世界の 複雑なAI ゲームも世界も、AIの身体と内面もますます複雑になる。 単純な世界の シンプルなAI (スペースインベーダー、タイトー、1978年) (アサシンクリード、ゲームロフト、2007年)
  51. Early in the learning process … … after 15 minutes

    of learning Reward for decrease in Wulong Goth’s health Ralf Herbrich, Thore Graepel, Joaquin Quiñonero Candela Applied Games Group,Microsoft Research Cambridge "Forza, Halo, Xbox Live The Magic of Research in Microsoft Products" http://research.microsoft.com/en-us/projects/drivatar/ukstudentday.pptx
  52.  Session Name: AI Summit: Multi-Agent Reinforcement Learning Invades MMORPG:

    'Lineage Clone Wars'  Speaker(s): Jinhyung Ahn, Inseok Oh  Company Name(s): NCSOFT, NCSOFT  Track / Format: AI Summit  https://www.gdcvault.com/play/ 1027645/AI-Summit-Multi- Agent-Reinforcement
  53. レベル キャラクターAI レベルを認識し、 自律的な判断を行い、 身体を動かす. 敵・味方 キャラクタ- プレイヤー 情報獲得 スパーシャルAI

    空間全般に関する思考 メタAI, キャラクターAIの為に 空間認識のためのデータを準備 ナビゲーション・データの管理 パス検索 戦術位置解析 オブジェクト認識 メタAI エージェントを動的に配置 レベル状況を監視 エージェントに指示 ゲームの流れを作る Order Ask & Report ゲーム全体をコントロール Support query query 頭脳として機能 MCS-AI動的 連携モデル
  54. ネットワーク上のグラフ検索法 A*法 M F L B A S O P

    D C G S V H Q X K N J R T W E I U Z Y G 5 4 6 3 7 2 3 B C 3 3 2 2 4 3 5 5 出発点(S)を中心に、そのノードまでの 最も短い経路を形成して行く。Gにたどり着いたら終了。 ゴール地点がわかっている場合、現在のノードとゴールとの推定距離(ヒューリスティック距離) を想定して、トータル距離を取り、それが最少のノードを探索して行く。 各ノードの評価距離=出発点からの経路+ヒューリスティック距離 ヒューリスティック距離 (普通ユークリッド距離を取る) 3+14.2 3+13.8 G H 3 5+10.5 6+8.4
  55. (メッシュ) コスト : 0.5 見通し: 1.0 地表: 土 (メッシュ) コスト

    : 0.8 見通し: 0.7 地表: 沼 (オブジェクト) 動かせる : (1.0,0.8)向き 持ち上げる: false 上に乗れる: false 硬さ: 0.9 重たさ: 0.4 (オブジェクト) アクション:レバー倒す 効果: 扉が開く (オブジェクト)扉 メッシュ同士の リンク情報
  56. プレイヤー予測経路(ゴールデンパス) M. Jack , M. Vehkala, “Spaces in the Sandbox:

    Tactical Awareness in Open World Games,” GDC 2013, https://www.gdcvault.com/play/1018136/Spaces-in-the-Sandbox-Tactical
  57. Tom Mathews Making "Big Data" Work for 'Halo': A Case

    Study http://ai-wiki/wiki/images/d/d8/AI_Seminar_177th.pdf
  58. M. Jack , M. Vehkala, “Spaces in the Sandbox: Tactical

    Awareness in Open World Games,” GDC 2013, https://www.gdcvault.com/play/1018136/Spaces-in-the-Sandbox-Tactical
  59. M. Jack , M. Vehkala, “Spaces in the Sandbox: Tactical

    Awareness in Open World Games,” GDC 2013, https://www.gdcvault.com/play/1018136/Spaces-in-the-Sandbox-Tactical
  60. M. Jack , M. Vehkala, “Spaces in the Sandbox: Tactical

    Awareness in Open World Games,” GDC 2013, https://www.gdcvault.com/play/1018136/Spaces-in-the-Sandbox-Tactical
  61. M. Jack , M. Vehkala, “Spaces in the Sandbox: Tactical

    Awareness in Open World Games,” GDC 2013, https://www.gdcvault.com/play/1018136/Spaces-in-the-Sandbox-Tactical
  62. M. Jack , M. Vehkala, “Spaces in the Sandbox: Tactical

    Awareness in Open World Games,” GDC 2013, https://www.gdcvault.com/play/1018136/Spaces-in-the-Sandbox-Tactical
  63. レベル キャラクターAI レベルを認識し、 自律的な判断を行い、 身体を動かす. 敵・味方 キャラクタ- プレイヤー 情報獲得 スパーシャルAI

    空間全般に関する思考 メタAI, キャラクターAIの為に 空間認識のためのデータを準備 ナビゲーション・データの管理 パス検索 戦術位置解析 オブジェクト認識 メタAI エージェントを動的に配置 レベル状況を監視 エージェントに指示 ゲームの流れを作る Order Ask & Report ゲーム全体をコントロール Support query query 頭脳として機能 MCS-AI動的 連携モデル
  64. (例)「ゼビウス」(ナムコ、1983) 敵出現テーブル巻き戻し 敵0 敵1 敵2 敵3 敵4 敵5 『あと面白い機能なんですけれど、 ゼビウスには非常に簡単なAIが組み込まれています。

    「プレイヤーがどれくらいの腕か」というのを判断して、 出てくる敵が強くなるんです。 強いと思った相手には強い敵が出てきて、 弱いと思った相手には弱い敵が出てきます。 そういっ たプログラムが組み込まれています。 ゲームの難易度というのは「初心者には難しくて、上級者 には簡単だ」ということが、 ひとつの難易度で(調整を)やっていくと起きてしまうので、 その辺を何 とか改善したいな、ということでそういったことを始めてみたのですけれど、 お陰で割合にあまり上 手くない人でも比較的長くプレイできる、 うまい人でも最後のほうに行くまで結構ドラマチックに楽 しめる、 そういった感じになっています。』 - 遠藤雅伸(出演)、1987、「糸井重里の電視遊戯大展覧会」『遠藤雅伸ゼビウスセミナー』フジテレビ -
  65. メタAI(=AI Director)によるユーザーのリラックス度に応じた敵出現度 ユーザーの緊張度 実際の敵出現数 計算によって 求められた 理想的な敵出現数 Build Up …プレイヤーの緊張度が目標値を超えるまで

    敵を出現させ続ける。 Sustain Peak … 緊張度のピークを3-5秒維持するために、 敵の数を維持する。 Peak Fade … 敵の数を最小限へ減少していく。 Relax … プレイヤーたちが安全な領域へ行くまで、30-45秒間、 敵の出現を最小限に維持する。 Michael Booth, "The AI Systems of Left 4 Dead," Artificial Intelligence and Interactive Digital Entertainment Conference at Stanford. http://www.valvesoftware.com/publications.html より具体的なアルゴリズム
  66. 安全な領域までの道のり(Flow Distance) メタAIはプレイヤー群の経路を トレースし予測する。 - どこへ来るか - どこが背面になるか - どこに向かうか

    Michael Booth, "The AI Systems of Left 4 Dead," Artificial Intelligence and Interactive Digital Entertainment Conference at Stanford. http://www.valvesoftware.com/publications.html
  67. プレイヤーからの可視領域 可視領域(プレイヤーから見えている 部屋)では、敵のスパウニング(発生) はできない。 Michael Booth, "The AI Systems of

    Left 4 Dead," Artificial Intelligence and Interactive Digital Entertainment Conference at Stanford. http://www.valvesoftware.com/publications.html
  68. 敵出現領域 背後 前方 Michael Booth, "The AI Systems of Left

    4 Dead," Artificial Intelligence and Interactive Digital Entertainment Conference at Stanford. http://www.valvesoftware.com/publications.html 前方と背後のプレイヤー群から見えてない部屋に、 モンスターを発生させる。
  69. Procedural Generation in WarFrame • Warframe ではダンジョンが自動生成される。 Daniel Brewer, AI

    Postmortems: Assassin's Creed III, XCOM: Enemy Unknown, and Warframe (GDC2015) http://www.gdcvault.com/play/1018223/AI-Postmortems-Assassin-s-Creed
  70. Black Combination in WarFrame • ブロックを組み合わる • 完全に零からの生成 ではない。 このような生成のことを

    Semi-procedural と言う。 Daniel Brewer, AI Postmortems: Assassin's Creed III, XCOM: Enemy Unknown, and Warframe (GDC2015) http://www.gdcvault.com/play/1018223/AI-Postmortems-Assassin-s-Creed
  71. スタートポイント、出口、目的地の 自動生成 Daniel Brewer, AI Postmortems: Assassin's Creed III, XCOM:

    Enemy Unknown, and Warframe (GDC2015) http://www.gdcvault.com/play/1018223/AI-Postmortems-Assassin-s-Creed
  72. ヒートマップ(影響マップ)を用いて ゲーム中にプレイヤーの周囲を自動解析 Daniel Brewer, AI Postmortems: Assassin's Creed III, XCOM:

    Enemy Unknown, and Warframe (GDC2015) http://www.gdcvault.com/play/1018223/AI-Postmortems-Assassin-s-Creed ヒートマップ(影響マップ)とは、対象(ここではプレイヤー)を中心に、位置に温度(影響度)を 与える方法です。距離に応じて減衰します。また時間が経つと、周囲に熱が拡散します。
  73. Tactical Map の例 (影響マップ) (例)敵と自分の勢力をリアルタイムに計算する。 4 6 8 8 8

    8 6 4 2 0 -1 -2 -4 -4 -4 -2 4 6 8 8 8 8 4 2 1 0 -2 -4 -4 -2 4 6 8 8 8 6 3 1 0 -2 -4 -4 -4 -2 4 6 8 8 8 6 6 4 1 0 -2 -4 -4 -2 2 4 6 8 6 6 4 4 0 -1 -2 -4 -4 -4 -2 1 2 4 6 6 4 2 2 -4 -5 -3 -3 -4 -4 -2 -1 3 3 3 3 4 2 2 0 -4 -5 -5 -8 -8 -6 -4 -2 3 3 2 2 2 0 -2 -4 -8 -10 -10 -8 -4 -2 3 3 3 2 2 1 0 -4 -8 -10 -10 -8 -8 -4 -2 2 2 2 2 1 1 0 -3 -8 -10 -10 -8 -8 -4 -2 1 1 1 1 0 0 -2 -4 -8 -8 -8 -8 -8 -8 -8 -8 0 0 0 0 0 -1 -1 -2 -5 -6 -6 -6 -8 -8 -8 0 0 0 0 -1 -2 -2 -2 -4 -4 -4 -6 -8 -8 -8 -8 0 0 0 0 -1 -2 -2 -2 -2 -2 -2 -2 -2 -2 -2 0 0 0 0 -1 -2 -2 -2 -2 -2 -2 -2 -2 -2 -2 -2 0 0 0 0 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1
  74. アクティブ・エリアセット(Active Are Set) Daniel Brewer, AI Postmortems: Assassin's Creed III,

    XCOM: Enemy Unknown, and Warframe (GDC2015) http://www.gdcvault.com/play/1018223/AI-Postmortems-Assassin-s-Creed アクティブ・エリアセットは、プレイヤーの周囲の領域で、 リアルタイムにメタAIがゲームを調整する領域
  75. 年 企業 テーマ Open 2003 Microsoft 「Teo Feng」における強化学習 2005 Microsoft

    「Forzamotor Sports」における強化学習 2013 DeepMind AtariのゲームをDQNで学習 〇 2015 DeepMind 囲碁 AlphaGO 2017 AnyLogic 倉庫・機械などモデルのシミュレーション Microsoft 「パックマン」多報酬学習 Hybrid Reward Architecture for Reinforcement Learning 〇 2019 Google 「サッカーシミュレーター」による強化学習の研究 〇 DeepMind 「Capture the flag」によるディープラーニング学習 〇 Microsoft 「AirSim」ドローンシミュレーター 〇 Nvidia 「ドライビングシミュレーター」 Mircrosoft 「TextWorld」アドベンチャーゲームを題材に言語学習 〇 facebook 「CraftAssist」マインクラフト内で会話研究 〇 CarMelon カーネギーメロン大学「MineRL」マインクラフトを使ったAIコンテスト 〇 facebook 「LIGHT」ファンタジーワールドを構築してクラウドワーカーで会話研究 〇 OpenAI 「Dota2」OpenAIによる「OpenAIFive」 〇 DeepMind 「StarCraft2」AlphaStar 〇 DeepMind 「Capture the Flag」QuakeIII エンジン 〇 2020 Nvidia GameGAN「ディープラーニングによるパックマンの目コピー」 〇 DeepMind 「Agent57」AtariのほとんどのゲームをDQN+LSTMなどで学習 〇 OpenAI 「HIDE AND SEEK」かくれんぼを用いたマルチエージェントのカリキュラム学習 〇
  76. StarCraftのAI • Santiago Ontañon, Gabriel Synnaeve, Alberto Uriarte, Florian Richoux,

    David Churchill, et al.. • “A Survey of Real-Time Strategy Game AI Research and Competition in StarCraft”. IEEE Transactions on Computational Intelligence and AI in games, IEEE Computational Intelligence Society, 2013, 5(4), pp.1-19. hal- 00871001 • https://hal.archives-ouvertes.fr/hal-00871001
  77. FLASH IS BACK! RECENT MATCH vs JAEDONG! on Polypoid -

    StarCraft - Brood War – 2023 https://www.youtube.com/watch?v=WMue4ublyJc
  78. 戦略思考 ハイレベル、抽象的 3分~ 知識収集と 学習 敵のモデル化 戦略決定 部隊形成 命令プランの構築 戦術思考

    中間レベル 30秒~1分 スカウティング 戦闘タイミングと 位置 ユニットと建築物 の配置 反射コントロール 低レベル、物理的 ~1秒 小ユニット マルチエージェン パス検索 StarCraft 一般的なアーキテクチャ
  79. 戦闘 ゴール マネージャー ユニットグループ ベイジアン・ネット BroodWarBotQ 仲介モジュール 知能 マップ マネージャー

    技術推定 ユニット フィルター 資源管理 ワーカー マネージャー 基地 マネージャー 生産 マネージャー 建築 マネージャー StarCraft BroodWarQ Bot アーキテクチャ
  80. 知能 建築命令マネージャー スカウト マネージャー 資源 マネージャー マクロ マネージャー 拡張 マネージャー

    供給 マネージャー 部隊 マネージャー 封鎖経路 マネージャー 戦略 戦術 タスクマネージャー 建築設置 モジュール タスク n StarCraft SkyNet Bot アーキテクチャ
  81. 資源管理 戦闘 部隊マネージャー 防御マネージャー 戦闘マネージャー AIUR ムード マネージャー 知能 仲介モジュール

    スカウト マネー ジャー 情報マネージャー ワーカー マネージャー 基地 マネージャー 生産 マネージャー 建築 マネージャー スパイ マネー ジャー 消費 マネージャー StarCraft AIUR Bot アーキテクチャ
  82. StarCraft~StarCraft2における 人工知能 (DeepMind, 2019) Oriol Vinyals, et al., “StarCraft II:

    A New Challenge for Reinforcement Learning”, https://arxiv.org/abs/1708.04782 PySC2 - StarCraft II Learning Environment https://github.com/deepmind/pysc2
  83. StarCraft II API StarCraft II バイナリー PySC2 エージェント アクション select_rect(p1,

    p2) or build_supply(p3) or … 観察 資源 可能なアクション 建築命令 スクリーン (ゲーム情報) ミニマップ (特定の情報) 報酬 -1/0/+1 SC2LE
  84. 評価値 Value Network Baseline features アクション・タイプ ディレイ ユニット選択 命令発行 ターゲット選択

    Residual MLP MLP MLP Pointer Network Attention D 分散表現 MLP 分散表現 MLP 分散表現 MLP Embedding MLP コア Deep LSTM スカラー エンコーダー MLP エンティティ エンコーダー トランス フォーマー 空間 エンコーダー ResNet ゲーム パラメーター群 エンティティ ミニマップ
  85. Oriol Vinyals, et al., “StarCraft II: A New Challenge for

    Reinforcement Learning”, https://arxiv.org/abs/1708.04782 PySC2 - StarCraft II Learning Environment https://github.com/deepmind/pysc2
  86. Oriol Vinyals, et al., “StarCraft II: A New Challenge for

    Reinforcement Learning”, https://arxiv.org/abs/1708.04782 PySC2 - StarCraft II Learning Environment https://github.com/deepmind/pysc2
  87. 日本におけるゲームセンターの対戦文化の流れ(1980年代~) アメリカを中心とするFPS対戦の流れ(2000年前後~) 韓国におけるeスポーツ文化の流れ(1997年~) 世界的なMOBAスタイルの チーム対戦の流れ(2010年~) 1985 1990 1995 2007 ⅬAN

    ゲームセンターの 対戦台 インターネット 高速インターネット・動画配信 実際の現場でギャラリー観戦 テレビなどで観戦 インターネットで観戦 ゲーム聴衆 の誕生
  88. OpenAI Five https://openai.com/projects/five/ Christopher Berner, et al.,“Dota 2 with Large

    Scale Deep Reinforcement Learning” https://arxiv.org/abs/1912.06680
  89. ELIZA(イライザ) (1966年) • 対話型コンピューティングの初めての例 • 簡単な構文解析 • 抽出した語句から質問文を形成 • 対話エージェントのはじまり

    • 自然言語処理の発展 (自然言語処理は 1950年代から発展している。特に自動翻 訳など) https://ja.wikipedia.org/wiki/ELIZA
  90. テキストベースのRPG(CRPGの起源) (Don Daglow and Students in Claremont Graduate University, 1975)

    カウンセラーとしての対話エージェント (ジョセフ・ワイゼンバウム、1966) ELIZA Dungeon Ecala 拡 張 DEC社のPDP-10上で動くELIZAの拡張 (Don Daglow、のちに Neverwinter Nightを制作)
  91. Creatures(Millennium, 1996) • 8000ノードのニューラルネットワーク • 物の名前とアクションを学習する ※出典Grand, Steve; Cliff, Dave;

    Mahotra, Anil. (1996). "Creatures: Artificial Life Autonomous Software Agents for Home Entertainment" (PDF). Millennium Technical Report 9601; University of Sussex Technical Report CSRP434. Retrieved 2012-11-12. http://mrl.snu.ac.kr/courses/CourseSyntheticCharacter/grand96creatures.pdf Ⓒ Millennium Interactive, Ltd.
  92. 遺伝的アルゴリズムの仕組み 遺伝子 次世代 親① 親② 母集団から優秀な親を 2体ピックアップ 遺伝子を掛け合わせる 次世代の子供を産み出す (selection)

    (crossover) (production) 現世代 遺伝子 このサイクルをくり返すことで世代を進めて、望ましい集団を産み出す 遺伝子 遺伝子
  93. シーマン(SEGA, 1999) 斎藤 由多加 聞き手:大澤 博隆、三宅 陽一郎 構成:高橋 ミレイ シーマンは来たるべき会話型エージェントの福音となるか?:斎藤由多加インタビュー

    Will Seaman Lead AI Technology for Interactive Agent? : Yutaka Saito Interview https://jsai.ixsq.nii.ac.jp/ej/?action=pages_view_main&active_action=repository_view_main_item_detail&item_id=8633&item_no=1&page_id=13&block_id=23
  94. 斎藤さんのお言葉 • もっと言うと“頷くだけ”でいい , .“頷く”というのは,情報的には無で すよね.でも,そこを共有する仕組みに我々が目を向けていかない限り, 冒頭でおっしゃった,人間と親しく会話をする人工知能をつくる手立ては 見つからないと思います.エージェントというと検索エンジンの代理人み たいに思っておられるんじゃないかと思いますが,何も検索しない,ただ 「マジか…」と言ってくれる

    斎藤 由多加 聞き手:大澤 博隆、三宅 陽一郎 構成:高橋 ミレイ シーマンは来たるべき会話型エージェントの福音となるか?:斎藤由多加インタビュー Will Seaman Lead AI Technology for Interactive Agent? : Yutaka Saito Interview https://jsai.ixsq.nii.ac.jp/ej/?action=pages_view_main&active_action=repository_view_main_item_detail&item_id=8633&item_ no=1&page_id=13&block_id=23
  95. The Sims(シム・ピープル, EA, Maxis, 2000) • 自律型エージェントの作る社会を観察するゲーム Ken Forbus, “Simulation

    and Modeling: Under the hood of The Sims” (NorthWerstern大学、講義資料) http://www.cs.northwestern.edu/%7Eforbus/c95-gd/lectures/The_Sims_Under_the_Hood_files/frame.htm Richard Evans, Modeling Individual Personalities in The Sims 3, GDC 2010 http://www.gdcvault.com/play/1012450/Modeling-Individual-Personalities-in-The
  96. The Sims における「モチーフ・エンジン」 • AIの人格モデル Ken Forbus, “Simulation and Modeling:

    Under the hood of The Sims” (NorthWerstern University) http://www.cs.northwestern.edu/%7Eforbus/c95-gd/lectures/The_Sims_Under_the_Hood_files/frame.htm Data - Needs - Personality - Skills - Relationships Sloppy - Neat Shy - Outgoing Serious - Playful Lazy - Active Mean - Nice Physical - Hunger - Comfort - Hygiene - Bladder Mental - Energy - Fun - Social - Room Motive Engine Cooking Mechanical Logic Body Etc.
  97. 最適(=最大効用)な行動を選択する • [原則] 周囲の対象に対する、あらゆる可能な行動から、 総合的な効用 (=Mood) を最大化する行動を選択する Hunger +20 Comfort

    -12 Hygiene -30 Bladder -75 Energy +80 Fun +40 Social +10 Room - 60 Mood +18 - Urinate (+40 Bladder) - Clean (+30 Room) - Unclog (+40 Room) Mood +26 - Take Bath (+40 Hygiene) (+30 Comfort) - Clean (+20 Room) Mood +20 Bathtub Toilet Ken Forbus, “Simulation and Modeling: Under the hood of The Sims” (NorthWerstern大学、講義資料) http://www.cs.northwestern.edu/%7Eforbus/c95-gd/lectures/The_Sims_Under_the_Hood_files/frame.htm
  98. ムードの計算方法と各パラメーターのウェイトグラフ Mood = W_Hunger(X_Hunger) * X_Hunger + W_Engergy(X_Energy) * X_Energy

    + … -100 0 100 -100 0 100 -100 0 100 -100 0 100 -100 0 100 -100 0 100 W_Hunger W_Energy W_Comfort W_Fun W_Hygiene W_Social W_Bladder W_Room -100 0 100 -100 0 100 Ken Forbus, “Simulation and Modeling: Under the hood of The Sims” (NorthWerstern大学、講義資料) http://www.cs.northwestern.edu/%7Eforbus/c95-gd/lectures/The_Sims_Under_the_Hood_files/frame.htm
  99. 効用(Utility)の計算の仕方 Hunger degree at -80 = W_Hunger(-80)*(-80) Hunger degree at

    60 = W_Hunger(60)*(60) Δ = W_Hunger(60)*(60) - W_Hunger(-80)*(-80) Utility for hunger W_Hunger X_Hunger W_Hunger(-80) -80 60 W_Hunger(60) 90 W_Hunger(90)
  100. 限界効用逓減の法則 Δ(-80 → 60)=W_Hunger(60)*(60) - W_Hunger(-80)*(-80) Δ (60→90) =W_Hunger(90)*(90) -

    W_Hunger(60)*(60) Δ(-80 → 60) は Δ(60→90) よりずっと大きい Utility for hunger W_Hunger X_Hunger W_Hunger(-80) -80 60 W_Hunger(60) 90 W_Hunger(90)
  101. F-formation (Kendon, 1984) • 人と人が向い合うときに 形成する立ち位置 Paul Marshall,Yvonne Rogers,Nadia Pantidi

    Using F-formations to analyse spatial patterns of interaction in physical environments http://mcs.open.ac.uk/pervasive/pdfs/MarshallCSCW2011.pdf
  102. 対話エージェントの歴史 Creatures シーマン LEFT 4 DEAD The Last of US

    FFXV テキスト アドベン チャー 箱庭・シム系 ゲーム内 会話系 アストロ ノーカ 対話・キャラクター育成系 多数の ゲーム イラ イザ エミー2 パピーラブ The Sims ワンダー プロジェクト J1,2 リトルコン ピューター ピープル どこでも いっしょ
  103. Earth revival (Nuverse, 中国のゲーム) • 800ms以下で会話を生成 • アニメーション生成(10 から 20秒の)

    • …つまり20 時間のコンテンツをわずか48分で生成 • GPT3 • 音声生成 Nuverse lets AI do all the talking and moving of NPCs in Earth: Revival https://premortem.games/2023/03/22/nuverse-lets-ai-do-all- the-talking-and-moving-of-npcs-in-earth-revival/ ジェネレーティブAIでゲーム開発支援! GDCで発表されたリア ルな事例や取り組みを紹介 https://www.famitsu.com/news/202303/24297009.html
  104. ChatGPT と Stable Diffusion を用いた RPG: Tales of Syn •

    How AI-assisted RPG Tales of Syn utilizes Stable Diffusion and ChatGPT to create assets and dialogues • https://gameworldobserver.com/2023/03/06/tales-of-syn-ai- rpg-stable-diffusion-chatgpt-game • Tales of Syn • https://talesofsyn.com/ • https://twitter.com/_hackmans_/status/1624501399383072768
  105. ChatGPT と Stable Diffusion を用いた RPG: Tales of Syn •

    https://twitter.com/_hackmans_/status/1624501399383072768 • https://talesofsyn.com/
  106. Tales of Syn Game - NPC Chat GPT3 Prototype (Tales

    of Syn) https://www.youtube.com/watch?v=ejw6OI4_lJw
  107. 年 企業 テーマ Open 2003 Microsoft 「Teo Feng」における強化学習 2005 Microsoft

    「Forzamotor Sports」における強化学習 2013 DeepMind AtariのゲームをDQNで学習 〇 2015 DeepMind 囲碁 AlphaGO 2017 AnyLogic 倉庫・機械などモデルのシミュレーション Microsoft 「パックマン」多報酬学習 Hybrid Reward Architecture for Reinforcement Learning 〇 2019 Google 「サッカーシミュレーター」による強化学習の研究 〇 DeepMind 「Capture the flag」によるディープラーニング学習 〇 Microsoft 「AirSim」ドローンシミュレーター 〇 Nvidia 「ドライビングシミュレーター」 Mircrosoft 「TextWorld」アドベンチャーゲームを題材に言語学習 〇 facebook 「CraftAssist」マインクラフト内で会話研究 〇 CarMelon カーネギーメロン大学「MineRL」マインクラフトを使ったAIコンテスト 〇 facebook 「LIGHT」ファンタジーワールドを構築してクラウドワーカーで会話研究 〇 OpenAI 「Dota2」OpenAIによる「OpenAIFive」 〇 DeepMind 「StarCraft2」AlphaStar 〇 DeepMind 「Capture the Flag」QuakeIII エンジン 〇 2020 Nvidia GameGAN「ディープラーニングによるパックマンの目コピー」 〇 DeepMind 「Agent57」AtariのほとんどのゲームをDQN+LSTMなどで学習 〇 OpenAI 「HIDE AND SEEK」かくれんぼを用いたマルチエージェントのカリキュラム学習 〇
  108. LIGHT(facebook.ai, 2019) • テキストアドベンチャー フレームワーク • クラウドワーカーを用いてゲーム設 計を募集 • クラウドワーカーに役を割り当てて

    会話チャットでデータ収集 • この上で自然言語会話を研究 https://parl.ai/projects/light/ https://ai.facebook.com/blog/introducing-light-a-multiplayer-text-adventure-game-for-dialogue-research/
  109. (facebook ai) Prithviraj Ammanabrolu, Jack Urbanek, Margaret Li, Arthur Szlam,

    Tim Rocktäschel, Jason Weston How to Motivate Your Dragon: Teaching Goal-Driven Agents to Speak and Act in Fantasy Worlds https://arxiv.org/abs/2010.00685
  110. 年 企業 テーマ Open 2003 Microsoft 「Teo Feng」における強化学習 2005 Microsoft

    「Forzamotor Sports」における強化学習 2013 DeepMind AtariのゲームをDQNで学習 〇 2015 DeepMind 囲碁 AlphaGO 2017 AnyLogic 倉庫・機械などモデルのシミュレーション Microsoft 「パックマン」多報酬学習 Hybrid Reward Architecture for Reinforcement Learning 〇 2019 Google 「サッカーシミュレーター」による強化学習の研究 〇 DeepMind 「Capture the flag」によるディープラーニング学習 〇 Microsoft 「AirSim」ドローンシミュレーター 〇 Nvidia 「ドライビングシミュレーター」 Mircrosoft 「TextWorld」アドベンチャーゲームを題材に言語学習 〇 facebook 「CraftAssist」マインクラフト内で会話研究 〇 CarMelon カーネギーメロン大学「MineRL」マインクラフトを使ったAIコンテスト 〇 facebook 「LIGHT」ファンタジーワールドを構築してクラウドワーカーで会話研究 〇 OpenAI 「Dota2」OpenAIによる「OpenAIFive」 〇 DeepMind 「StarCraft2」AlphaStar 〇 DeepMind 「Capture the Flag」QuakeIII エンジン 〇 2020 Nvidia GameGAN「ディープラーニングによるパックマンの目コピー」 〇 DeepMind 「Agent57」AtariのほとんどのゲームをDQN+LSTMなどで学習 〇 OpenAI 「HIDE AND SEEK」かくれんぼを用いたマルチエージェントのカリキュラム学習 〇
  111. TextWorld • マイクロソフトが構築したテキストアドベンチャーの学習環境 • 50ほどのテキストアドベンチャーを内包している • TextWorld: A Learning Environment

    for Text-based Games • https://arxiv.org/abs/1806.11532 • • TextWorld: A learning environment for training reinforcement learning agents, inspired by text-based games • https://www.microsoft.com/en-us/research/blog/textworld-a-learning-environment- for-training-reinforcement-learning-agents-inspired-by-text-based-games/ • • Getting Started with TextWorld • https://www.youtube.com/watch?v=WVIIigrPUJs https://www.microsoft.com/en-us/research/project/textworld/
  112. 年 企業 テーマ Open 2003 Microsoft 「Teo Feng」における強化学習 2005 Microsoft

    「Forzamotor Sports」における強化学習 2013 DeepMind AtariのゲームをDQNで学習 〇 2015 DeepMind 囲碁 AlphaGO 2017 AnyLogic 倉庫・機械などモデルのシミュレーション Microsoft 「パックマン」多報酬学習 Hybrid Reward Architecture for Reinforcement Learning 〇 2019 Google 「サッカーシミュレーター」による強化学習の研究 〇 DeepMind 「Capture the flag」によるディープラーニング学習 〇 Microsoft 「AirSim」ドローンシミュレーター 〇 Nvidia 「ドライビングシミュレーター」 Mircrosoft 「TextWorld」アドベンチャーゲームを題材に言語学習 〇 facebook 「CraftAssist」マインクラフト内で会話研究 〇 CarMelon カーネギーメロン大学「MineRL」マインクラフトを使ったAIコンテスト 〇 facebook 「LIGHT」ファンタジーワールドを構築してクラウドワーカーで会話研究 〇 OpenAI 「Dota2」OpenAIによる「OpenAIFive」 〇 DeepMind 「StarCraft2」AlphaStar 〇 DeepMind 「Capture the Flag」QuakeIII エンジン 〇 2020 Nvidia GameGAN「ディープラーニングによるパックマンの目コピー」 〇 DeepMind 「Agent57」AtariのほとんどのゲームをDQN+LSTMなどで学習 〇 OpenAI 「HIDE AND SEEK」かくれんぼを用いたマルチエージェントのカリキュラム学習 〇
  113. facebook:「CraftAssist」(2019) • マインクラフトでプレイヤーと共同作業可能なAIを 実装するためのオープンソースプラットフォーム https://gigazine.net/news/20190719-craftassist- collaborative-ai-minecraft/ • テキスト会話によって、エージェント(キャラク ター)に意味を解釈させる。「青い家を建てろ」な ど。

    CraftAssist: A Framework for Dialogue-enabled Interactive Agents - Facebook Research https://research.fb.com/publications/craftassist-a-framework-for-dialogue-enabled- interactive-agents/ Open-sourcing CraftAssist, a platform for studying collaborative AI bots in Minecraft https://ai.facebook.com/blog/craftassist-platform-for-collaborative-minecraft-bots/ Mojang © 2009-2021.
  114. カーネギーメロン大学「MineRL」 • カーネギーメロン大学が NeurIPSで主催するマインクラフトを題材にした • 強化学習コンテストのフレームワーク • https://ai-scholar.tech/articles/treatise/minerl-ai-353 • https://minerl.io/competition/

    • https://www.aicrowd.com/challenges/neurips-2020-minerl-competition • 論文 • https://arxiv.org/pdf/1907.13440.pdf • https://arxiv.org/abs/1904.10079 • https://www.microsoft.com/en-us/research/project/project-malmo/ • https://minerl.io/docs/ • https://slideslive.at/38922880/the-minerl-competition?ref=search
  115. ゲームと人工知能の関係 ゲームAI ゲームを外側から プレイするAI ゲーム内側から 構成するAI 将棋、チェス、囲碁… アカデミックで研究されるAI アカデミックではゲームを製作する、 ということはなかなかできない・しない

    マリオ、ゼルダ、フォートナイト 産業で開発されるAI ゲームを構成するAI ゲームを作り出す 人工知能 ゲームを管理する人工知能 ゲームを製作する人工知能
  116. Far Cry 2 Dunia Engine - Growing Vegetation (Far Cry

    HQ) https://www.youtube.com/watch?v=FI3oR6vqn1Q
  117. L-system による街の自動生成 City Engine(central pictures) Yoav I H Parish, Pascal

    Müller http://www.centralpictures.com/ce/tp/paper.pdf http://www.centralpictures.com/ce/ George Kelly, Hugh McCabe, A Survey of Procedural Techniques for City Generation http://www.gamesitb.com/SurveyProcedural.pdf
  118. L-system による街の自動生成 City Engine(central pictures) Yoav I H Parish, Pascal

    Müller http://www.centralpictures.com/ce/tp/paper.pdf http://www.centralpictures.com/ce/ George Kelly, Hugh McCabe, A Survey of Procedural Techniques for City Generation http://www.gamesitb.com/SurveyProcedural.pdf
  119. 評価 選 択 交叉 突然変異 ルール チェック 整合性 がある か?

    ポリシー 選択 速度が 遅い? ゴミ 箱 テストプ レイ 前と似て いる 引き分け になり やすい 母集団 Mark J. Nelson, “Bibliography: Encoding and generating videogame mechanics”, IEEE CIG 2012 tutorial URL https://www.kmjn.org/notes/generating_mechanics_bibliography.html Cameron Browne,“Evolutionary Game Design”, SpringerBriefs in Computer Science, 2011 URL https://www.springer.com/jp/book/9781447121787
  120. PCGML PCGRL: Procedural Content Generation via Reinforcement Learning Ahmed Khalifa,

    Philip Bontrager, Sam Earle, Julian Togelius https://arxiv.org/abs/2001.09212
  121. PCGRL: Procedural Content Generation via Reinforcement Learning Ahmed Khalifa, Philip

    Bontrager, Sam Earle, Julian Togelius https://arxiv.org/abs/2001.09212
  122. PCGRL: Procedural Content Generation via Reinforcement Learning Ahmed Khalifa, Philip

    Bontrager, Sam Earle, Julian Togelius https://arxiv.org/abs/2001.09212
  123. PCGRL: Procedural Content Generation via Reinforcement Learning Ahmed Khalifa, Philip

    Bontrager, Sam Earle, Julian Togelius https://arxiv.org/abs/2001.09212
  124. PCGRL: Procedural Content Generation via Reinforcement Learning Ahmed Khalifa, Philip

    Bontrager, Sam Earle, Julian Togelius https://arxiv.org/abs/2001.09212 PCGRL参考 • https://twitter.com/togelius/status/1222038094507102208 • https://twitter.com/i/status/1222038094507102208
  125. PCGRL: Procedural Content Generation via Reinforcement Learning Ahmed Khalifa, Philip

    Bontrager, Sam Earle, Julian Togelius https://arxiv.org/abs/2001.09212
  126. 人間が製作し、 人工知能がチェックする Adversarial Reinforcement Learning for Procedural Content Generation Linus

    Gisslén, Andy Eakins, Camilo Gordillo, Joakim Bergdahl, Konrad Tollmar https://arxiv.org/abs/2103.04847
  127. Adversarial Reinforcement Learning for Procedural Content Generation Linus Gisslén, Andy

    Eakins, Camilo Gordillo, Joakim Bergdahl, Konrad Tollmar https://arxiv.org/abs/2103.04847
  128. Adversarial Reinforcement Learning for Procedural Content Generation Linus Gisslén, Andy

    Eakins, Camilo Gordillo, Joakim Bergdahl, Konrad Tollmar https://arxiv.org/abs/2103.04847
  129. Adversarial Reinforcement Learning for Procedural Content Generation Linus Gisslén, Andy

    Eakins, Camilo Gordillo, Joakim Bergdahl, Konrad Tollmar https://arxiv.org/abs/2103.04847
  130. CoG 2021: Adversarial Reinforcement Learning for Procedural Content Generation SEED

    – Electronic Arts https://www.youtube.com/watch?v=kNj0qcc6Fpg
  131. Adversarial Reinforcement Learning for Procedural Content Generation Linus Gisslén, Andy

    Eakins, Camilo Gordillo, Joakim Bergdahl, Konrad Tollmar https://arxiv.org/abs/2103.04847
  132. Adversarial Reinforcement Learning for Procedural Content Generation Linus Gisslén, Andy

    Eakins, Camilo Gordillo, Joakim Bergdahl, Konrad Tollmar https://arxiv.org/abs/2103.04847
  133. Adversarial Reinforcement Learning for Procedural Content Generation Linus Gisslén, Andy

    Eakins, Camilo Gordillo, Joakim Bergdahl, Konrad Tollmar https://arxiv.org/abs/2103.04847
  134. 運営元 ポイント お金 ユーザー ポイント を購入 ユーザー お金 仮想通貨 運営元

    ポイントを使用 アバター アバター メタバース デジタルゲーム 経済から見たゲームとメタバース
  135. ゲーム世界 プレイヤー (主人公) プレイする バーチャル アイドル プロデューサー 応援する・ プロデュース する

    ゲーム世界 (eSports) 観戦者 観戦する メタバース 一参加者 生産する デジタル世界への参加の仕方の変化 デジタル空間への参加の仕方の変化
  136. 今後、最大のトレンドの一つ メタバース x ジェネレーティブAI How Generative AI is Powering the

    Future of Creation on Roblox Bloxy News https://www.youtube.com/watch?v=zISxm50eOG8
  137. 人間 ジャンルごとの目安 AI 人間 AI 人間 AI 人間 AI 人間

    2D画像 3Dモデル 90% 50% 音楽 45% アニメーション 30% AI 音声 80% AI 人間 言語 70%
  138. (メッシュ) コスト : 0.5 見通し: 1.0 地表: 床 推奨高度:5m (メッシュ)

    コスト : 0.5 見通し: 1.0 地表: 床 推奨高度:10m (メッシュ) コスト : 2.5 見通し: 1.0 地表: 土 推奨高度:10m 壁面:ガラス 壁との衝突は 必ず回避してください エージェント ナビゲーション・メッシュ (メッシュ) コスト : 0.5 見通し: 1.0 地表: 床 推奨高度:7m エレベーターの入り口: 使用する場合は、 メッセージ001を送ってください 空間記述表現
  139. (まとめ)ゲームと人工知能の関係 ゲームAI ゲームを外側から プレイするAI ゲーム内側から 構成するAI 将棋、チェス、囲碁… アカデミックで研究されるAI アカデミックではゲームを製作する、 ということはなかなかできない・しない

    マリオ、ゼルダ、フォートナイト 産業で開発されるAI ゲームを構成するAI ゲームを作り出す 人工知能 ゲームを管理する人工知能 ゲームを製作する人工知能
  140. オンラインゲーム メタバース 物理空間 世界観 強固、かつ詳細 なるべく緩い設定 現実のまま 物語 大きな物語を準備 物語に沿って

    イベントが展開 特になし ユーザーが作り出す 現実の経済、人間関係 (ソーシャル)、社会、 など無限の要素 キャラクター (人)の役割 世界、物語の中で 最初から定義 特になし ユーザー の関係の中で発生 不明(実存) オンラインゲーム 物理空間 純粋なメタバース (空っぽの空間)
  141. 現実世界 (1) お金の動き (2) 物の動き (3) 人・動物の動き (4) 自然の動き デジタル

    ツイン (現実世界 そっくりの メタバース) 同期 引き写し ミラーワールド スマートシティ センシングと情報取り込 みによる(1)-(4)の同期 ロボット・AI・情報提示に よるサービス・干渉
  142. 現実世界 現実世界 センサー エフェクタ デジタル ツイン × 世界モデル (ディープ ラーニング)

    都市の 世界モデルの獲得 世界モデル シミュレーション 意思決定 都市の夢を見る シミュレーション エンジン 都市メタAIの エージェント・ アーキテクチャ 情報経路
  143. メタバース 情報の 蓄積 シミュレー ション による予測 人間の叡知 一つの集合知性として機能する 物理空間 への作用

    センサー 意思決定 エフェクター 物理空間 からの情報 物理空間へ の作用 集合知性の エージェント・アーキテクチャ
  144. 物理世界 物理世界 デジタル世界 物理世界 集合知性 メタバース 物理世界 機械 Level I

    Level 0 Level III Level II 意識の変容 人とデジタル空間の融合 物理世界
  145. ゲームエンジンのUnityにPLATEAUのモデルを入れた画面。 モデルは、品川駅周辺のモデル ~都市全体の外観~ ~道路~ PLATEAUは建物のモデル のみなので、市民が実際 に歩くことになる道路は 自作。 Pythonでの数値シミュ レーション同様、この道

    路1つ1つにサービスの水 準を設定し、市民が通る と効用が得られるような 画面を作る。 今後の展望:実際の都市の3Dモデルによるシミュレーション 石政龍矢 三宅陽一郎「メタAI型スマートシティ形成の提唱-」 第64回土木計画学研究発表大会、2021年12月
  146. メタAI型スマートシティの有効性の検証 横軸はシミュレーションの回数、縦軸は社会全体の効用について、 メタAIがある場合の効用から、ない場合の効用を引いたもの 全ての状況において、 メタAIを導入した方が 社会全体の効用が高く なる メタAIがある場合とない場合の差 各パターン 効用の差

    ~留意点~ 検証の目的はメタAIが 上手く機能することの 確認であるため、効用 の差の大きさにはあま り意味はない 石政龍矢 三宅陽一郎「メタAI型スマートシティ形成の提唱-」 第64回土木計画学研究発表大会、2021年12月
  147. オンラインゲーム メタバース 物理空間 世界観 強固、かつ詳細 なるべく緩い設定 現実のまま 物語 大きな物語を準備 物語に沿って

    イベントが展開 特になし ユーザーが作り出す 現実の経済、人間関係 (ソーシャル)、社会、 など無限の要素 キャラクター (人)の役割 世界、物語の中で 最初から定義 特になし ユーザー の関係の中で発生 不明(実存) オンラインゲーム 物理空間 純粋なメタバース (空っぽの空間) オンラインゲームとメタバースの違い
  148. 時代 メタバース世界の多様化 2006 セカンドライフ 2008 meet-me 2018 2006 Roblox 2009

    Internet Adventure 2012 The Sandbox 2008 PlayStation Home 2011 2021 Horizon Worlds 2008 ai sp@ce メタバース 創成記 メタバースと ゲーム空間の 融合 セカンド ライフの影響 メタバースと 現実空間・ 経済との融合 2017 フォートナイト 2022 仮想通貨SAND導入(2017年-) 2003 EVE ONLINE 2015 2000 Phantasy Star Online / Phantasy Star Online 2 UGCを軸とした オンラインゲーム アイテム課金モデル 仮想通貨の隆盛
  149. ソー シャル 空間 ゲーム 空間 ソーシャル 空間 メタバース ソーシャル 空間

    1990 2010 2000 2020 オンラインゲームにおいて 徐々にソーシャル的要素が 入れられていった。SNSに 対抗する必要があった。 1990年代において ゲームはソロプレイか その場の数人でする ものであった。 ゲーム的要素の少ないソーシャル 空間をメインとするメタバースが 台頭する。しかし、ゲームとは つながっている。 ゲーム的要素がまったくない、 独立したソーシャル空間が成立 する。SNSの延長としての ソーシャル空間。 SN S SNS SNS ソーシャル 空間 SNSの台頭と拡大 ゲーム 空間 ゲーム 空間 SNS+ゲーム空間=メタバース
  150. ゲーム空間とソーシャル空間 の関係 関係図 特徴 ゲーム空間をメインとしつつ、 その周辺のソーシャル空間を 配置する ゲーム空間を補完する形、或いは ゲーム空間で満たされない部分を ソーシャル空間においてみたすよ

    うに設計する。たとえば、ゲーム 空間が戦闘であれば、ソーシャル 空間は音楽・演劇など。 ソーシャル空間をメインとし つつ、その中にゲーム空間が 埋め込まれる。 ソーシャル空間がメインであり、 そこにそれぞれ独立したゲーム空 間が埋め込まれる。多くの場合、 ユーザーが作成したミニゲームが 点在する形となる。 ゲーム空間-ソーシャル空間 一体型 ゲーム空間とソーシャル空間の区 別ではない。あらゆる場所がゲー ム空間であり、ユーザーが望めば、 あらゆる空間で交流が可能である。 ゲーム空間 ソーシャル 空間 ゲーム 空間 ゲーム 空間 ゲーム 空間 ゲーム 空間 ソーシャ ル 空間 Roblox Sandbox フォートナイト あつ森など ソーシャル 空間
  151. レベル キャラクターAI レベルを認識し、 自律的な判断を行い、 身体を動かす. 敵・味方 キャラクタ- プレイヤー 情報獲得 スパーシャルAI

    空間全般に関する思考 メタAI, キャラクターAIの為に 空間認識のためのデータを準備 ナビゲーション・データの管理 パス検索 戦術位置解析 オブジェクト認識 メタAI エージェントを動的に配置 レベル状況を監視 エージェントに指示 ゲームの流れを作る Order Ask & Report ゲーム全体をコントロール Support query query 頭脳として機能