話す、たたかう、作りだす ゲームとＡＩの５０年史

新時代の教養講座「ゲンロン・セミナー」　第1期「1000分で『遊び』学」
https://www.genron-alpha.com/genron-seminar-1st/

における講演資料です。

[概要]
遊びと人工知能の関係は、実に多様なものです。遊び相手としての人工知能は、たとえば、囲碁や将棋、チェス、格闘ゲームなどで対戦相手になってくれる人工知能です。しかし、デジタルゲームではむしろ、遊びそのものの要素として人工知能が組み込まれる場合が多くあります。たとえば、RPGの仲間キャラクター、敵キャラクター、村人、重要キャラクターなどです。遊びの歴史を紐解くと、面白いことに、人工知能によって可能になったゲームが沢山あります。たとえば、たとえば『Eliza』（1966）というカウンセリング人工知能は、その後、対話ゲームの基礎となり、これを母体としてアドベンチャーゲームが生まれます。さらに『ミステリーハウス』（1980)が、テキストアドベンチャーに絵をつけて新しい絵と文字からなるゲームが始まります。『PONG』（1972)は対戦ゲームでしたが、一人で遊べるようなゲームに発展し、様々なアクションゲームが生まれます。
また、テーブルトークPRGは現代のRPGゲームの母体ですが、そのゲームマスターの役割をデジタルゲームで引き継いたのが「メタAI」という人工知能です。「メタAI」は自らステージを作り、物語を作り、敵キャラクターを配置します。このように人工知能は常に遊びの地平を切り拓いてきました。その奔流をお見せできましたらと思います。

Transcript

1. 「話す、たたかう、作りだす
   ゲームとＡＩの５０年史」
   三宅 陽一郎 @miyayou
   2023.6.17 @ゲンロンカフェ
   新時代の教養講座「ゲンロン・セミナー」 第1期「1000分で『遊び』学」
   https://www.facebook.com/youichiro.miyake
   y.m.4160@gmail.com
   https://miyayou.com/
   https://www.genron-alpha.com/genron-seminar-1st/
   

   View Slide

2. 自己紹介
   

   View Slide

3. My Works (2004-2022)
   AI for Game Titles
   Books
   

   View Slide

4. 近著
   

   View Slide

5. View Slide

6. View Slide

7. 戦略ゲームAI
   • 戦略ゲームにおける人工知能の技術を、
   起源から集めた著作
   • 2021年10月15日
   • 300ページぐらい
   

   View Slide

8. シミュレーション
   現実
   機械学習
   （ディープ
   ラーニン
   グ）
   DeepMind社「Capture the flag」による
   ディープラーニング学習
   https://deepmind.com/blog/article/capture-the-flag-science
   

   View Slide

9. ゲームと人工知能の関係
   ゲームAI
   ゲームを外側から
   プレイするAI
   ゲーム内側から
   構成するAI
   将棋、チェス、囲碁…
   アカデミックで研究されるAI
   アカデミックではゲームを製作する、
   ということはなかなかできない・しない
   マリオ、ゼルダ、フォートナイト
   産業で開発されるAI
   ゲームを構成するAI
   ゲームを作り出す
   人工知能
   ゲームを管理する人工知能
   ゲームを製作する人工知能
   

   View Slide

10. 第一部
    ゲームを外側からプレイするAI
    

    View Slide

11. ゲームと人工知能の関係
    ゲームAI
    ゲームを外側から
    プレイするAI
    ゲーム内側から
    構成するAI
    将棋、チェス、囲碁…
    アカデミックで研究されるAI
    アカデミックではゲームを製作する、
    ということはなかなかできない・しない
    マリオ、ゼルダ、フォートナイト
    産業で開発されるAI
    ゲームを構成するAI
    ゲームを作り出す
    人工知能
    ゲームを管理する人工知能
    ゲームを製作する人工知能
    人工知能は自らを発展させるためにゲームを利用した
    

    View Slide

12. 人工知能の歴史とゲーム
    • 人工知能の誕生 1940-1950年代
    • ダートマス会議（1956年）
    • コンピュータの歴史と人工知能の歴史
    • 1950年代にはコンピュータ＝巨大頭脳
    

    View Slide

13. 人工知能に何をさせるか？
    • 人工知能の誕生期
    • 「閉じた問題」しか解けない
    • 人工知能を鍛える問題が必要
    箱庭（ゲーム）を解かせる
    迷路、チェッカー、将棋、囲碁
    迷路学習する機械式マウスを操作する
    シャノン（情報学の父） （photo: Bell Labs）
    

    View Slide

14. ダートマス会議（1956年）
    我々は、1956年の夏の2ヶ月間、10人の人工知能研究者がニューハンプ
    シャー州ハノーバーのダートマス大学に集まることを提案する。そこで、
    学習のあらゆる観点や知能の他の機能を正確に説明することで機械が
    それらをシミュレートできるようにするための基本的研究を進める。機械
    が言語を使うことができるようにする方法の探究、機械上での抽象化と
    概念の形成、今は人間にしか解けない問題を機械で解くこと、機械が自
    分自身を改善する方法などの探究の試みがなされるだろう。我々は、注
    意深く選ばれた科学者のグループがひと夏集まれば、それらの問題のう
    ちいくつかで大きな進展が得られると考えている。
    https://ja.wikipedia.org/wiki/%E3%83%80%E3%83%BC%E3%83%88%E3%83%9E%E3%82%B9%E4%BC%9A%E8%AD%B0
    人工知能＝人間の知能を機械に写す（移す）。
    

    View Slide

15. http://static.flickr.com/5051/5525304279_65012a492c_s.jpg
    ？
    http://flopdesign.com/download/Human_S/pages/B50.ht
    ml
    ？
    

    View Slide

16. 人間の知能の形/人工知能の知能の形
    人間（生物）の知能＝総合的知能
    一つの知能がいろんなことをできる
    お料理できる
    将棋が打てる
    目的地へ行ける
    何でもできる可能性を
    持つ総合知性
    

    View Slide

17. 人間の知能の形/人工知能の知能の形
    AlphaGO
    ＝囲碁しか打てない
    ＝人間より強い
    ナビ
    ＝目的地へのルート
    ＝ とても正確
    お掃除ロボット
    ＝お掃除しかできない
    ＝ 24時間掃除
    IBM ワトソン
    ＝記号の統計情報しかない
    ＝何百万行のテキストの関係
    を記憶
    お料理ロボット
    ＝お料理しかできない
    ＝何万と言うレシピ
    人工知能＝専門的知能
    一つのことしかできない。
    

    View Slide

18. 人間の知能の形/人工知能の知能の形
    お料理ロボット
    ＝お料理しかできない
    AlphaGO
    ＝囲碁しか打てない
    ナビ
    ＝目的地へのルート
    お掃除ロボット
    ＝お掃除しかできない
    人工知能＝専門的知能
    一つのことしかできない。一つのことがとても（人間より）得意。
    IBM ワトソン
    ＝記号の統計情報しかない
    ＝何百万行のテキストの関係
    を記憶
    

    View Slide

19. 時間（イメージ）
    空間（論理）
    殆どの人工知能は与えられたフレーム（問題設定）の
    外に出ることはできない。
    人間は柔軟にフレーム（問題設定）を創造し
    変化させることができる。
    人間と人工知能の違い
    

    View Slide

20. 人工知能は自分で問題（フレーム）を
    作れない。
    与えられた問題の中で、人間より賢くなる。
    これからの時代に必要な能力
    ＝問題を作る能力
    ＝人工知能を使役する能力
    

    View Slide

21. 閉じている
    開いている
    総合型
    専門型
    直観
    精密
    総合型人工知能
    （汎用人工知能）
    問題特化型
    人工知能
    

    View Slide

22. 閉じている
    開いている
    総合型
    専門型
    直観
    精密
    総合型人工知能
    （汎用人工知能）
    問題特化型
    人工知能
    フレームが
    閉じている
    問題領域
    

    View Slide

23. 閉じている
    開いている
    総合型
    専門型
    直観
    精密
    総合型人工知能
    （汎用人工知能）
    問題特化型
    人工知能
    フレームが
    閉じている
    問題領域
    フレームが
    閉じていない
    問題領域
    

    View Slide

24. 閉じている
    開いている
    総合型
    専門型
    直観
    精密
    総合型人工知能
    （汎用人工知能）
    問題特化型
    人工知能
    モラベックのパラドックス
    ＝人間と人工知能に得意・
    不得意は正反対
    

    View Slide

25. 閉じている
    開いている
    総合型
    専門型
    直観
    精密
    総合型人工知能
    （汎用人工知能）
    問題特化型
    人工知能
    フレームが
    閉じている
    問題領域
    フレームが
    閉じていない
    問題領域
    

    View Slide

26. 閉じている
    開いている
    総合型
    専門型
    直観
    精密
    総合型人工知能
    （汎用人工知能）
    問題特化型
    人工知能
    フレームが
    閉じていない
    問題領域
    フレームが
    閉じている
    問題領域
    

    View Slide

27. 閉じている
    開いている
    総合型
    専門型
    直観
    精密
    総合型人工知能
    （汎用人工知能）
    問題特化型
    人工知能
    フレームが
    閉じていない
    問題領域
    ゲーム
    

    View Slide

28. 閉じている
    開いている
    総合型
    専門型
    直観
    精密
    総合型人工知能
    （汎用人工知能）
    問題特化型
    人工知能
    フレームが
    閉じている
    問題領域
    フレームが
    閉じていない
    問題領域
    ゲーム
    

    View Slide

29. 身体 身体
    環境
    意識
    前意識
    無意識
    （言語の網）
    意識
    前意識
    無意識
    （プログラム
    言語の網）
    外部から
    の情報
    言語・非言語境界面
    知覚の境界面
    人間 人工知能（エージェント）
    意識的干渉
    無意識的干渉
    外部からの
    情報
    物理的干渉
    他者の構成
    他者の構成プロセス
    

    View Slide

30. 身体 身体
    環境
    意識
    前意識
    無意識
    （言語の網）
    意識
    前意識
    無意識
    （プログラム
    言語の網）
    外部から
    の情報
    人間 人工知能（エージェント）
    外部からの
    情報
    物理的干渉
    他者の構成プロセス
    人間と人工知能は複数のレイヤーで結ばれる
    

    View Slide

31. 身体 身体
    環境
    意識
    前意識
    無意識
    （言語の網）
    意識
    前意識
    無意識
    （プログラム
    言語の網）
    外部から
    の情報
    人間 人工知能（エージェント）
    外部からの
    情報
    物理的干渉
    他者の構成プロセス
    ゆったりとした強い同期の輪
    人間と人工知能は複数の関係で
    結ばれている
    

    View Slide

32. 身体 身体
    環境
    意識
    前意識
    無意識
    （言語の網）
    意識
    前意識
    無意識
    （プログラム
    言語の網）
    外部から
    の情報
    人間 人工知能（エージェント）
    外部からの
    情報
    物理的干渉
    他者の構成プロセス
    ゆったりとした強い同期の輪
    人間と人工知能は複数の関係で
    結ばれている
    ＝人間同士も、人間と人工知能同士も
    なかなかわかりあえない
    

    View Slide

33. 身体 身体
    環境
    意識
    前意識
    無意識
    （言語の網）
    意識
    前意識
    無意識
    （プログラム
    言語の網）
    外部から
    の情報
    人間 人工知能（エージェント）
    外部からの
    情報
    物理的干渉
    他者の構成プロセス
    ゆったりとした強い同期の輪
    わかりあえない、のは、
    環境が複雑だからでもある。
    世界内存在でも、セカイがみんな違う
    

    View Slide

34. 身体 身体
    ゲーム
    意識
    前意識
    無意識
    （言語の網）
    意識
    前意識
    無意識
    （プログラム
    言語の網）
    外部から
    の情報
    人間 人工知能（エージェント）
    外部からの
    情報
    物理的干渉
    他者の構成プロセス
    ゆったりとした強い同期の輪
    

    View Slide

35. 身体 身体
    ゲーム
    意識
    前意識
    無意識
    （言語の網）
    意識
    前意識
    無意識
    （プログラム
    言語の網）
    外部から
    の情報
    人間 人工知能（エージェント）
    外部からの
    情報
    物理的干渉
    他者の構成プロセス
    ゆったりとした強い同期の輪
    一般にはわかりあえない、しかし、
    人間同士も、人間と人工知能も
    ゲームという場を通してわかり合える。
    

    View Slide

36. ボードゲームの人工知能
    • 人工知能の誕生以来、それは人工知能を育む箱庭（揺り籠）
    だった。
    • それでも人間の方がずっと強かった
    • ボードゲームは盤面の情報を表現しやすい（知識表現）
    • ボードゲームは完全に情報を表現しやすい（完全情報）
    

    View Slide

37. 城壁を作って行くゲーム『カルカソンヌ』
    作った城壁の大きさで勝敗が決まるゲーム。
    

    View Slide

38. ロンドンの街を舞台にした逃走と追走劇
    『スコットランドヤード』
    街の構造が思わぬ逃走を可能にする。ロンドンという街を体験した気に少しなる。
    

    View Slide

39. 中世ベネチアを舞台にしたスパイ同士の
    探り合い『インコグニト』
    http://www.ps-hiroshima.com/board/inkognito.htm
    誰が味方か、誰が敵かを、街を舞台に探り合う
    

    View Slide

40. ディープブルー（チェス、1997）
    １９９７年 ディープブルーがカスパロフに勝利
    機械学習を用いない探索で勝利
    開発はIBMと中身はアルバータ大学
    https://wired.jp/2012/10/03/deep-blue-computer-bug/
    

    View Slide

41. 一手先（自分）
    分岐
    三手先（自分）
    二手先（相手）
    ゲーム状態（＝盤面）
    人工知能による探索
    探索アルゴリズム
    

    View Slide

42. AlphaGo（囲碁、2016）
    2016年 AlphaGoがィ・セドル棋士に勝利
    ディープラーニング、モンテカルロ木探索を用いて勝利
    開発はDeep Mind社
    https://norakuranews.com/alphago-leesedol3/
    

    View Slide

43. ゲーム（フレーム）
    ゲームに全人格を取り込むことはできない
    ＝しかし部分的な自分と人工知能がゲームでわかりあう
    自分
    ゲーム
    人工知能
    ゲームの中の
    プレイヤー 対戦
    

    View Slide

44. DQNを有名にした
    「AlphaGO」
    

    View Slide

45. AlphaGo は３つの要素からなる
    • DQN（Deep Q Neural Network）2013年
    • モンテカルロ木探索 2004年
    • 強化学習 1990年代後半
    

    View Slide

46. DQN (Deep Q network)とは
    

    View Slide

47. Deep Q Learning (深層強化学習)
    Q-Learning
    ×
    Deep Learning
    

    View Slide

48. 世界
    五感
    身体
    言語
    知識表
    現型
    知識
    生成
    Knowledge
    Making
    意思決定
    Decision
    Making
    身体
    運動
    生成
    Motion
    Making
    インフォメーション・フロー（情報回廊）
    記憶
    キャラクターにおける学習の原理
    行動の表現
    結果の表現 意思決定
    Q(s,a)
    関数
    

    View Slide

49. Deep Q Network （DQN）とは
    • Q = 予想される報酬 （意思決定関数）
    • S = State （座標、速度、現在の姿勢）
    • A = Action （キック、パンチ、波動拳）
    • R = 報酬
    • Q (s,a ) という関数を決める方法
    深層ニューラルネットワーク
    Deep Q Network
    

    View Slide

50. 世界
    五感
    身体
    言語
    知識表
    現型
    知識
    生成
    Knowledge
    Making
    意思決定
    Decision
    Making
    身体
    運動
    生成
    Motion
    Making
    インフォメーション・フロー（情報回廊）
    記憶
    キャラクターにおける学習の原理
    行動の表現
    状態・結果の表現 意思決定
    ニューラル
    ネットワーク
    (DQN)
    

    View Slide

51. Deep Q-Learning (2013)
    Volodymyr Mnih, Koray Kavukcuoglu, David Silver, Alex Graves,
    Ioannis Antonoglou, Daan Wierstra, Martin Riedmiller (DeepMind Technologies)
    Playing Atari with Deep Reinforcement Learning
    http://www.cs.toronto.edu/~vmnih/docs/dqn.pdf
    画面を入力
    操作はあらかじめ教える
    スコアによる強化学習
    DQN Breakout (Google Deep Mind)
    https://www.youtube.com/watch?v=TmPfTpjtdgg
    

    View Slide

52. 学習過程解析
    Volodymyr Mnih, Koray Kavukcuoglu, David Silver, Alex Graves,
    Ioannis Antonoglou, Daan Wierstra, Martin Riedmiller (DeepMind Technologies)
    Playing Atari with Deep Reinforcement Learning
    http://www.cs.toronto.edu/~vmnih/docs/dqn.pdf
    

    View Slide

53. AlphaGO
    膨大な棋譜のデータ
    （人間では多過ぎて
    読めない）
    この棋譜を
    そっくり打てる
    ように学習する
    自己対戦して
    棋譜を貯める
    この棋譜を
    そっくり打てる
    ように学習する
    AlphaGO
    

    View Slide

54. • Pπ ロールアウトポリシー（ロールアウトで討つ手を決める。
    Pπ（a|s） sという状態でaを討つ確率）
    • Pσ Supervised Learning Network プロの討つ手からその
    手を討つ確率を決める。Pσ（a|s）sという状態でaを討つ確
    率。
    • Pρ 強化学習ネットワーク。Pρ（学習済み）に初期化。
    • Vθ(s’) 局面の状態 S’ を見たときに、勝敗の確率を予測
    する関数。つまり、勝つか、負けるかを返します。
    Mastering the game of Go with deep neural networks and tree search
    http://www.nature.com/nature/journal/v529/n7587/full/nature16961.html
    https://deepmind.com/research/alphago/
    

    View Slide

55. 囲碁AI：
    位置評価関数から位置評価ニューラルネットワークへ
    Mastering the game of Go with deep neural networks and tree search
    http://www.nature.com/nature/journal/v529/n7587/full/nature16961.html
    https://deepmind.com/research/alphago/
    S
    Q
    

    View Slide

56. AlphaGo は３つの要素からなる
    • DQN（Deep Q Neural Network）2013年
    • モンテカルロ木探索 2006年
    • 強化学習 1990年代後半
    

    View Slide

57. モンテカルロ木探索とは
    （MCTS）
    

    View Slide

58. 現在の盤面の状態
    負
    勝率 : 4/5 勝率 : 2/5 勝率 : 3/5
    基本、
    乱数による
    プレイアウト
    勝
    候補となる手
    

    View Slide

59. より有望そうな枝を試すアルゴリズム
    W_1（＝８０） W_2（＝７０） W_3（＝1２０）
    試行回数
    報酬合計
    3回 ２回 ４回 全試行回数 9回
    20ドル/回
    マシン１ マシン２ マシン３
    120
    80
    +
    2 ∗ 9
    80
    70
    40
    +
    2 ∗ 9
    40
    80
    60
    +
    2 ∗ 9
    60
    UCB1
    掛け金総額 60ドル 40ドル 80ドル
    プレイヤー
    

    View Slide

60. モンテカルロ木探索の衝撃（2006年）
    • モンテカルロ木探索は囲碁AIを革新した
    • 過去10年分の発展を一気になしとげた
    

    View Slide

61. 現在のゲーム状態
    次の一手のゲーム状態
    次の次の一手のゲーム状態
    末端
    次の一手の中で一番
    リグレットの値が一番高いノード
    一回シミュレーションを加えたら、それまでのノードに結果を反映してリグレット値を更新
    次の次の一手の中で一番
    リグレットの値が一番高い
    ノード
    次の次の次の一手の中で一番
    リグレットの値が一番高いノード
    Value
    

    View Slide

62. アクション・バケット
    末端のノード
    選択された
    アクション・バケット
    現在のゲーム状態
    Combat := if prev( wait ) then
    Artillery
    AttackOrder
    SpecialOrder
    UseGate
    Openings := if root then
    WaitUntilContact
    WaitUntilAmbush
    PuckStealth
    

    View Slide

63. 敵チーム ＡＩチーム
    ＡＩチーム
    ゲート
    

    View Slide

64. Fable Legends
    Fable Legends Gameplay Demo - IGN Live: E3 2014
    https://www.youtube.com/watch?v=hQM_Dw_b0jE
    

    View Slide

65. AlphaGo は３つの要素からなる
    • DQN（Deep Q Neural Network）2013年
    • モンテカルロ木探索 2004年
    • 強化学習 1990年代後半
    

    View Slide

66. Hopper Training Hopper Trained
    

    View Slide

67. Early in the learning process … … after 15 minutes of learning
    Reward for decrease in Wulong Goth’s health
    Ralf Herbrich, Thore Graepel, Joaquin Quiñonero Candela Applied Games Group,Microsoft Research Cambridge
    "Forza, Halo, Xbox Live The Magic of Research in Microsoft Products"
    http://research.microsoft.com/en-us/projects/drivatar/ukstudentday.pptx
    

    View Slide

68. Early in the learning process … … after 15 minutes of learning
    Punishment for decrease in either player’s health
    Ralf Herbrich, Thore Graepel, Joaquin Quiñonero Candela Applied Games Group,Microsoft Research Cambridge
    "Forza, Halo, Xbox Live The Magic of Research in Microsoft Products"
    http://research.microsoft.com/en-us/projects/drivatar/ukstudentday.pptx
    

    View Slide

69. Forza motorsports (EA)
    Jeffrey Schlimmer, "Drivatar and Machine Learning Racing Skills in the Forza Series"
    http://archives.nucl.ai/recording/drivatar-and-machine-learning-racing-skills-in-the-forza-series/
    

    View Slide

70. Drivatar (Microsoft, Forza Motorsport)
    How Forza's Drivatar Actually Works | AI and Games #60
    https://www.youtube.com/watch?v=JeYP9eyIl4E
    

    View Slide

71. AlphaGo（囲碁）
    2014年 AlphaGoがィ・セドル棋士に勝利
    ディープラーニング、モンテカルロ木探索を用いて勝利
    開発はDeep Mind社
    

    View Slide

72. Deep Mind社 「Agent 57」
    • Atariの古典的なゲーム57個を人間よりうまくプレイできるよう
    になった Deep Mind社のAI
    • https://deepmind.com/blog/article/Agent57-Outperforming-
    the-human-Atari-benchmark
    

    View Slide

73. DQNのさらなる発展
    • 最後までスコアに苦しんだゲーム
    • Montezuma’s Revenge
    • Pitfall
    • Solaris
    • Skiing
    Agent57: Outperforming the human Atari benchmark （DeepMind）
    https://deepmind.com/blog/article/Agent57-Outperforming-the-human-Atari-benchmark
    

    View Slide

74. Montezuma’s Revenge
    BootDQN + Randomized Prior playing Montezuma's Revenge
    https://www.youtube.com/watch?v=pqkM1PrIOyI
    

    View Slide

75. Solaris
    Agent57 playing Solaris （Google DeepMind）
    https://www.youtube.com/watch?v=QDb3rmEBTZI
    

    View Slide

76. Pitfall!
    NGU playing Pitfall! （Google DeepMind）
    https://www.youtube.com/watch?v=imAeLt1BPu4
    

    View Slide

77. Skiing
    NGU playing Skiing （Google DeepMind）
    https://www.youtube.com/watch?v=0_67wNXyOcI
    

    View Slide

78. ディープラーニングの
    デジタルゲームへの躍進
    

    View Slide

79. 年 企業 テーマ Open
    2003 Microsoft 「Teo Feng」における強化学習
    2005 Microsoft 「Forzamotor Sports」における強化学習
    2013 DeepMind AtariのゲームをDQNで学習 〇
    2015 DeepMind 囲碁 AlphaGO
    2017 AnyLogic 倉庫・機械などモデルのシミュレーション
    Microsoft 「パックマン」多報酬学習
    Hybrid Reward Architecture for Reinforcement Learning
    〇
    2019 Google 「サッカーシミュレーター」による強化学習の研究 〇
    DeepMind 「Capture the flag」によるディープラーニング学習 〇
    Microsoft 「AirSim」ドローンシミュレーター 〇
    Nvidia 「ドライビングシミュレーター」
    Mircrosoft 「TextWorld」アドベンチャーゲームを題材に言語学習 〇
    facebook 「CraftAssist」マインクラフト内で会話研究 〇
    CarMelon カーネギーメロン大学「MineRL」マインクラフトを使ったAIコンテスト 〇
    facebook 「LIGHT」ファンタジーワールドを構築してクラウドワーカーで会話研究 〇
    OpenAI 「Dota2」OpenAIによる「OpenAIFive」 〇
    DeepMind 「StarCraft2」AlphaStar 〇
    DeepMind 「Capture the Flag」QuakeIII エンジン 〇
    2020 Nvidia GameGAN「ディープラーニングによるパックマンの目コピー」 〇
    DeepMind 「Agent57」AtariのほとんどのゲームをDQN+LSTMなどで学習 〇
    OpenAI 「HIDE AND SEEK」かくれんぼを用いたマルチエージェントのカリキュラム学習 〇
    

    View Slide

80. 年 企業 テーマ Open
    2003 Microsoft 「Teo Feng」における強化学習
    2005 Microsoft 「Forzamotor Sports」における強化学習
    2013 DeepMind AtariのゲームをDQNで学習 〇
    2015 DeepMind 囲碁 AlphaGO
    2017 AnyLogic 倉庫・機械などモデルのシミュレーション
    Microsoft 「パックマン」多報酬学習
    Hybrid Reward Architecture for Reinforcement Learning
    〇
    2019 Google 「サッカーシミュレーター」による強化学習の研究 〇
    DeepMind 「Capture the flag」によるディープラーニング学習 〇
    Microsoft 「AirSim」ドローンシミュレーター 〇
    Nvidia 「ドライビングシミュレーター」
    Mircrosoft 「TextWorld」アドベンチャーゲームを題材に言語学習 〇
    facebook 「CraftAssist」マインクラフト内で会話研究 〇
    CarMelon カーネギーメロン大学「MineRL」マインクラフトを使ったAIコンテスト 〇
    facebook 「LIGHT」ファンタジーワールドを構築してクラウドワーカーで会話研究 〇
    OpenAI 「Dota2」OpenAIによる「OpenAIFive」 〇
    DeepMind 「StarCraft2」AlphaStar 〇
    DeepMind 「Capture the Flag」QuakeIII エンジン 〇
    2020 Nvidia GameGAN「ディープラーニングによるパックマンの目コピー」 〇
    DeepMind 「Agent57」AtariのほとんどのゲームをDQN+LSTMなどで学習 〇
    OpenAI 「HIDE AND SEEK」かくれんぼを用いたマルチエージェントのカリキュラム学習 〇
    

    View Slide

81. DeepMind社「Capture the flag」
    によるディープラーニング学習
    (2019年)
    

    View Slide

82. シミュレーション
    現実
    機械学習
    （ディープ
    ラーニン
    グ）
    https://deepmind.com/blog/article/capture-the-flag-science
    Human-level performance in 3D multiplayer games with population-based reinforcement learning
    Max Jaderberg et al.
    Science 31 May 2019: Vol. 364, Issue 6443, pp. 859-865
    DOI: 10.1126/science.aau6249
    

    View Slide

83. OpenAI「HIDE AND SEEK」 による学習
    (2019年)
    

    View Slide

84. 年 企業 テーマ Open
    2003 Microsoft 「Teo Feng」における強化学習
    2005 Microsoft 「Forzamotor Sports」における強化学習
    2013 DeepMind AtariのゲームをDQNで学習
    2015 DeepMind 囲碁 AlphaGO
    2017 AnyLogic 倉庫・機械などモデルのシミュレーション
    Microsoft 「パックマン」多報酬学習
    Hybrid Reward Architecture for Reinforcement Learning
    2019 Google 「サッカーシミュレーター」による強化学習の研究 〇
    DeepMind 「Capture the flag」によるディープラーニング学習
    Microsoft 「AirSim」ドローンシミュレーター 〇
    Nvidia 「ドライビングシミュレーター」
    Mircrosoft 「TextWorld」アドベンチャーゲームを題材に言語学習 〇
    facebook 「CraftAssist」マインクラフト内で会話研究 〇
    CarMelon カーネギーメロン大学「MineRL」マインクラフトを使ったAIコンテスト 〇
    facebook 「LIGHT」ファンタジーワールドを構築してクラウドワーカーで会話研究 〇
    OpenAI 「Dota2」OpenAIによる「OpenAIFive」 〇
    DeepMind 「StarCraft2」AlphaStar 〇
    DeepMind 「Capture the Flag」QuakeIII エンジン 〇
    2020 Nvidia GameGAN「ディープラーニングによるパックマンの目コピー」 〇
    DeepMind 「Agent57」AtariのほとんどのゲームをDQN+LSTMなどで学習 〇
    OpenAI 「HIDE AND SEEK」かくれんぼを用いたマルチエージェントのカリキュラム学習 〇
    

    View Slide

85. 「かくれんぼ」によってマルチエージェ
    ントを学習させる
    • オブジェクトがあって、動かしたり固
    定したりできる。
    • オブジェクトは直方体、傾斜台、長い
    板がある。
    • 一度固定したオブジェトは動かせない
    • エージェントは次第にオブジェクトを
    利用してかくれんぼをするようになる
    • ６種類の戦術を順番に発見・学習して
    いく
    https://openai.com/blog/emergent-tool-use/
    Emergent Tool Use From Multi-Agent Autocurricula (2019)
    Bowen Baker, Ingmar Kanitscheider, Todor Markov, Yi Wu, Glenn Powell, Bob McGrew, Igor Mordatch
    https://arxiv.org/abs/1909.07528
    

    View Slide

86. Multi-Agent Hide and Seek (OpenAI)
    https://www.youtube.com/watch?v=kopoLzvh5jY
    

    View Slide

87. ビックデータ ｘ ディープラーニング
    から
    シミュレーション ｘ ディープラーニング
    へ
    

    View Slide

88. 技術の変わり目
    ビックデータ ｘ ディープラーニング
    シミュレーション ｘ ディープラーニング
    データが貯まるところでディープラーニングを行い特徴抽出を行う
    シミュレーションでデータを貯めてディープラーニングを行う
    

    View Slide

89. シミュレーション
    現実
    機械学習
    （ディープ
    ラーニン
    グ）
    DeepMind社「Capture the flag」による
    ディープラーニング学習
    https://deepmind.com/blog/article/capture-the-flag-science
    

    View Slide

90. Google 「サッカーシミュレーター」による強化学習の
    研究
    https://automaton-media.com/articles/newsjp/20190613-95002/
    シミュレーション
    現実
    機械学習
    （ディープ
    ラーニン
    グ）
    https://ai.googleblog.com/2019/06/introducing-google-research-football.html
    https://www.youtube.com/watch?v=F8DcgFDT9sc&t=4s
    

    View Slide

91. Microsoft 「AirSim」による強化学習の研究
    シミュレーション
    現実
    機械学習
    （ディープ
    ラーニン
    グ）
    https://microsoft.github.io/AirSim/
    https://www.youtube.com/watch?v=-WfTr1-OBGQ&t=9s
    

    View Slide

92. Nvidia「ドライビングシミュレーター」による強化学習
    の研究
    シミュレーション
    現実
    機械学習
    （ディープ
    ラーニン
    グ）
    https://www.nvidia.com/en-us/self-driving-cars/drive-constellation
    Neural Reconstruction Engine in NVIDIA DRIVE Sim (NVIDIA)
    https://www.youtube.com/watch?v=vgot-CK1xRk&t=5s
    

    View Slide

93. 第ニ部
    ゲーム内側から構成するAI
    

    View Slide

94. ゲームと人工知能の関係
    ゲームAI
    ゲームを外側から
    プレイするAI
    ゲーム内側から
    構成するAI
    将棋、チェス、囲碁…
    アカデミックで研究されるAI
    アカデミックではゲームを製作する、
    ということはなかなかできない・しない
    マリオ、ゼルダ、フォートナイト
    産業で開発されるAI
    ゲームを構成するAI
    ゲームを作り出す
    人工知能
    ゲームを管理する人工知能
    ゲームを製作する人工知能
    

    View Slide

95. ゲームと人工知能の関係
    ゲームAI
    ゲームを外側から
    プレイするAI
    ゲーム内側から
    構成するAI
    将棋、チェス、囲碁…
    アカデミックで研究されるAI
    アカデミックではゲームを製作する、
    ということはなかなかできない・しない
    マリオ、ゼルダ、フォートナイト
    産業で開発されるAI
    ゲームを構成するAI
    ゲームを作り出す
    人工知能
    ゲームを管理する人工知能
    ゲームを製作する人工知能
    

    View Slide

96. ボードゲームの人工知能
    ボードゲーム
    一般の
    デジタルゲーム
    時間：ターンベース
    空間：グリッド
    非連続時間、非連続空間
    ＝AIが考えやすい
    時間：連続空間
    空間：連続時間
    連続時間、連続空間
    ＝AIにとってなかなかヘビー
    

    View Slide

97. ボードゲームの人工知能
    ボードゲーム
    一般の
    デジタルゲーム
    時間：ターンベース
    空間：グリッド
    非連続時間、非連続空間
    ＝AIが考えやすい
    ＝でも難しい
    ＝最善手を長時間考える
    時間：連続空間
    空間：連続時間
    連続時間、連続空間
    ＝AIにとってなかなかヘビー
    ＝1/60秒近くで意思決定
    ＝最善手でなくていい
    

    View Slide

98. ゲームには２つのルーツがある
    ・アクションゲーム
    ・物語ゲーム
    どちらもその誕生に人工知能が深く関係している
    

    View Slide

99. 二つのゲームの潮流に必要なAI
    物語的
    ゲーム
    アクション
    ゲーム
    物語を進行するAIと
    物語の中で役を演じるAI
    ゲームの空間でうまく運動するAIと
    環境や状況をリアルタイムで認識するAI
    デジタルゲーム
    

    View Slide

100. 二つのゲームの潮流に必要なAI
     物語的
     ゲーム
     アクション
     ゲーム
     物語るAI
     演技的AI
     人工生命
     エージェント
     デジタルゲーム
     

     View Slide

101. ゲームには２つのルーツがある
     ・アクションゲーム
     ・物語ゲーム
     どちらもその誕生に人工知能が深く関係している
     

     View Slide

102. 第二章 第一節 アクションゲーム
     第二節 物語ゲーム
     

     View Slide

103. 公開された「パックマン」仕様書
     岩谷徹, 高橋ミレイ , 三宅陽一郎, “ゲームAI の原点『パックマン』はいかにして生み出されたのか？：
     岩谷 徹インタビュー,” 人工知能,Vol.34, No.1 pp.86-99., 2019.
     Japanese Society of Artificial Intelligence,No.1, 2019. Anyone can download the article:
     https://jsai.ixsq.nii.ac.jp/ej/index.php?active_action=repository_view_main_item_detail&page_id=13&block_id=23&item_id=9670&item_no=1
     

     View Slide

104. パックマン
     パックマン（PAC-MAN） Bandai Namco Entertainment
     https://www.youtube.com/watch?v=WbqC-sP3eUQ
     

     View Slide

105. ① モンスターの２つの波状攻撃
     ② モンスターの個性的な行動と間接的な協調
     ④ それぞれのレベルにおけるスピードコントロール
     ③ 生体タイミングコントロール
     パックマンのAI技術
     

     View Slide

106. ① モンスターの２つの波状攻撃
     ② モンスターの個性的な行動と間接的な協調
     ④ それぞれのレベルにおけるスピードコントロール
     ③ 生体タイミングコントロール
     パックマンのAI技術
     

     View Slide

107. AI Monsters’ Behavior Policy: PAC-MAN
     波状攻撃
     ４体のモンスターが同時に攻撃
     ２つのモード
     集合（攻撃）と離散（休み）を一定時間ごとに繰り返す
     

     View Slide

108. モンスターの２つのモード:
     集合と離散
     集合モード 離散モード
     

     View Slide

109. 7s 20s 7s 20s 5s 20s 5s
     5s 20s 5s 20s 5s
     27 34 54 59
     7
     25 30 50 55
     5
     79 84
     7s 20s 7s 20s 5s
     27 34 54 59
     7
     Monster Rest(四隅で待機) Monster Attack（一斉に攻撃）
     A
     B
     C, D
     (sec)
     (sec)
     (sec)
     ３つの波状攻撃タイミングテーブル
     

     View Slide

110. ① モンスターの２つの波状攻撃
     ② モンスターの個性的な行動と間接的な協調
     ④ それぞれのレベルにおけるスピードコントロール
     ③ 生体タイミングコントロール
     パックマンのAI技術
     

     View Slide

111. モンスター 波状攻撃の状態
     包囲攻撃 離散
     アカ
     常にパックマンのいるマス
     （８ｘ８ドット）を追う
     プレイフィールド上の右上付近を
     動き回る．
     ピンク
     パックマンの口先の３つ先の
     マスを目指す
     プレイフィールド上の左上付近を
     動き回る．
     シアン
     赤モンスターのパックマンを
     中心とした点対称を目指す
     プレイフィールド上の右下付近を
     動き回る．
     オレンジ
     パックマンから半径約１３０
     ドットの外では赤モンスターの
     性格を持ち、半径内ではパック
     マンと無関係にランダムに動く
     プレイフィールド上の左下付近を
     動き回る．
     ４匹の攻撃の方法にバリエーションを持たせる
     

     View Slide

112. パックマンの周囲の位置取り
     Surrounding around a PAC-MAN
     

     View Slide

113. ① モンスターの２つの波状攻撃
     ② モンスターの個性的な行動と間接的な協調
     ④ それぞれのレベルにおけるスピードコントロール
     ③ 生成タイミングコントロール
     パックマンのAI技術
     

     View Slide

114. 2匹 ３匹 ４匹
     A
     B
     C
     モンスター出現数
     244個
     30個 90個
     ３匹 ４匹
     50個
     ４匹
     (食べたえさの数)
     

     View Slide

115. ① モンスターの２つの波状攻撃
     ② モンスターの個性的な行動と間接的な協調
     ④ それぞれのレベルにおけるスピードコントロール
     ③ 生体タイミングコントロール
     パックマンのAI技術
     

     View Slide

116. SPEED PATTERN
     SPEED A Ｂ Ｃ Ｄ
     22
     21
     20
     19
     18
     17
     16
     15
     14
     13
     12
     11
     10
     9
     8
     7
     ①
     イジケ
     ワープ
     ② ①
     イジケ
     ワープ
     ②
     ①
     イジケ
     ワープ
     ②
     ①
     イジケ
     ワープ
     ②
     

     View Slide

117. デジタルゲームAI入門①
     （キャラクターAI）
     

     View Slide

118. レベル
     キャラクターAI
     レベルを認識し、
     自律的な判断を行い、
     身体を動かす．
     敵・味方
     キャラクタ－
     プレイヤー
     情報獲得
     スパーシャルAI
     空間全般に関する思考
     メタAI, キャラクターAIの為に
     空間認識のためのデータを準備
     ナビゲーション・データの管理
     パス検索 戦術位置解析 オブジェクト認識
     メタAI
     エージェントを動的に配置
     レベル状況を監視
     エージェントに指示
     ゲームの流れを作る
     Order
     Ask &
     Report
     ゲーム全体をコントロール
     Support
     query
     頭脳として機能
     MCS-AI動的
     連携モデル
     query
     

     View Slide

119. レベルスクリプト
     ナビゲーションAI
     キャラクターAI
     メタAI
     1995 2000 2005 2010
     1999
     (スクリプティッドAIによる
     大型ゲームのキャラクター制御の限界。
     自律型AI技術のアカデミックからの流入)
     (ゲームの3D化)
     1994
     2005
     (ウィル・ライトによる“メタAI”定義)
     2008
     (“LEFT 4 DEAD”ににおけるAI Director)
     2010頃～
     （オープンワールド型ゲームの隆盛)
     スパーシャルAI
     1980
     PlayStation
     (1994)
     Xbox360
     (2005)
     PlayStation3
     (2006)
     スクリプティッドAI
     三宅陽一郎、水野勇太、里井大輝、 「メタAI」と「AI Director」の歴史的発展、日本デジタルゲーム学会（2020年、Vol.13, No.2）
     https://www.jstage.jst.go.jp/article/digraj/13/2/13_1/_article/-char/ja/
     LS-Modelモデル LCN-AI連携モデル MCS-AI動的連携モデル
     MCN-AI連携モデル
     

     View Slide

120. レベル
     キャラクターAI
     レベルを認識し、
     自律的な判断を行い、
     身体を動かす．
     敵・味方
     キャラクタ－
     プレイヤー
     情報獲得
     スパーシャルAI
     空間全般に関する思考
     メタAI, キャラクターAIの為に
     空間認識のためのデータを準備
     ナビゲーション・データの管理
     パス検索 戦術位置解析 オブジェクト認識
     メタAI
     エージェントを動的に配置
     レベル状況を監視
     エージェントに指示
     ゲームの流れを作る
     Order
     Ask &
     Report
     ゲーム全体をコントロール
     Support
     query
     query
     頭脳として機能
     MCS-AI動的
     連携モデル
     

     View Slide

121. 知能の世界
     環境世界
     認識の
     形成
     記憶
     意思の
     決定
     身体
     制御
     エフェクター・
     身体
     運動の
     構成
     センサー・
     身体
     意思決定
     モジュール
     意思決定
     モジュール
     意思決定
     モジュール
     記憶体
     情報処理過程 運動創出過程
     身体部分
     情報
     統合
     運動
     統合
     

     View Slide

122. FC SFC SS, PS PS2,GC,Xbox Xbox360, PS3, Wii
     DC （次世代）
     Hardware 時間軸
     2005
     1999
     ゲームの進化と人工知能
     複雑な世界の
     複雑なＡＩ
     ゲームも世界も、ＡＩの身体と内面もますます複雑になる。
     単純な世界の
     シンプルなＡＩ
     （スペースインベーダー、タイトー、1978年） （アサシンクリード、ゲームロフト、2007年）
     

     View Slide

123. (例) スペースインベーダー(1978)
     プレイヤーの動きに関係なく、決められた動きをする
     （スペースインベーダー、タイトー、1978年）
     

     View Slide

124. （例）プリンス・オブ・ペルシャ
     「プリンス・オブ・ペルシャ」など、
     スプライトアニメーションを用意する必要がある場合、
     必然的にこういった制御となる。
     （プリンスオブペルシャ、1989年）
     

     View Slide

125. ３Ｄゲームの中のＡＩ
     Halo
     （ＨＡＬＯ、バンジー、2001年） デバッグ画面
     The Illusion of Intelligence - Bungie.net Downloads
     http://downloads.bungie.net/presentations/gdc02_jaime_griesemer.ppt
     

     View Slide

126. Early in the learning process … … after 15 minutes of learning
     Reward for decrease in Wulong Goth’s health
     Ralf Herbrich, Thore Graepel, Joaquin Quiñonero Candela Applied Games Group,Microsoft Research Cambridge
     "Forza, Halo, Xbox Live The Magic of Research in Microsoft Products"
     http://research.microsoft.com/en-us/projects/drivatar/ukstudentday.pptx
     

     View Slide

127.  Session Name: AI Summit:
     Multi-Agent Reinforcement
     Learning Invades MMORPG:
     'Lineage Clone Wars'
      Speaker(s): Jinhyung Ahn,
     Inseok Oh
      Company Name(s): NCSOFT,
     NCSOFT
      Track / Format: AI Summit
      https://www.gdcvault.com/play/
     1027645/AI-Summit-Multi-
     Agent-Reinforcement
     

     View Slide

128. 強化学習によるキャラクター制御（2023）
     https://schedule.gdconf.com/session/multi-agent-reinforcement-learning-with-roller-champions/890285
     

     View Slide

129. デジタルゲームAI入門②
     （スパーシャルAI）
     

     View Slide

130. レベル
     キャラクターAI
     レベルを認識し、
     自律的な判断を行い、
     身体を動かす．
     敵・味方
     キャラクタ－
     プレイヤー
     情報獲得
     スパーシャルAI
     空間全般に関する思考
     メタAI, キャラクターAIの為に
     空間認識のためのデータを準備
     ナビゲーション・データの管理
     パス検索 戦術位置解析 オブジェクト認識
     メタAI
     エージェントを動的に配置
     レベル状況を監視
     エージェントに指示
     ゲームの流れを作る
     Order
     Ask &
     Report
     ゲーム全体をコントロール
     Support
     query
     query
     頭脳として機能
     MCS-AI動的
     連携モデル
     

     View Slide

131. ネットワーク上のグラフ検索法
     A*法
     M
     F
     L
     B
     A
     Ｓ
     O
     P
     D
     C
     G
     S
     V
     H
     Q
     X
     K
     N
     J
     R
     T
     W
     E
     I
     U
     Z
     Y
     Ｇ
     5
     4
     6 3
     7 2
     3
     B C
     3
     3
     2 2
     4 3
     5
     5
     出発点（Ｓ）を中心に、そのノードまでの
     最も短い経路を形成して行く。Gにたどり着いたら終了。
     ゴール地点がわかっている場合、現在のノードとゴールとの推定距離（ヒューリスティック距離）
     を想定して、トータル距離を取り、それが最少のノードを探索して行く。
     各ノードの評価距離＝出発点からの経路＋ヒューリスティック距離
     ヒューリスティック距離
     (普通ユークリッド距離を取る)
     3+14.2 3+13.8
     G H
     3 5+10.5 6+8.4
     

     View Slide

132. パス検索（デモと実例）
     RTS - Pathfinding A*
     https://www.youtube.com/watch?v=95aHGzzNCY8
     Dragon Age pathfinding program put to the test (UniversityofAlberta)
     https://www.youtube.com/watch?v=l7YQ5_Nbifo
     

     View Slide

133. （メッシュ）
     コスト : 0.5
     見通し: 1.0
     地表： 土
     （メッシュ）
     コスト : 0.8
     見通し: 0.7
     地表： 沼
     （オブジェクト）
     動かせる : (1.0,0.8)向き
     持ち上げる: false
     上に乗れる： false
     硬さ： 0.9
     重たさ： 0.4
     （オブジェクト）
     アクション：レバー倒す
     効果： 扉が開く
     （オブジェクト）扉
     メッシュ同士の
     リンク情報
     

     View Slide

134. スパーシャルAI
     空間解析
     状況解析
     位置検索技術
     パス検索
     スマートオブジェクト
     など多数
     影響マップ
     など多数
     

     View Slide

135. プレイヤー予測経路（ゴールデンパス）
     M. Jack , M. Vehkala, “Spaces in the Sandbox: Tactical Awareness in Open World Games,” GDC 2013,
     https://www.gdcvault.com/play/1018136/Spaces-in-the-Sandbox-Tactical
     

     View Slide

136. ゴールデンパスに沿った位置検索技術
     プレイヤーの
     予想目標地点
     プレイヤーの現在位置
     ゴールデンパス
     ゴールデンパス上で、20m以上プレイヤーから離れて、
     40m以内にある場所で、ゴールデンパスから幅10mの領域でポイントを見つける
     

     View Slide

137. Tom Mathews Making "Big Data" Work for 'Halo': A Case Study
     http://ai-wiki/wiki/images/d/d8/AI_Seminar_177th.pdf
     

     View Slide

138. 位置検索システム
     

     View Slide

139. 位置検索システム
     - キャラクターの性能に応じて
     - 地形毎に
     - リアルタイムで
     最も適したポイントを見つけるシステム
     

     View Slide

140. View Slide

141. View Slide

142. M. Jack , M. Vehkala, “Spaces in the Sandbox: Tactical Awareness in Open World Games,” GDC 2013,
     https://www.gdcvault.com/play/1018136/Spaces-in-the-Sandbox-Tactical
     

     View Slide

143. M. Jack , M. Vehkala, “Spaces in the Sandbox: Tactical Awareness in Open World Games,” GDC 2013,
     https://www.gdcvault.com/play/1018136/Spaces-in-the-Sandbox-Tactical
     

     View Slide

144. M. Jack , M. Vehkala, “Spaces in the Sandbox: Tactical Awareness in Open World Games,” GDC 2013,
     https://www.gdcvault.com/play/1018136/Spaces-in-the-Sandbox-Tactical
     

     View Slide

145. M. Jack , M. Vehkala, “Spaces in the Sandbox: Tactical Awareness in Open World Games,” GDC 2013,
     https://www.gdcvault.com/play/1018136/Spaces-in-the-Sandbox-Tactical
     

     View Slide

146. M. Jack , M. Vehkala, “Spaces in the Sandbox: Tactical Awareness in Open World Games,” GDC 2013,
     https://www.gdcvault.com/play/1018136/Spaces-in-the-Sandbox-Tactical
     

     View Slide

147. スパーシャルAI
     空間解析
     状況解析
     位置検索技術
     パス検索
     スマートオブジェクト
     など多数
     影響マップ
     など多数
     

     View Slide

148. スマートオブジェクト、スマートロケーション
     物の方に人工知能を持たせて、物からキャラクターを操る仕組み
     

     View Slide

149. スマート環境アクター
     スマートオブジェクト
     エージェント
     スマートポイント
     スマートスペース
     エージェント
     エージェント
     制御 制御 制御
     ドア
     ドアノブ
     スペース
     オブジェクト（物） ポイント（座標）
     

     View Slide

150. エージェント
     主体 客体
     エージェント
     主体
     客体
     転換
     環境アクター
     スマート
     環境アクター
     主客転換制御
     

     View Slide

151. メタAI
     エージェント
     エージェント自律制御
     スマート環境アクター制御 スマート環境アクター制御
     スマートスペース
     スマートオブジェクト
     スマートポイント
     コミュニケーション
     コミュニケーション
     

     View Slide

152. 同期
     スマートシティ
     （物理世界）
     スパーシャルAI
     （空間AI）
     メタバース
     （デジタル世界）
     デジタルツイン空間
     同期
     スマートスペース
     

     View Slide

153. デジタルゲームAI入門③
     （メタAI）
     

     View Slide

154. レベル
     キャラクターAI
     レベルを認識し、
     自律的な判断を行い、
     身体を動かす．
     敵・味方
     キャラクタ－
     プレイヤー
     情報獲得
     スパーシャルAI
     空間全般に関する思考
     メタAI, キャラクターAIの為に
     空間認識のためのデータを準備
     ナビゲーション・データの管理
     パス検索 戦術位置解析 オブジェクト認識
     メタAI
     エージェントを動的に配置
     レベル状況を監視
     エージェントに指示
     ゲームの流れを作る
     Order
     Ask &
     Report
     ゲーム全体をコントロール
     Support
     query
     query
     頭脳として機能
     MCS-AI動的
     連携モデル
     

     View Slide

155. メタＡＩの歴史
     1980 1990 2000
     古典的メタAI
     現代のメタＡＩ
     キャラクターＡＩ技術の発展
     その歴史は古く、1980年代にまでさかのぼる。
     その時代と現代のメタＡＩは、異なる点も多いので、
     古典的メタＡＩ、現代のメタＡＩと名づけて区別することにしよう。
     

     View Slide

156. （例）「ゼビウス」（ナムコ、1983）
     敵出現テーブル巻き戻し
     敵0
     敵１
     敵2
     敵3
     敵4
     敵5
     『あと面白い機能なんですけれど、 ゼビウスには非常に簡単なAIが組み込まれています。
     「プレイヤーがどれくらいの腕か」というのを判断して、 出てくる敵が強くなるんです。
     強いと思った相手には強い敵が出てきて、 弱いと思った相手には弱い敵が出てきます。 そういっ
     たプログラムが組み込まれています。 ゲームの難易度というのは「初心者には難しくて、上級者
     には簡単だ」ということが、 ひとつの難易度で(調整を)やっていくと起きてしまうので、 その辺を何
     とか改善したいな、ということでそういったことを始めてみたのですけれど、 お陰で割合にあまり上
     手くない人でも比較的長くプレイできる、 うまい人でも最後のほうに行くまで結構ドラマチックに楽
     しめる、 そういった感じになっています。』
     － 遠藤雅伸（出演）、1987、「糸井重里の電視遊戯大展覧会」『遠藤雅伸ゼビウスセミナー』フジテレビ －
     

     View Slide

157. メタＡＩの歴史
     1980 1990 2000
     古典的メタAI
     現代のメタＡＩ
     キャラクターＡＩ技術の発展
     その歴史は古く、1980年代にまでさかのぼる。
     その時代と現代のメタＡＩは、異なる点も多いので、
     古典的メタＡＩ、現代のメタＡＩと名づけて区別することにしよう。
     

     View Slide

158. メタAI(=AI Director)によるユーザーのリラックス度に応じた敵出現度
     ユーザーの緊張度
     実際の敵出現数
     計算によって
     求められた
     理想的な敵出現数
     Build Up …プレイヤーの緊張度が目標値を超えるまで
     敵を出現させ続ける。
     Sustain Peak … 緊張度のピークを3-5秒維持するために、
     敵の数を維持する。
     Peak Fade … 敵の数を最小限へ減少していく。
     Relax … プレイヤーたちが安全な領域へ行くまで、30-45秒間、
     敵の出現を最小限に維持する。
     Michael Booth, "The AI Systems of Left 4 Dead," Artificial Intelligence and Interactive Digital Entertainment Conference at Stanford.
     http://www.valvesoftware.com/publications.html
     より具体的なアルゴリズム
     

     View Slide

159. 安全な領域までの道のり(Flow Distance)
     メタＡＩはプレイヤー群の経路を
     トレースし予測する。
     - どこへ来るか
     - どこが背面になるか
     - どこに向かうか
     Michael Booth, "The AI Systems of Left 4 Dead," Artificial Intelligence and Interactive Digital Entertainment Conference at Stanford.
     http://www.valvesoftware.com/publications.html
     

     View Slide

160. プレイヤーからの可視領域
     可視領域（プレイヤーから見えている
     部屋）では、敵のスパウニング（発生）
     はできない。
     Michael Booth, "The AI Systems of Left 4 Dead," Artificial Intelligence and Interactive Digital Entertainment Conference at Stanford.
     http://www.valvesoftware.com/publications.html
     

     View Slide

161. 敵出現領域
     背後 前方
     Michael Booth, "The AI Systems of Left 4 Dead," Artificial Intelligence and Interactive Digital Entertainment Conference at Stanford.
     http://www.valvesoftware.com/publications.html
     前方と背後のプレイヤー群から見えてない部屋に、
     モンスターを発生させる。
     

     View Slide

162. Procedural Generation in WarFrame
     • Warframe ではダンジョンが自動生成される。
     Daniel Brewer, AI Postmortems: Assassin's Creed III, XCOM: Enemy Unknown, and Warframe (GDC2015)
     http://www.gdcvault.com/play/1018223/AI-Postmortems-Assassin-s-Creed
     

     View Slide

163. Black Combination in WarFrame
     • ブロックを組み合わる
     • 完全に零からの生成
     ではない。
     このような生成のことを
     Semi-procedural と言う。
     Daniel Brewer, AI Postmortems: Assassin's Creed III, XCOM: Enemy Unknown, and Warframe (GDC2015)
     http://www.gdcvault.com/play/1018223/AI-Postmortems-Assassin-s-Creed
     

     View Slide

164. WarFrame における自動生成マップの
     自動解析による自動骨格抽出
     • 自動生成するだけでなく、自動生成したダンジョンを、自動解
     析します。ここでは、トポロジー（形状）検出を行います。
     

     View Slide

165. WarFrame における自動生成マップの
     自動解析によるナビゲーションデータ作成
     抽出した骨格に沿って
     自動的にナビゲーション・データを作成します。
     Daniel Brewer, AI Postmortems: Assassin's Creed III, XCOM: Enemy Unknown, and Warframe (GDC2015)
     http://www.gdcvault.com/play/1018223/AI-Postmortems-Assassin-s-Creed
     

     View Slide

166. スタートポイント、出口、目的地の
     自動生成
     Daniel Brewer, AI Postmortems: Assassin's Creed III, XCOM: Enemy Unknown, and Warframe (GDC2015)
     http://www.gdcvault.com/play/1018223/AI-Postmortems-Assassin-s-Creed
     

     View Slide

167. ヒートマップ（影響マップ）を用いて
     ゲーム中にプレイヤーの周囲を自動解析
     Daniel Brewer, AI Postmortems: Assassin's Creed III, XCOM: Enemy Unknown, and Warframe (GDC2015)
     http://www.gdcvault.com/play/1018223/AI-Postmortems-Assassin-s-Creed
     ヒートマップ（影響マップ）とは、対象（ここではプレイヤー）を中心に、位置に温度（影響度）を
     与える方法です。距離に応じて減衰します。また時間が経つと、周囲に熱が拡散します。
     

     View Slide

168. Tactical Map の例 (影響マップ)
     （例）敵と自分の勢力をリアルタイムに計算する。
     4 6 8 8 8 8 6 4 2 0 -1 -2 -4 -4 -4 -2
     4 6 8 8 8 8 4 2 1 0 -2 -4 -4 -2
     4 6 8 8 8 6 3 1 0 -2 -4 -4 -4 -2
     4 6 8 8 8 6 6 4 1 0 -2 -4 -4 -2
     2 4 6 8 6 6 4 4 0 -1 -2 -4 -4 -4 -2
     1 2 4 6 6 4 2 2 -4 -5 -3 -3 -4 -4 -2 -1
     3 3 3 3 4 2 2 0 -4 -5 -5 -8 -8 -6 -4 -2
     3 3 2 2 2 0 -2 -4 -8 -10 -10 -8 -4 -2
     3 3 3 2 2 1 0 -4 -8 -10 -10 -8 -8 -4 -2
     2 2 2 2 1 1 0 -3 -8 -10 -10 -8 -8 -4 -2
     1 1 1 1 0 0 -2 -4 -8 -8 -8 -8 -8 -8 -8 -8
     0 0 0 0 0 -1 -1 -2 -5 -6 -6 -6 -8 -8 -8
     0 0 0 0 -1 -2 -2 -2 -4 -4 -4 -6 -8 -8 -8 -8
     0 0 0 0 -1 -2 -2 -2 -2 -2 -2 -2 -2 -2 -2
     0 0 0 0 -1 -2 -2 -2 -2 -2 -2 -2 -2 -2 -2 -2
     0 0 0 0 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1
     

     View Slide

169. ヒートマップ（影響マップ）を用いて
     ゲーム中にプレイヤーの周囲を自動解析
     「ヒートが増加する＝プレイヤーが近づく点」
     「ヒートが減少する＝プレイヤーが遠ざかる点」
     Daniel Brewer, AI Postmortems: Assassin's Creed III, XCOM: Enemy Unknown, and Warframe (GDC2015)
     http://www.gdcvault.com/play/1018223/AI-Postmortems-Assassin-s-Creed
     

     View Slide

170. アクティブ・エリアセット（Active Are Set）
     Daniel Brewer, AI Postmortems: Assassin's Creed III, XCOM: Enemy Unknown, and Warframe (GDC2015)
     http://www.gdcvault.com/play/1018223/AI-Postmortems-Assassin-s-Creed
     アクティブ・エリアセットは、プレイヤーの周囲の領域で、
     リアルタイムにメタAIがゲームを調整する領域
     

     View Slide

171. メタAIがアクティブ・エリアセット内で
     ゲームを調整する
     「ヒートが増加する＝プレイヤーが近づく点」なので、モンスターを生成する。
     「ヒートが減少する＝プレイヤーが遠ざかる点」なので、モンスターを停止する。
     Daniel Brewer, AI Postmortems: Assassin's Creed III, XCOM: Enemy Unknown, and Warframe (GDC2015)
     http://www.gdcvault.com/play/1018223/AI-Postmortems-Assassin-s-Creed
     

     View Slide

172. StarCraft~StarCraft2における
     人工知能
     （DeepMind, 2019）
     - 記号主義からディープラーニングへ
     

     View Slide

173. 年 企業 テーマ Open
     2003 Microsoft 「Teo Feng」における強化学習
     2005 Microsoft 「Forzamotor Sports」における強化学習
     2013 DeepMind AtariのゲームをDQNで学習 〇
     2015 DeepMind 囲碁 AlphaGO
     2017 AnyLogic 倉庫・機械などモデルのシミュレーション
     Microsoft 「パックマン」多報酬学習
     Hybrid Reward Architecture for Reinforcement Learning
     〇
     2019 Google 「サッカーシミュレーター」による強化学習の研究 〇
     DeepMind 「Capture the flag」によるディープラーニング学習 〇
     Microsoft 「AirSim」ドローンシミュレーター 〇
     Nvidia 「ドライビングシミュレーター」
     Mircrosoft 「TextWorld」アドベンチャーゲームを題材に言語学習 〇
     facebook 「CraftAssist」マインクラフト内で会話研究 〇
     CarMelon カーネギーメロン大学「MineRL」マインクラフトを使ったAIコンテスト 〇
     facebook 「LIGHT」ファンタジーワールドを構築してクラウドワーカーで会話研究 〇
     OpenAI 「Dota2」OpenAIによる「OpenAIFive」 〇
     DeepMind 「StarCraft2」AlphaStar 〇
     DeepMind 「Capture the Flag」QuakeIII エンジン 〇
     2020 Nvidia GameGAN「ディープラーニングによるパックマンの目コピー」 〇
     DeepMind 「Agent57」AtariのほとんどのゲームをDQN+LSTMなどで学習 〇
     OpenAI 「HIDE AND SEEK」かくれんぼを用いたマルチエージェントのカリキュラム学習 〇
     

     View Slide

174. StarCraftのAI
     • Santiago Ontañon, Gabriel Synnaeve, Alberto Uriarte, Florian
     Richoux, David Churchill, et al..
     • “A Survey of Real-Time Strategy Game AI Research and
     Competition in StarCraft”. IEEE Transactions on
     Computational Intelligence and AI in games, IEEE
     Computational Intelligence Society, 2013, 5(4), pp.1-19. hal-
     00871001
     • https://hal.archives-ouvertes.fr/hal-00871001
     

     View Slide

175. FLASH IS BACK! RECENT MATCH vs JAEDONG! on Polypoid - StarCraft - Brood War – 2023
     https://www.youtube.com/watch?v=WMue4ublyJc
     

     View Slide

176. StarCraftの7つのアーキテクチャ (2010-2020)
     

     View Slide

177. 戦略思考
     ハイレベル、抽象的
     ３分～
     知識収集と
     学習
     敵のモデル化
     戦略決定
     部隊形成
     命令プランの構築
     戦術思考
     中間レベル
     30秒～1分
     スカウティング
     戦闘タイミングと
     位置
     ユニットと建築物
     の配置
     反射コントロール
     低レベル、物理的
     ～1秒
     小ユニット
     マルチエージェン
     パス検索
     StarCraft 一般的なアーキテクチャ
     

     View Slide

178. 戦闘
     ゴール
     マネージャー
     ユニットグループ
     ベイジアン・ネット
     BroodWarBotQ
     仲介モジュール
     知能
     マップ
     マネージャー
     技術推定
     ユニット
     フィルター
     資源管理
     ワーカー
     マネージャー
     基地
     マネージャー
     生産
     マネージャー
     建築
     マネージャー
     StarCraft BroodWarQ Bot アーキテクチャ
     

     View Slide

179. 知能
     建築命令マネージャー
     スカウト
     マネージャー
     資源
     マネージャー
     マクロ
     マネージャー
     拡張
     マネージャー
     供給
     マネージャー
     部隊
     マネージャー
     封鎖経路
     マネージャー
     戦略
     戦術
     タスクマネージャー
     建築設置
     モジュール
     タスク n
     StarCraft SkyNet Bot アーキテクチャ
     

     View Slide

180. 資源管理
     戦闘
     部隊マネージャー
     防御マネージャー
     戦闘マネージャー
     AIUR
     ムード
     マネージャー
     知能
     仲介モジュール
     スカウト
     マネー
     ジャー
     情報マネージャー
     ワーカー
     マネージャー
     基地
     マネージャー
     生産
     マネージャー
     建築
     マネージャー
     スパイ
     マネー
     ジャー
     消費
     マネージャー
     StarCraft AIUR Bot アーキテクチャ
     

     View Slide

181. StarCraft~StarCraft2における
     人工知能
     （DeepMind, 2019）
     Oriol Vinyals, et al., “StarCraft II: A New Challenge for Reinforcement Learning”,
     https://arxiv.org/abs/1708.04782
     PySC2 - StarCraft II Learning Environment
     https://github.com/deepmind/pysc2
     

     View Slide

182. StarCraft 2: Google DeepMind AlphaStar (A.I.) vs Pro Gamer!
     https://www.youtube.com/watch?v=FWbVseLiopw
     

     View Slide

183. https://deepmind.com/blog/article/alphastar-mastering-real-time-strategy-game-starcraft-ii
     

     View Slide

184. StarCraft II API
     StarCraft II バイナリー
     PySC2
     エージェント
     アクション select_rect(p1, p2) or build_supply(p3) or …
     観察
     資源
     可能なアクション
     建築命令
     スクリーン
     （ゲーム情報）
     ミニマップ
     （特定の情報）
     報酬
     -1/0/+1
     SC2LE
     

     View Slide

185. 評価値
     Value
     Network
     Baseline features
     アクション・タイプ ディレイ ユニット選択
     命令発行 ターゲット選択
     Residual MLP MLP MLP Pointer
     Network
     Attention D
     分散表現
     MLP
     分散表現
     MLP
     分散表現
     MLP
     Embedding
     MLP
     コア
     Deep LSTM
     スカラー
     エンコーダー
     MLP
     エンティティ
     エンコーダー
     トランス
     フォーマー
     空間
     エンコーダー
     ResNet
     ゲーム
     パラメーター群
     エンティティ ミニマップ
     

     View Slide

186. Oriol Vinyals, et al., “StarCraft II: A New Challenge for Reinforcement Learning”,
     https://arxiv.org/abs/1708.04782
     PySC2 - StarCraft II Learning Environment
     https://github.com/deepmind/pysc2
     

     View Slide

187. Oriol Vinyals, et al., “StarCraft II: A New Challenge for Reinforcement Learning”,
     https://arxiv.org/abs/1708.04782
     PySC2 - StarCraft II Learning Environment
     https://github.com/deepmind/pysc2
     

     View Slide

188. 日本におけるゲームセンターの対戦文化の流れ（1980年代～）
     アメリカを中心とするFPS対戦の流れ（2000年前後～）
     韓国におけるeスポーツ文化の流れ（1997年～）
     世界的なMOBAスタイルの
     チーム対戦の流れ（2010年～）
     1985 1990 1995 2007
     ⅬＡＮ
     ゲームセンターの
     対戦台 インターネット 高速インターネット・動画配信
     実際の現場でギャラリー観戦 テレビなどで観戦 インターネットで観戦
     ゲーム聴衆
     の誕生
     

     View Slide

189. Dota2 eSportsで大人気
     OpenAI Five: Dota Gameplay https://www.youtube.com/watch?v=UZHTNBMAfAA
     解説：『Dota 2』における人間側のチャンピオンチームとAIチームの戦い https://alienwarezone.jp/post/2316
     

     View Slide

190. OpenAI Five https://openai.com/projects/five/
     Christopher Berner, et al.,“Dota 2 with Large Scale Deep
     Reinforcement Learning” https://arxiv.org/abs/1912.06680
     

     View Slide

191. ・アクションゲーム
     ・物語ゲーム
     

     View Slide

192. ゲームには２つのルーツがある
     ・アクションゲーム
     ・物語ゲーム
     どちらもその誕生に人工知能が深く関係している
     

     View Slide

193. 第二章 第一節 アクションゲーム
     第二節 物語ゲーム
     

     View Slide

194. TRPG『Dungeons & Drangons』
     デジタルゲームの前進となるのは、テーブルトークRPG。「ゲームブック」を題材として、
     ゲームマスターがストーリー、キャラクター、ゲーム設定を作り出して、ゲームを語りながら進める。
     

     View Slide

195. ELIZA(イライザ) （1966年）
     • 対話型コンピューティングの初めての例
     • 簡単な構文解析
     • 抽出した語句から質問文を形成
     • 対話エージェントのはじまり
     • 自然言語処理の発展 （自然言語処理は
     1950年代から発展している。特に自動翻
     訳など）
     https://ja.wikipedia.org/wiki/ELIZA
     

     View Slide

196. Eliza →→→→ ChatGPT
     Eliza ChatGPT
     https://openai.com/blog/chatgpt
     

     View Slide

197. テキストベースのRPG(CRPGの起源)
     （Don Daglow and Students in Claremont Graduate University, 1975）
     カウンセラーとしての対話エージェント
     （ジョセフ・ワイゼンバウム、1966）
     ELIZA
     Dungeon
     Ecala
     拡
     張
     DEC社のPDP-10上で動くELIZAの拡張
     （Don Daglow、のちに Neverwinter Nightを制作）
     

     View Slide

198. ELIZA
     Before Siri and Alexa, there was ELIZA
     https://www.youtube.com/watch?v=RMK9AphfLco&t=31s
     

     View Slide

199. テキストアドベンチャーゲーム(1970年代)
     • テキストベースでプレイヤーと対話する
     • あらかじめ用意されたスクリプトと、場合分けによって進む
     • ゲームとプレイヤーとの対話とみなすことができる
     https://store.steampowered.com/app/570580/Zork_Anthology/?l=japanese
     © 1994 Activision Publishing, Inc.
     

     View Slide

200. Let's Play Zork I 01 Deutsch, German
     https://www.youtube.com/watch?v=sjEoB8Dj0tg
     

     View Slide

201. ゲーム内のエージェントと会話
     ユーザー
     影響を与える
     対話をする
     応答した行動をする
     C
     （語りの主体）
     C
     C
     キャラクター 語り手
     ナラティブの発生
     （間接的な語り）
     

     View Slide

202. ミステリーハウス
     （シエラ・オンライン、1980）
     • 文章＋画像
     • テキストアドベンチャーゲームに画像を用いた初めてのゲーム
     https://ja.wikipedia.org/wiki/%E3%83%9F%E3%82%B9%E3%83%86%E3%83%AA%E3%83%BC%E3%83%8F%E3%82%A6%E3%82%B9
     

     View Slide

203. ゲーム内のエージェントと会話
     ユーザー
     影響を与える
     対話をする
     応答した行動をする
     C
     （語りの主体）
     C
     画像
     キャラクター 語り手
     ナラティブの発生
     （間接的な語り）
     

     View Slide

204. シムシティ(EA, 1989)
     「大事なのは街を構成する建物とか道路じゃなくって、
     そこでどんな活動が行われているかってことだと思うんだ
     道路を車が走り、電車が動き、人々が動き回り、
     常に要素が変化し続ける“動きのある”システム。」
     「要素にはそれぞれ他の要素に与える影響、他の要素から受け
     る影響など、いろいろなデータが含まれていて、いったんこれ
     が置かれると、他の要素と相互に関係を持ち始めて状態が変化
     することになるんだ。」
     『ウィル・ライトが明かすシムシティーのすべて』
     多摩豊
     角川書店
     1990
     https://www.ea.com/ja-jp/games/simcity
     © 2021 Electronic Arts Inc.
     

     View Slide

205. 最上層
     ユーザーのアクションの単位の１マス
     ＜ユーザー・エディット・ウィンドウ＞
     第二階層
     （２ｘ２マスを１単位とする）
     人口密度、交通渋滞、環境汚染度、ランドバ
     リュー、犯罪発生率を計算し伝播
     第三階層
     （４ｘ４マスを１単位とする）
     地形の状況を計算し伝播
     第四階層
     （８ｘ８マスを１単位とする）
     人口増加率、消防署、警察署、消防署の影響
     力、警察署の影響力を計算し伝播
     影響度
     計算
     影響度
     伝播
     

     View Slide

206. ゲーム内のエージェントと会話
     ユーザー
     影響を与える
     操作する
     街全体が
     応答した行動をする
     U
     街のシステム
     （語りの主体）
     U
     U
     操作ユニット 語り手
     ナラティブの発生
     （間接的な語り）
     

     View Slide

207. Creatures（Millennium, 1996）
     • 8000ノードのニューラルネットワーク
     • 物の名前とアクションを学習する
     ※出典Grand, Steve; Cliff, Dave; Mahotra, Anil. (1996). "Creatures:
     Artificial Life Autonomous Software Agents for Home Entertainment" (PDF).
     Millennium Technical Report 9601; University of Sussex Technical Report CSRP434. Retrieved 2012-11-12.
     http://mrl.snu.ac.kr/courses/CourseSyntheticCharacter/grand96creatures.pdf
     Ⓒ Millennium Interactive, Ltd.
     

     View Slide

208. Creatures (Windows 3.1, 1996) [Gameplay]
     https://www.youtube.com/watch?v=bj7VTa1TL8Q
     

     View Slide

209. ローブ1
     ローブ2
     ニューロン
     

     View Slide

210. 知能を構成するローブの構成
     意思決定ローブ
     コンセプトローブ
     （640ニューロン）
     認識ローブ
     注意
     刺激源 名詞
     動詞 いろいろ Drives
     

     View Slide

211. ゲーム内のエージェントと会話
     ユーザー
     影響を与える
     対話をする
     応答した行動をする
     成長する
     AI
     キャラクター
     ナラティブの発生
     （直接的な語り）
     ゲーム
     システム
     語り手
     キャラクター
     

     View Slide

212. 森川幸人, 「テレビゲームへの人工知能技術の利用」,
     人工知能学会誌vol.14 No.2 1999-3
     http://www.ai-gakkai.or.jp/jsai/whatsai/PDF/article-iapp-7.pdf
     http://www.1101.com/morikawa/1999-04-10.html
     アストロノーカ(muumuu、1998年）
     

     View Slide

213. 遺伝的アルゴリズムの応用
     集団を一定の方向に進化させる方法
     最初の世代
     新世代
     （１００～世代後）
     …
     世代を経て進化させる
     1つの世代が次の世代を交配によって産み出す
     

     View Slide

214. 遺伝的アルゴリズムの仕組み
     遺伝子
     次世代
     親①
     親②
     母集団から優秀な親を
     ２体ピックアップ
     遺伝子を掛け合わせる 次世代の子供を産み出す
     (selection) (crossover) (production)
     現世代
     遺伝子
     このサイクルをくり返すことで世代を進めて、望ましい集団を産み出す
     遺伝子
     遺伝子
     

     View Slide

215. ゲームシステムとしての工夫
     • 遺伝的アルゴリズムは集団に対するアルゴリズム
     →1体のトラップバトルの裏で他の２０体も同じトラップバトルをして、
     全体として世代交代をさせている。
     全体の適応度の平均値
     １日の適応度の伸び
     世代交代数
     

     View Slide

216. ゲーム内のエージェントと会話
     ユーザー
     影響を与える
     対話をする
     応答した行動をする
     成長する
     AI
     キャラクター
     ナラティブの発生
     （間接的な語り）
     ゲーム
     システム
     語り手
     キャラクター
     

     View Slide

217. シーマン（SEGA, 1999）
     斎藤 由多加 聞き手：大澤 博隆、三宅 陽一郎 構成：高橋 ミレイ
     シーマンは来たるべき会話型エージェントの福音となるか？：斎藤由多加インタビュー
     Will Seaman Lead AI Technology for Interactive Agent? : Yutaka Saito Interview
     https://jsai.ixsq.nii.ac.jp/ej/?action=pages_view_main&active_action=repository_view_main_item_detail&item_id=8633&item_no=1&page_id=13&block_id=23
     

     View Slide

218. シーマンの会話
     • ルールベース （巨大な分岐）→ 評価ベースへ
     • メロディ―言語
     同じ言葉でも、発音によって意味が異なる
     会話を成り立たせるには、文字だけではわからない
     • 水族館でデモ→不評
     • 当時の音声認識デバイスの限界
     • 聴こえなかったら「あ？聴こえねえよ」とやり返す→好評
     

     View Slide

219. メロディ言語
     • 「元気」でも発音一つで意味が異なる
     • さまざまなバリエーションを用意している
     • 間をコントロールする → 間を空けることで意味を持たせる
     • 「○○じゃねーって言っただろ？」の○○の中にいろんな動詞
     を入れる
     

     View Slide

220. 斎藤さんのお言葉
     • もっと言うと“頷くだけ”でいい ， ．“頷く”というのは，情報的には無で
     すよね．でも，そこを共有する仕組みに我々が目を向けていかない限り，
     冒頭でおっしゃった，人間と親しく会話をする人工知能をつくる手立ては
     見つからないと思います．エージェントというと検索エンジンの代理人み
     たいに思っておられるんじゃないかと思いますが，何も検索しない，ただ
     「マジか…」と言ってくれる
     斎藤 由多加
     聞き手：大澤 博隆、三宅 陽一郎
     構成：高橋 ミレイ
     シーマンは来たるべき会話型エージェントの福音となるか？：斎藤由多加インタビュー
     Will Seaman Lead AI Technology for Interactive Agent? : Yutaka Saito Interview
     https://jsai.ixsq.nii.ac.jp/ej/?action=pages_view_main&active_action=repository_view_main_item_detail&item_id=8633&item_
     no=1&page_id=13&block_id=23
     

     View Slide

221. ゲーム内のエージェントと会話
     ユーザー
     影響を与える
     対話をする
     応答した行動をする
     成長する
     AI
     キャラクター
     ナラティブの発生
     （直接的な語り）
     ゲーム
     システム
     語り手
     キャラクター
     

     View Slide

222. The Sims（シム・ピープル, EA, Maxis, 2000）
     • 自律型エージェントの作る社会を観察するゲーム
     Ken Forbus, “Simulation and Modeling: Under the hood of The Sims” (NorthWerstern大学、講義資料)
     http://www.cs.northwestern.edu/%7Eforbus/c95-gd/lectures/The_Sims_Under_the_Hood_files/frame.htm
     Richard Evans, Modeling Individual Personalities in The Sims 3, GDC 2010
     http://www.gdcvault.com/play/1012450/Modeling-Individual-Personalities-in-The
     

     View Slide

223. The Sims 1 - long gameplay #1 (no commentary)
     https://www.youtube.com/watch?v=zy0ButIPqq4
     

     View Slide

224. The Sims における「モチーフ・エンジン」
     • AIの人格モデル
     Ken Forbus, “Simulation and Modeling: Under the hood of The Sims” (NorthWerstern University)
     http://www.cs.northwestern.edu/%7Eforbus/c95-gd/lectures/The_Sims_Under_the_Hood_files/frame.htm
     Data
     - Needs
     - Personality
     - Skills
     - Relationships
     Sloppy - Neat
     Shy - Outgoing
     Serious - Playful
     Lazy - Active
     Mean - Nice
     Physical
     - Hunger
     - Comfort
     - Hygiene
     - Bladder
     Mental
     - Energy
     - Fun
     - Social
     - Room
     Motive Engine
     Cooking
     Mechanical
     Logic
     Body
     Etc.
     

     View Slide

225. 最適（＝最大効用）な行動を選択する
     • [原則] 周囲の対象に対する、あらゆる可能な行動から、
     総合的な効用 （＝Mood） を最大化する行動を選択する
     Hunger +20
     Comfort -12
     Hygiene -30
     Bladder -75
     Energy +80
     Fun +40
     Social +10
     Room - 60
     Mood +18
     - Urinate (+40 Bladder)
     - Clean (+30 Room)
     - Unclog (+40 Room)
     Mood +26
     - Take Bath (+40 Hygiene)
     (+30 Comfort)
     - Clean (+20 Room)
     Mood +20
     Bathtub
     Toilet
     Ken Forbus, “Simulation and Modeling: Under the hood of The Sims” (NorthWerstern大学、講義資料)
     http://www.cs.northwestern.edu/%7Eforbus/c95-gd/lectures/The_Sims_Under_the_Hood_files/frame.htm
     

     View Slide

226. ムードの計算方法と各パラメーターのウェイトグラフ
     Mood =
     W_Hunger(X_Hunger) * X_Hunger + W_Engergy(X_Energy) * X_Energy + …
     -100 0 100
     -100 0 100 -100 0 100
     -100 0 100
     -100 0 100 -100 0 100
     W_Hunger W_Energy
     W_Comfort W_Fun
     W_Hygiene W_Social
     W_Bladder W_Room
     -100 0 100 -100 0 100
     Ken Forbus, “Simulation and Modeling: Under the hood of The Sims” (NorthWerstern大学、講義資料)
     http://www.cs.northwestern.edu/%7Eforbus/c95-gd/lectures/The_Sims_Under_the_Hood_files/frame.htm
     

     View Slide

227. 効用(Utility)の計算の仕方
     W_Hunger
     X_Hunger
     W_Hunger(-80)
     -80 60
     W_Hunger(60)
     

     View Slide

228. 効用(Utility)の計算の仕方
     Hunger degree at -80 ＝ W_Hunger(-80)*(-80)
     Hunger degree at 60 ＝ W_Hunger(60)*(60)
     Δ ＝ W_Hunger(60)*(60) - W_Hunger(-80)*(-80)
     Utility for hunger
     W_Hunger
     X_Hunger
     W_Hunger(-80)
     -80 60
     W_Hunger(60)
     90
     W_Hunger(90)
     

     View Slide

229. 限界効用逓減の法則
     Δ（-80 → 60）＝W_Hunger(60)*(60) - W_Hunger(-80)*(-80)
     Δ (60→90） ＝W_Hunger(90)*(90) - W_Hunger(60)*(60)
     Δ（-80 → 60） は Δ(60→90） よりずっと大きい
     Utility for hunger
     W_Hunger
     X_Hunger
     W_Hunger(-80)
     -80 60
     W_Hunger(60)
     90
     W_Hunger(90)
     

     View Slide

230. 限界効用逓減の法則
     ビールは一杯目が一番おいしい
     ある程度満たされたものを満たすより、
     満たされないものをある程度満たす方が大きな満足をもたらす
     Utility for hunger
     W_Hunger
     X_Hunger
     W_Hunger(-80)
     -80 60
     W_Hunger(60)
     90
     W_Hunger(90)
     

     View Slide

231. ゲーム内のエージェントと会話
     ユーザー
     影響を与える
     対話をする
     応答した行動をする
     成長する
     AI
     キャラクター
     ナラティブの発生
     （直接的な語り）
     ゲーム
     システム
     語り手
     キャラクター
     

     View Slide

232. CADIA Populus
     • 「EveOnline」を作っているCCPは、
     レイキャビク大学と共同でエージェント
     たちの自然な振る舞いを研究した。
     http://populus.cs.ru.is/node/116
     CADIA populous (Claudio Pedica)
     https://www.youtube.com/watch?v=yCw8hB57h4w
     

     View Slide

233. HASGE Project (Reykjavik Univ, CCP)
     http://cadia.ru.is/wiki/public:socialgame:main
     

     View Slide

234. CADIA Populus Social Engine (2010) (Hannes Vilhjalmsson)
     https://www.youtube.com/watch?v=qz6X9BdxPBs
     

     View Slide

235. F-formation (Kendon, 1984)
     • 人と人が向い合うときに
     形成する立ち位置
     Paul Marshall,Yvonne Rogers,Nadia Pantidi
     Using F-formations to analyse spatial patterns of interaction in physical environments
     http://mcs.open.ac.uk/pervasive/pdfs/MarshallCSCW2011.pdf
     

     View Slide

236. ゲーム内のエージェントと会話
     ユーザー
     影響を与える
     対話をする
     応答した行動をする
     成長する
     AI
     キャラクター
     ナラティブの発生
     （直接的な語り）
     語り手
     キャラクター
     

     View Slide

237. ゲーム内のエージェントと会話
     ユーザー
     影響を与える
     コマンド
     応答した行動をする
     仲
     間
     NPCを通したバトル
     （語りの主体）
     →メタAI
     敵
     C
     仲間キャラクター・敵キャラクター 語り手
     ナラティブの発生
     （間接的な語り）
     

     View Slide

238. 対話エージェントの歴史
     Creatures シーマン
     LEFT 4
     DEAD
     The Last
     of US
     FFXV
     テキスト
     アドベン
     チャー
     箱庭・シム系
     ゲーム内
     会話系
     アストロ
     ノーカ
     対話・キャラクター育成系
     多数の
     ゲーム
     イラ
     イザ
     エミー2 パピーラブ
     The Sims
     ワンダー
     プロジェクト
     J1,2
     リトルコン
     ピューター
     ピープル
     どこでも
     いっしょ
     

     View Slide

239. NUVERSE、GPT3をゲームに組み込む
     ［GDC 2023］GPT-3でNPCの会話を生成。Nuverseが「アース：リバイバル」でチャレンジする，新テクノロ
     ジーによるゲーム開発の“新たな一歩”
     https://www.4gamer.net/games/651/G065105/20230325007/
     

     View Slide

240. Earth revival (Nuverse, 中国のゲーム)
     • 800ms以下で会話を生成
     • アニメーション生成（10 から 20秒の）
     • …つまり20 時間のコンテンツをわずか48分で生成
     • GPT3
     • 音声生成
     Nuverse lets AI do all the talking and moving of NPCs in Earth:
     Revival
     https://premortem.games/2023/03/22/nuverse-lets-ai-do-all-
     the-talking-and-moving-of-npcs-in-earth-revival/
     ジェネレーティブAIでゲーム開発支援！ GDCで発表されたリア
     ルな事例や取り組みを紹介
     https://www.famitsu.com/news/202303/24297009.html
     

     View Slide

241. ChatGPT と Stable Diffusion を用いた
     RPG: Tales of Syn
     • How AI-assisted RPG Tales of Syn utilizes Stable Diffusion and
     ChatGPT to create assets and dialogues
     • https://gameworldobserver.com/2023/03/06/tales-of-syn-ai-
     rpg-stable-diffusion-chatgpt-game
     • Tales of Syn
     • https://talesofsyn.com/
     • https://twitter.com/_hackmans_/status/1624501399383072768
     

     View Slide

242. ChatGPT と Stable Diffusion を用いた
     RPG: Tales of Syn
     • https://twitter.com/_hackmans_/status/1624501399383072768
     • https://talesofsyn.com/
     

     View Slide

243. Tales of Syn Game - NPC Chat GPT3 Prototype (Tales of Syn)
     https://www.youtube.com/watch?v=ejw6OI4_lJw
     

     View Slide

244. 年 企業 テーマ Open
     2003 Microsoft 「Teo Feng」における強化学習
     2005 Microsoft 「Forzamotor Sports」における強化学習
     2013 DeepMind AtariのゲームをDQNで学習 〇
     2015 DeepMind 囲碁 AlphaGO
     2017 AnyLogic 倉庫・機械などモデルのシミュレーション
     Microsoft 「パックマン」多報酬学習
     Hybrid Reward Architecture for Reinforcement Learning
     〇
     2019 Google 「サッカーシミュレーター」による強化学習の研究 〇
     DeepMind 「Capture the flag」によるディープラーニング学習 〇
     Microsoft 「AirSim」ドローンシミュレーター 〇
     Nvidia 「ドライビングシミュレーター」
     Mircrosoft 「TextWorld」アドベンチャーゲームを題材に言語学習 〇
     facebook 「CraftAssist」マインクラフト内で会話研究 〇
     CarMelon カーネギーメロン大学「MineRL」マインクラフトを使ったAIコンテスト 〇
     facebook 「LIGHT」ファンタジーワールドを構築してクラウドワーカーで会話研究 〇
     OpenAI 「Dota2」OpenAIによる「OpenAIFive」 〇
     DeepMind 「StarCraft2」AlphaStar 〇
     DeepMind 「Capture the Flag」QuakeIII エンジン 〇
     2020 Nvidia GameGAN「ディープラーニングによるパックマンの目コピー」 〇
     DeepMind 「Agent57」AtariのほとんどのゲームをDQN+LSTMなどで学習 〇
     OpenAI 「HIDE AND SEEK」かくれんぼを用いたマルチエージェントのカリキュラム学習 〇
     

     View Slide

245. Facebook AIにおけるゲーム会話研究 I
     (2019)
     マインクラフトを用いた対話学習(2019)
     

     View Slide

246. LIGHT（facebook.ai, 2019）
     • テキストアドベンチャー
     フレームワーク
     • クラウドワーカーを用いてゲーム設
     計を募集
     • クラウドワーカーに役を割り当てて
     会話チャットでデータ収集
     • この上で自然言語会話を研究
     https://parl.ai/projects/light/
     https://ai.facebook.com/blog/introducing-light-a-multiplayer-text-adventure-game-for-dialogue-research/
     

     View Slide

247. https://parl.ai/projects/light/
     

     View Slide

248. （facebook ai）
     Prithviraj Ammanabrolu, Jack Urbanek, Margaret Li, Arthur Szlam, Tim Rocktäschel, Jason Weston
     How to Motivate Your Dragon: Teaching Goal-Driven Agents to Speak and Act in Fantasy Worlds
     https://arxiv.org/abs/2010.00685
     

     View Slide

249. https://parl.ai/projects/light/
     

     View Slide

250. 年 企業 テーマ Open
     2003 Microsoft 「Teo Feng」における強化学習
     2005 Microsoft 「Forzamotor Sports」における強化学習
     2013 DeepMind AtariのゲームをDQNで学習 〇
     2015 DeepMind 囲碁 AlphaGO
     2017 AnyLogic 倉庫・機械などモデルのシミュレーション
     Microsoft 「パックマン」多報酬学習
     Hybrid Reward Architecture for Reinforcement Learning
     〇
     2019 Google 「サッカーシミュレーター」による強化学習の研究 〇
     DeepMind 「Capture the flag」によるディープラーニング学習 〇
     Microsoft 「AirSim」ドローンシミュレーター 〇
     Nvidia 「ドライビングシミュレーター」
     Mircrosoft 「TextWorld」アドベンチャーゲームを題材に言語学習 〇
     facebook 「CraftAssist」マインクラフト内で会話研究 〇
     CarMelon カーネギーメロン大学「MineRL」マインクラフトを使ったAIコンテスト 〇
     facebook 「LIGHT」ファンタジーワールドを構築してクラウドワーカーで会話研究 〇
     OpenAI 「Dota2」OpenAIによる「OpenAIFive」 〇
     DeepMind 「StarCraft2」AlphaStar 〇
     DeepMind 「Capture the Flag」QuakeIII エンジン 〇
     2020 Nvidia GameGAN「ディープラーニングによるパックマンの目コピー」 〇
     DeepMind 「Agent57」AtariのほとんどのゲームをDQN+LSTMなどで学習 〇
     OpenAI 「HIDE AND SEEK」かくれんぼを用いたマルチエージェントのカリキュラム学習 〇
     

     View Slide

251. Microsoft Researchにおけるゲーム会話研究
     テキストアドベンチャーゲームを利用した対話学習 (2019)
     

     View Slide

252. TextWorld
     • マイクロソフトが構築したテキストアドベンチャーの学習環境
     • 50ほどのテキストアドベンチャーを内包している
     • TextWorld: A Learning Environment for Text-based Games
     • https://arxiv.org/abs/1806.11532
     •
     • TextWorld: A learning environment for training reinforcement learning agents, inspired
     by text-based games
     • https://www.microsoft.com/en-us/research/blog/textworld-a-learning-environment-
     for-training-reinforcement-learning-agents-inspired-by-text-based-games/
     •
     • Getting Started with TextWorld
     • https://www.youtube.com/watch?v=WVIIigrPUJs
     https://www.microsoft.com/en-us/research/project/textworld/
     

     View Slide

253. TextWorld
     TextWorld: A Learning Environment for Text-based Games https://arxiv.org/abs/1806.11532
     

     View Slide

254. TextWorld
     TextWorld: A Learning Environment for Text-based Games https://arxiv.org/abs/1806.11532
     

     View Slide

255. ゲーム内のエージェントと会話
     ユーザー
     影響を与える
     コマンド
     応答した行動をする
     （語りの主体）
     語り手
     

     View Slide

256. 年 企業 テーマ Open
     2003 Microsoft 「Teo Feng」における強化学習
     2005 Microsoft 「Forzamotor Sports」における強化学習
     2013 DeepMind AtariのゲームをDQNで学習 〇
     2015 DeepMind 囲碁 AlphaGO
     2017 AnyLogic 倉庫・機械などモデルのシミュレーション
     Microsoft 「パックマン」多報酬学習
     Hybrid Reward Architecture for Reinforcement Learning
     〇
     2019 Google 「サッカーシミュレーター」による強化学習の研究 〇
     DeepMind 「Capture the flag」によるディープラーニング学習 〇
     Microsoft 「AirSim」ドローンシミュレーター 〇
     Nvidia 「ドライビングシミュレーター」
     Mircrosoft 「TextWorld」アドベンチャーゲームを題材に言語学習 〇
     facebook 「CraftAssist」マインクラフト内で会話研究 〇
     CarMelon カーネギーメロン大学「MineRL」マインクラフトを使ったAIコンテスト 〇
     facebook 「LIGHT」ファンタジーワールドを構築してクラウドワーカーで会話研究 〇
     OpenAI 「Dota2」OpenAIによる「OpenAIFive」 〇
     DeepMind 「StarCraft2」AlphaStar 〇
     DeepMind 「Capture the Flag」QuakeIII エンジン 〇
     2020 Nvidia GameGAN「ディープラーニングによるパックマンの目コピー」 〇
     DeepMind 「Agent57」AtariのほとんどのゲームをDQN+LSTMなどで学習 〇
     OpenAI 「HIDE AND SEEK」かくれんぼを用いたマルチエージェントのカリキュラム学習 〇
     

     View Slide

257. Microsoft: Malmo
     • エージェントを学習させる環境を提供
     • https://www.microsoft.com/en-us/research/project/project-malmo/
     • https://blogs.microsoft.com/ai/project-malmo-using-minecraft-build-intelligent-technology/
     • チュートリアル
     • https://techcommunity.microsoft.com/t5/azure-ai/introducing-reinforcement-learning-on-
     azure-machine-learning/ba-p/1403028
     

     View Slide

258. facebook:「CraftAssist」(2019)
     • マインクラフトでプレイヤーと共同作業可能なAIを
     実装するためのオープンソースプラットフォーム
     https://gigazine.net/news/20190719-craftassist-
     collaborative-ai-minecraft/
     • テキスト会話によって、エージェント（キャラク
     ター）に意味を解釈させる。「青い家を建てろ」な
     ど。
     CraftAssist: A Framework for Dialogue-enabled Interactive Agents - Facebook Research
     https://research.fb.com/publications/craftassist-a-framework-for-dialogue-enabled-
     interactive-agents/
     Open-sourcing CraftAssist, a platform for studying collaborative AI bots in Minecraft
     https://ai.facebook.com/blog/craftassist-platform-for-collaborative-minecraft-bots/
     Mojang © 2009-2021.
     

     View Slide

259. カーネギーメロン大学「MineRL」
     • カーネギーメロン大学が NeurIPSで主催するマインクラフトを題材にした
     • 強化学習コンテストのフレームワーク
     • https://ai-scholar.tech/articles/treatise/minerl-ai-353
     • https://minerl.io/competition/
     • https://www.aicrowd.com/challenges/neurips-2020-minerl-competition
     • 論文
     • https://arxiv.org/pdf/1907.13440.pdf
     • https://arxiv.org/abs/1904.10079
     • https://www.microsoft.com/en-us/research/project/project-malmo/
     • https://minerl.io/docs/
     • https://slideslive.at/38922880/the-minerl-competition?ref=search
     

     View Slide

260. カーネギーメロン大学「MineRL」
     MineRL: A Large-Scale Dataset of Minecraft Demonstrations https://arxiv.org/pdf/1907.13440.pdf
     Mojang © 2009-2021.
     

     View Slide

261. ゲーム内のエージェントと会話
     ユーザー
     影響を与える
     コマンド
     応答した行動をする
     C
     仲間キャラクター・敵キャラクター
     

     View Slide

262. ロードマップ
     ゲームとユーザーの間の
     応答の意味を問い直す
     自然言語会話を含む
     ユーザーとゲームの間の
     新しい関係を模索する
     ゲームやキャラクターが
     自律的にユーザーと
     インタラクションする
     現在～2024
     現在
     2025~2030
     単に自然言語処理を導入するのではない。
     ゲーム産業が独自に築き上げてきた対話エージェントと融合させる。
     

     View Slide

263. 第三部
     ゲームを作り出す人工知能
     

     View Slide

264. ゲームと人工知能の関係
     ゲームAI
     ゲームを外側から
     プレイするAI
     ゲーム内側から
     構成するAI
     将棋、チェス、囲碁…
     アカデミックで研究されるAI
     アカデミックではゲームを製作する、
     ということはなかなかできない・しない
     マリオ、ゼルダ、フォートナイト
     産業で開発されるAI
     ゲームを構成するAI
     ゲームを作り出す
     人工知能
     ゲームを管理する人工知能
     ゲームを製作する人工知能
     

     View Slide

265. ジェネレーティブAI
     

     View Slide

266. プロシージャル技術（自動生成技術）
     ゲーム内の自動生成技術は、メタAIに属する技術
     

     View Slide

267. ブラウン運動から地形生成
     ロバート・ブラウン博士によって、１８２７年に発見された現象。
     微粒が媒質（液体）の中で行う不規則な運動。
     アインシュタイン博士によって、熱運動する媒質の不規則な
     衝突によって引き起こされると説明された。
     http://ja.wikipedia.org/wiki/%E3%83%96%E3%83%A9%E3%82%A6%E3%83%B3%E9%81%8B%E5%8B%95
     宮田一乗「プロシージャル技術の動向」（CEDEC 2008）
     

     View Slide

268. ブラウン運動から地形生成 (1987)
     http://ja.wikipedia.org/wiki/%E3%83%96%E3%83%A9%E3%82%A6%E3%83%B3%E9%81%8B%E5%8B%95
     http://www.kenmusgrave.com
     

     View Slide

269. ブラウン運動から地形生成 (1987)
     http://ja.wikipedia.org/wiki/%E3%83%96%E3%83%A9%E3%82%A6%E3%83%B3%E9%81%8B%E5%8B%95
     http://www.kenmusgrave.com
     

     View Slide

270. NO MAN’S SKY (Hello Games, 2016)
     http://www.no-mans-sky.com/
     宇宙、星系、太陽系、惑星を自動生成する。
     

     View Slide

271. FarCry2 (Dunia Engine ) デモ
     草原自動生成 時間システム
     樹木自動生成 動的天候システム
     動的天候システム
     http://www.farcry2-hq.com/downloads,18,dunia-engine-nr1.htm
     

     View Slide

272. Far Cry 2 Dunia Engine - Growing Vegetation (Far Cry HQ)
     https://www.youtube.com/watch?v=FI3oR6vqn1Q
     

     View Slide

273. ブラウン運動
     ロバート・ブラウン博士によって、１８２７年に発見された現象。
     微粒が媒質（液体）の中で行う不規則な運動。
     アインシュタイン博士によって、熱運動する媒質の不規則な
     衝突によって引き起こされると説明された。
     http://ja.wikipedia.org/wiki/%E3%83%96%E3%83%A9%E3%82%A6%E3%83%B3%E9%81%8B%E5%8B%95
     

     View Slide

274. 地形自動生成
     Jacob Olsen, Realtime Procedural Terrain Generation
     http://oddlabs.com/download/terrain_generation.pdf
     ２次元中点変位法 ボロノイ図
     ノイズ法（濃い＝低い、白い＝高い）
     ＋ ＝
     

     View Slide

275. Ken Musgrave
     http://www.kenmusgrave.com/
     

     View Slide

276. Terragen(Planetside Software)
     風景、自動生成生成ソフト
     http://www.planetside.co.uk/terragen/
     海外のゲームや映画の背景として利用されている
     

     View Slide

277. Age of Empires III における地形自動生成
     西川善司, 「3DゲームファンのためのAGE OF EMPIRESエンジン講座(後編)こだわりの影生成と算術合成
     されるディテール、次回作はXbox2?」, GAME Watch, 2005
     

     View Slide

278. L-system による街の自動生成
     City Engine(central pictures)
     Yoav I H Parish, Pascal Müller
     http://www.centralpictures.com/ce/tp/paper.pdf
     http://www.centralpictures.com/ce/
     George Kelly, Hugh McCabe,
     A Survey of Procedural Techniques for City Generation
     http://www.gamesitb.com/SurveyProcedural.pdf
     

     View Slide

279. https://www.youtube.com/watch?v=FI3oR6vqn1Q
     

     View Slide

280. https://www.youtube.com/watch?v=NfizT369g60
     

     View Slide

281. https://www.youtube.com/watch?v=FzoY062kY1s
     

     View Slide

282. アメリカ大陸のデータから地形生成（Eidos）
     https://www.eidosmontreal.com/news/worldgen-painting-the-world-one-layer-at-a-time/
     

     View Slide

283. L-system による街の自動生成
     City Engine(central pictures)
     Yoav I H Parish, Pascal Müller
     http://www.centralpictures.com/ce/tp/paper.pdf
     http://www.centralpictures.com/ce/
     George Kelly, Hugh McCabe,
     A Survey of Procedural Techniques for City Generation
     http://www.gamesitb.com/SurveyProcedural.pdf
     

     View Slide

284. VITRUVIO CityEngine Plugin for Unreal Engine
     https://esri.github.io/cityengine/vitruvio
     

     View Slide

285. SimCity 4 Engine, Glassbox
     https://www.youtube.com/watch?v=tKOgo7EFl_w
     

     View Slide

286. ゲーム自動生成
     [参考文献]
     Cameron Browne,“Evolutionary Game Design”, SpringerBriefs in Computer Science, 2011
     

     View Slide

287. ゲーム自動生成
     [参考文献]
     Cameron Browne,“Evolutionary Game Design”, SpringerBriefs in Computer Science, 2011
     

     View Slide

288. ゲーム自動生成
     [参考文献]
     Cameron Browne,“Evolutionary Game Design”, SpringerBriefs in Computer Science, 2011
     

     View Slide

289. 評価
     選 択
     交叉
     突然変異
     ルール
     チェック
     整合性
     がある
     か？
     ポリシー
     選択
     速度が
     遅い？
     ゴミ
     箱
     テストプ
     レイ
     前と似て
     いる
     引き分け
     になり
     やすい
     母集団
     Mark J. Nelson, “Bibliography: Encoding and generating videogame
     mechanics”, IEEE CIG 2012 tutorial
     URL https://www.kmjn.org/notes/generating_mechanics_bibliography.html
     Cameron Browne,“Evolutionary Game Design”, SpringerBriefs in Computer Science, 2011
     URL https://www.springer.com/jp/book/9781447121787
     

     View Slide

290. ゲーム自動生成
     https://jellyjellycafe.com/games/yabalath
     

     View Slide

291. PCGML
     PCGRL: Procedural Content Generation via Reinforcement Learning
     Ahmed Khalifa, Philip Bontrager, Sam Earle, Julian Togelius
     https://arxiv.org/abs/2001.09212
     

     View Slide

292. PCGRL: Procedural Content Generation via Reinforcement Learning
     Ahmed Khalifa, Philip Bontrager, Sam Earle, Julian Togelius
     https://arxiv.org/abs/2001.09212
     

     View Slide

293. PCGRL: Procedural Content Generation via Reinforcement Learning
     Ahmed Khalifa, Philip Bontrager, Sam Earle, Julian Togelius
     https://arxiv.org/abs/2001.09212
     

     View Slide

294. PCGRL: Procedural Content Generation via Reinforcement Learning
     Ahmed Khalifa, Philip Bontrager, Sam Earle, Julian Togelius
     https://arxiv.org/abs/2001.09212
     

     View Slide

295. PCGRL: Procedural Content Generation via Reinforcement Learning
     Ahmed Khalifa, Philip Bontrager, Sam Earle, Julian Togelius
     https://arxiv.org/abs/2001.09212
     PCGRL参考
     • https://twitter.com/togelius/status/1222038094507102208
     • https://twitter.com/i/status/1222038094507102208
     

     View Slide

296. PCGRL: Procedural Content Generation via Reinforcement Learning
     Ahmed Khalifa, Philip Bontrager, Sam Earle, Julian Togelius
     https://arxiv.org/abs/2001.09212
     

     View Slide

297. https://medium.com/deepgamingai/game-level-design-with-reinforcement-learning-52b02bb94954
     

     View Slide

298. PCGRL参考
     • https://twitter.com/togelius/status/1222038094507102208
     • https://twitter.com/i/status/1222038094507102208
     

     View Slide

299. 人間が製作し、
     人工知能がチェックする
     Adversarial Reinforcement Learning for Procedural Content Generation
     Linus Gisslén, Andy Eakins, Camilo Gordillo, Joakim Bergdahl, Konrad Tollmar
     https://arxiv.org/abs/2103.04847
     

     View Slide

300. Adversarial Reinforcement Learning for Procedural Content Generation
     Linus Gisslén, Andy Eakins, Camilo Gordillo, Joakim Bergdahl, Konrad Tollmar
     https://arxiv.org/abs/2103.04847
     

     View Slide

301. Adversarial Reinforcement Learning for Procedural Content Generation
     Linus Gisslén, Andy Eakins, Camilo Gordillo, Joakim Bergdahl, Konrad Tollmar
     https://arxiv.org/abs/2103.04847
     

     View Slide

302. Adversarial Reinforcement Learning for Procedural Content Generation
     Linus Gisslén, Andy Eakins, Camilo Gordillo, Joakim Bergdahl, Konrad Tollmar
     https://arxiv.org/abs/2103.04847
     

     View Slide

303. CoG 2021: Adversarial Reinforcement Learning for Procedural Content Generation
     SEED – Electronic Arts
     https://www.youtube.com/watch?v=kNj0qcc6Fpg
     

     View Slide

304. Adversarial Reinforcement Learning for Procedural Content Generation
     Linus Gisslén, Andy Eakins, Camilo Gordillo, Joakim Bergdahl, Konrad Tollmar
     https://arxiv.org/abs/2103.04847
     

     View Slide

305. Adversarial Reinforcement Learning for Procedural Content Generation
     Linus Gisslén, Andy Eakins, Camilo Gordillo, Joakim Bergdahl, Konrad Tollmar
     https://arxiv.org/abs/2103.04847
     

     View Slide

306. Adversarial Reinforcement Learning for Procedural Content Generation
     Linus Gisslén, Andy Eakins, Camilo Gordillo, Joakim Bergdahl, Konrad Tollmar
     https://arxiv.org/abs/2103.04847
     

     View Slide

307. メタバースと
     ジェネレーティブAI
     

     View Slide

308. クレジットカードによる
     オンライン決済
     オンライン上の少額決済
     （マイクロトランザクション）
     ブロックチェーン、仮想通貨
     の普及
     e-コマースの
     普及
     ソーシャル
     ゲームの普及
     メタバースの
     普及
     お金の形の変化
     インターネットの形の変化
     2005 2015
     経済原理がメタバースを再生させる
     

     View Slide

309. 運営元
     ポイント
     お金
     ユーザー
     ポイント
     を購入
     ユーザー
     お金
     仮想通貨
     運営元
     ポイントを使用
     アバター
     アバター
     メタバース
     デジタルゲーム
     経済から見たゲームとメタバース
     

     View Slide

310. ゲーム世界
     プレイヤー
     （主人公）
     プレイする
     バーチャル
     アイドル
     プロデューサー
     応援する・
     プロデュース
     する
     ゲーム世界
     （eSports)
     観戦者
     観戦する
     メタバース
     一参加者
     生産する
     デジタル世界への参加の仕方の変化
     デジタル空間への参加の仕方の変化
     

     View Slide

311. メタバース＝ゲーム空間の解放
     オンラインゲーム
     

     View Slide

312. 生産者
     NFTオンラインマー
     ケットプレイスなど、
     取り引きの場
     購入者
     ブロックチェイン上のNFTの仕組み
     生産者 メタバース 購入者
     ブロックチェイン上のNFTの仕組み
     メタバースとNFT
     

     View Slide

313. メタバース
     ブロックチェイン上の
     NFTの仕組み
     生産者 購入者
     デジタルコンテンツ
     NFT
     （トークン）
     リンク
     このパッケージを
     NFTと呼ぶこともある
     購入
     メタバースとNFT
     

     View Slide

314. 今後、最大のトレンドの一つ
     メタバース ｘ ジェネレーティブAI
     How Generative AI is Powering the Future of Creation on Roblox
     Bloxy News https://www.youtube.com/watch?v=zISxm50eOG8
     

     View Slide

315. 人間
     ジャンルごとの目安
     AI 人間
     AI 人間
     AI 人間
     AI 人間
     ２D画像
     3Dモデル
     90%
     50%
     音楽 45%
     アニメーション 30%
     AI
     音声 80%
     AI 人間
     言語 70%
     

     View Slide

316. 空間型AIの作成
     

     View Slide

317. スマート環境アクター
     スマートオブジェクト
     エージェント
     スマートポイント
     スマートスペース
     エージェント
     エージェント
     制御 制御 制御
     ドア
     ドアノブ
     スペース
     オブジェクト（物） ポイント（座標）
     

     View Slide

318. エージェント
     主体 客体
     エージェント
     主体
     客体
     転換
     環境アクター
     スマート
     環境アクター
     主客転換制御
     

     View Slide

319. メタAI
     エージェント
     エージェント自律制御
     スマート環境アクター制御 スマート環境アクター制御
     スマートスペース
     スマートオブジェクト
     スマートポイント
     コミュニケーション
     コミュニケーション
     

     View Slide

320. メタAI
     エージェント
     エージェント自律制御
     スマート環境アクター制御 スマート環境アクター制御
     スマートスペース
     スマートオブジェクト
     スマートポイント
     コミュニケーション
     コミュニケーション
     コモングラウンド
     

     View Slide

321. （メッシュ）
     コスト : 0.5
     見通し: 1.0
     地表： 床
     推奨高度：5m
     （メッシュ）
     コスト : 0.5
     見通し: 1.0
     地表： 床
     推奨高度：10m
     （メッシュ）
     コスト : 2.5
     見通し: 1.0
     地表： 土
     推奨高度：10m
     壁面：ガラス
     壁との衝突は
     必ず回避してください
     エージェント
     ナビゲーション・メッシュ
     （メッシュ）
     コスト : 0.5
     見通し: 1.0
     地表： 床
     推奨高度：7m
     エレベーターの入り口：
     使用する場合は、
     メッセージ001を送ってください
     空間記述表現
     

     View Slide

322. 同期
     スマートシティ
     （物理世界）
     スパーシャルAI
     （空間AI）
     メタバース
     （デジタル世界）
     デジタルツイン空間
     同期
     スマートスペース
     

     View Slide

323. 空間型AIの制御に入る車
     メタAI
     エージェント
     エージェント自律制御
     スマート環境アクター制御 スマート環境アクター制御
     スマートスペース
     スマートオブジェクト
     スマートポイント
     コミュニケーション
     コミュニケーション
     

     View Slide

324. （まとめ）ゲームと人工知能の関係
     ゲームAI
     ゲームを外側から
     プレイするAI
     ゲーム内側から
     構成するAI
     将棋、チェス、囲碁…
     アカデミックで研究されるAI
     アカデミックではゲームを製作する、
     ということはなかなかできない・しない
     マリオ、ゼルダ、フォートナイト
     産業で開発されるAI
     ゲームを構成するAI
     ゲームを作り出す
     人工知能
     ゲームを管理する人工知能
     ゲームを製作する人工知能
     

     View Slide

325. ゲーム、メタバース、
     スマートシティ、人工知能
     

     View Slide

326. ゲーム、メタバース、
     スマートシティは
     人工知能によって融合する
     

     View Slide

327. ゲーム
     メタバース スマート
     シティ
     人工知能
     

     View Slide

328. オンラインゲーム メタバース 物理空間
     世界観 強固、かつ詳細 なるべく緩い設定 現実のまま
     物語 大きな物語を準備
     物語に沿って
     イベントが展開
     特になし
     ユーザーが作り出す
     現実の経済、人間関係
     （ソーシャル）、社会、
     など無限の要素
     キャラクター
     （人）の役割
     世界、物語の中で
     最初から定義
     特になし ユーザー
     の関係の中で発生
     不明（実存）
     オンラインゲーム 物理空間
     純粋なメタバース
     （空っぽの空間）
     

     View Slide

329. 現実世界 デジタル
     ツイン
     ミラーワールド
     スマートシティ
     メタAI
     都市
     メタバース
     （世界モデルと
     して機能する）
     同期
     現実を認識する
     現実を予測する
     

     View Slide

330. 垂直構造（現実との関連性）
     水平構造(世界のスケールの広がり)
     メタバース
     現実世界
     デジタル世界
     スマート
     シティ
     ミラーリングによる同期
     

     View Slide

331. 現実世界
     (1) お金の動き
     (2) 物の動き
     (3) 人・動物の動き
     (4) 自然の動き
     デジタル
     ツイン
     (現実世界
     そっくりの
     メタバース)
     同期
     引き写し
     ミラーワールド
     スマートシティ
     センシングと情報取り込
     みによる(1)-(4)の同期
     ロボット・AI・情報提示に
     よるサービス・干渉
     

     View Slide

332. 広場
     森
     都市
     大学
     道路
     同期
     同期
     同期
     同期
     同期
     現実と同期するメタバース
     

     View Slide

333. 奈良の鹿ミラーワールド
     同期
     （ミラー）
     現実
     メタバース
     本物の鹿 デジタルツイン鹿
     現実とメタバースをつなぐ
     

     View Slide

334. 物理空間
     シミュレーション空間
     物理＝シミュレーション
     混合空間
     

     View Slide

335. 現実世界
     現実世界
     センサー
     エフェクタ
     デジタル
     ツイン
     意思決定・
     シミュレーション
     ゲームエンジン
     都市のエージェントの
     エージェント・
     アーキテクチャ
     情報経路
     

     View Slide

336. 現実世界
     現実世界
     センサー
     エフェクタ
     デジタル
     ツイン
     ×
     世界モデル
     (ディープ
     ラーニング)
     都市の
     世界モデルの獲得
     世界モデル
     シミュレーション
     意思決定
     都市の夢を見る
     シミュレーション
     エンジン
     都市メタAIの
     エージェント・
     アーキテクチャ
     情報経路
     

     View Slide

337. 物理世界へ
     の作用
     （指令・行為）
     知能
     物理世界
     情報収集
     （知覚）
     メタバース
     （集合知性）
     

     View Slide

338. メタバース
     情報の
     蓄積
     シミュレー
     ション
     による予測
     人間の叡知
     一つの集合知性として機能する
     物理空間
     への作用
     センサー
     意思決定
     エフェクター
     物理空間
     からの情報
     物理空間へ
     の作用
     集合知性の
     エージェント・アーキテクチャ
     

     View Slide

339. さまざまなシミュレーション
     （クラウド上）
     研究者
     

     View Slide

340. 物理世界
     物理世界 デジタル世界
     物理世界
     集合知性
     メタバース
     物理世界
     機械
     Level I
     Level 0
     Level III
     Level II
     意識の変容 人とデジタル空間の融合
     物理世界
     

     View Slide

341. 活動神経網
     知覚神経網
     作用
     （行為）
     内的世界
     知能
     物理世界
     物理世界のリアリティ
     反作用
     （知覚）
     

     View Slide

342. 活動神経網
     知覚神経網
     反作用
     （知覚）
     作用
     （行為）
     内的世界
     知能
     シミュレーション世界
     シミュレーション世界のリアリティ
     

     View Slide

343. 物理世界へ
     の作用
     （指令・行為）
     知能
     物理世界
     情報収集
     （知覚）
     メタバース
     （集合知性）
     

     View Slide

344. シミュレーション
     

     View Slide

345. ゲームエンジンのUnityにPLATEAUのモデルを入れた画面。
     モデルは、品川駅周辺のモデル
     ～都市全体の外観～ ～道路～
     PLATEAUは建物のモデル
     のみなので、市民が実際
     に歩くことになる道路は
     自作。
     Pythonでの数値シミュ
     レーション同様、この道
     路1つ1つにサービスの水
     準を設定し、市民が通る
     と効用が得られるような
     画面を作る。
     今後の展望：実際の都市の3Dモデルによるシミュレーション
     石政龍矢 三宅陽一郎「メタAI型スマートシティ形成の提唱－」
     第64回土木計画学研究発表大会、2021年12月
     

     View Slide

346. 仮想空間シミュレーションの動画
     シミュレーションを行っている状況を動画で紹介する。
     動画内で赤く動いているのが市民である。
     市民は品川駅を目指して動き、その過程で効用が計算されるように実装している。
     石政龍矢 三宅陽一郎「メタAI型スマートシティ形成の提唱－」
     第64回土木計画学研究発表大会、2021年12月
     

     View Slide

347. メタAI型スマートシティの有効性の検証
     （Pythonによる数値シミュレーション）
     メタAIの有効性を検証するために、まずはPythonによる数値シミュレーションを行う。
     実験で想定すること
     市民は、目的地に着くまでに何本かの道路を歩く。市民は、バリアフリーが充実している道路等、その道
     路のもともとの公共サービスの充実度（サービスの水準）に応じて、効用を得る。さらに、各道路には一体
     ずつAIエージェントが配置され、AIエージェントは市民から一人を選んで公共サービスを行う。選ばれた市
     民は、その道路から得られる効用が、さらに増加する。メタAIは、AIエージェントが重複して同じ市民を選
     ばないように命令し、公共サービスを広く全体に行き渡らせる。
     道路1 道路2
     メタAI
     左の市民は前の道路で選ばれ
     たので、候補から外しなさい
     石政龍矢 三宅陽一郎「メタAI型スマートシティ形成の提唱－」
     第64回土木計画学研究発表大会、2021年12月
     

     View Slide

348. メタAIのスマートシティへの活用
     石政龍矢 三宅陽一郎「メタAI型スマートシティ形成の提唱
     －PLATEAUデータを用いたマルチエージェントシミュレーションの観点から－」
     第64回土木計画学研究発表大会、2021年12月
     

     View Slide

349. メタAI型スマートシティの有効性の検証
     横軸はシミュレーションの回数、縦軸は社会全体の効用について、
     メタAIがある場合の効用から、ない場合の効用を引いたもの
     全ての状況において、
     メタAIを導入した方が
     社会全体の効用が高く
     なる
     メタAIがある場合とない場合の差
     各パターン
     効用の差
     ～留意点～
     検証の目的はメタAIが
     上手く機能することの
     確認であるため、効用
     の差の大きさにはあま
     り意味はない
     石政龍矢 三宅陽一郎「メタAI型スマートシティ形成の提唱－」
     第64回土木計画学研究発表大会、2021年12月
     

     View Slide

350. メタバース
     

     View Slide

351. メタバースの定義
     

     View Slide

352. メタバース
     オンライン
     ゲーム 現実
     

     View Slide

353. オンラインゲーム メタバース 物理空間
     世界観 強固、かつ詳細 なるべく緩い設定 現実のまま
     物語 大きな物語を準備
     物語に沿って
     イベントが展開
     特になし
     ユーザーが作り出す
     現実の経済、人間関係
     （ソーシャル）、社会、
     など無限の要素
     キャラクター
     （人）の役割
     世界、物語の中で
     最初から定義
     特になし ユーザー
     の関係の中で発生
     不明（実存）
     オンラインゲーム 物理空間
     純粋なメタバース
     （空っぽの空間）
     オンラインゲームとメタバースの違い
     

     View Slide

354. 検索エンジン SNS メタバース
     検索サーバー
     ユーザー ユーザー
     タイム
     ライン
     デジタル空間
     インタラク
     ション
     デファクト・メジャーの遷移
     

     View Slide

355. メタバース
     SNS
     検索エンジン
     現実の人間関係
     現実の情報
     現実の情報
     現実の人間関係
     現実の世界の状態
     現実の情報
     現実の深度
     仮想空間のリアリティ
     

     View Slide

356. デジタル世界
     現実世界
     垂直構造（現実との関連性）
     水平構造(世界のスケールの広がり)
     オンライン
     ゲーム
     メタバース
     デジタル空間の水平構造と垂直構造
     

     View Slide

357. 時代 メタバース世界の多様化
     2006 セカンドライフ
     2008 meet-me 2018
     2006 Roblox
     2009 Internet Adventure
     2012 The Sandbox
     2008 PlayStation Home
     2011
     2021
     Horizon Worlds
     2008 ai sp@ce
     メタバース
     創成記
     メタバースと
     ゲーム空間の
     融合
     セカンド
     ライフの影響
     メタバースと
     現実空間・
     経済との融合
     2017 フォートナイト
     2022
     仮想通貨SAND導入(2017年-)
     2003 EVE ONLINE
     2015
     2000 Phantasy Star Online / Phantasy Star Online 2
     UGCを軸とした
     オンラインゲーム
     アイテム課金モデル 仮想通貨の隆盛
     

     View Slide

358. メタバースとソーシャル
     

     View Slide

359. ソー
     シャル
     空間
     ゲーム
     空間
     ソーシャル
     空間
     メタバース
     ソーシャル
     空間
     1990 2010
     2000 2020
     オンラインゲームにおいて
     徐々にソーシャル的要素が
     入れられていった。SNSに
     対抗する必要があった。
     1990年代において
     ゲームはソロプレイか
     その場の数人でする
     ものであった。
     ゲーム的要素の少ないソーシャル
     空間をメインとするメタバースが
     台頭する。しかし、ゲームとは
     つながっている。
     ゲーム的要素がまったくない、
     独立したソーシャル空間が成立
     する。SNSの延長としての
     ソーシャル空間。
     SN
     S
     SNS
     SNS
     ソーシャル
     空間
     SNSの台頭と拡大
     ゲーム
     空間
     ゲーム
     空間
     SNS＋ゲーム空間＝メタバース
     

     View Slide

360. ゲーム空間とソーシャル空間
     の関係
     関係図 特徴
     ゲーム空間をメインとしつつ、
     その周辺のソーシャル空間を
     配置する
     ゲーム空間を補完する形、或いは
     ゲーム空間で満たされない部分を
     ソーシャル空間においてみたすよ
     うに設計する。たとえば、ゲーム
     空間が戦闘であれば、ソーシャル
     空間は音楽・演劇など。
     ソーシャル空間をメインとし
     つつ、その中にゲーム空間が
     埋め込まれる。
     ソーシャル空間がメインであり、
     そこにそれぞれ独立したゲーム空
     間が埋め込まれる。多くの場合、
     ユーザーが作成したミニゲームが
     点在する形となる。
     ゲーム空間-ソーシャル空間
     一体型
     ゲーム空間とソーシャル空間の区
     別ではない。あらゆる場所がゲー
     ム空間であり、ユーザーが望めば、
     あらゆる空間で交流が可能である。
     ゲーム空間
     ソーシャル
     空間
     ゲーム
     空間
     ゲーム
     空間
     ゲーム
     空間
     ゲーム
     空間
     ソーシャ
     ル
     空間
     Roblox
     Sandbox
     フォートナイト
     あつ森など
     ソーシャル
     空間
     

     View Slide

361. メタバース＝ゲーム空間の解放
     オンラインゲーム
     

     View Slide

362. スマートシティとメタバースの融合、
     人間の行動変容
     

     View Slide

363. レベル
     キャラクターAI
     レベルを認識し、
     自律的な判断を行い、
     身体を動かす．
     敵・味方
     キャラクタ－
     プレイヤー
     情報獲得
     スパーシャルAI
     空間全般に関する思考
     メタAI, キャラクターAIの為に
     空間認識のためのデータを準備
     ナビゲーション・データの管理
     パス検索 戦術位置解析 オブジェクト認識
     メタAI
     エージェントを動的に配置
     レベル状況を監視
     エージェントに指示
     ゲームの流れを作る
     Order
     Ask &
     Report
     ゲーム全体をコントロール
     Support
     query
     query
     頭脳として機能
     

     View Slide

364. 現実世界
     デジタル
     ツイン
     (現実世界
     そっくりの
     メタバース)
     相互作用
     ミラーワールド
     スマートシティ
     センシング
     AIによる干渉
     

     View Slide

365. 現実世界 デジタル
     ツイン
     ミラーワールド
     スマートシティ
     メタAI
     都市
     メタバース
     （世界モデルとし
     て機能する）
     同期
     引き写し
     現実を認識する
     現実を予測する
     

     View Slide

366. 活動神経網
     知覚神経網
     作用
     （行為）
     内的世界
     知能
     物理世界
     物理世界のリアリティ
     反作用
     （知覚）
     

     View Slide

367. 活動神経網
     知覚神経網
     反作用
     （知覚）
     作用
     （行為）
     内的世界
     知能
     シミュレーション世界
     シミュレーション世界のリアリティ
     

     View Slide

368. 人の知的レベル＝環境との相互作用による知的行動
     人 環境（世界）
     知的行動
     知的行動の拡大
     

     View Slide

369. 環境（世界）
     知的行動
     知的行動の拡大
     人 他者（自律的存在）
     信頼感情の生成
     人の知性の拡大
     

     View Slide

370. スマートシティ
     エージェント
     知的行動
     知的行動の拡大
     人 メタAI
     スマートシティによる知的行動の拡大
     

     View Slide

371. 新しい現実
     スマートシティ
     エージェント
     知的行動 知的行動の拡大
     メタバース
     人 メタAI
     人の知性の拡大
     

     View Slide

372. デジタルゲームから現実＝仮想融合世界へ
     これまでの研究： デジタルゲームの人工知能の
     汎用的フレームの構築
     これからの研究：都市のための人工知能の
     汎用的フレームの構築
     

     View Slide

373. これまでの研究： デジタルゲームの人工知能の
     汎用的フレームの構築
     これからの研究：都市のための人工知能の
     汎用的フレームの構築
     人工知能が人間
     を理解すること
     人工知能が社会
     を理解すること
     デジタルゲームから現実＝仮想融合世界へ
     

     View Slide