スマートシティ＝メタバースの設計と構築

Slide 1

Slide 1 text

スマートシティ＝メタバースの設計と構築三宅陽一郎 @miyayou 2022.6 https://www.facebook.com/youichiro.miyake http://www.slideshare.net/youichiromiyake [email protected] https://miyayou.com/

Slide 2

Slide 2 text

自己紹介

Slide 3

Slide 3 text

Hopper Training Hopper Trained

Slide 4

Slide 4 text

My Works (2004-2022) AI for Game Titles Books

Slide 5

Slide 5 text

近著

Slide 6

Slide 6 text

No content

Slide 7

Slide 7 text

リアルタイムノンリアルタイム身体を持つ身体を持たない身体を持ちリアルタイムに空間を運動する身体を持たず空間を運動しないゲーム・ロボットビックデータ解析

Slide 8

Slide 8 text

ゲームＡＩの特徴リアルタイムインタラクティブ身体を持つゲーム VR/AR ロボット・自動運転デジタルサイネージドローンエージェント・サービス

Slide 9

Slide 9 text

ＡＩの分化（1994-2000）ゲームシステムメタＡＩキャラクターＡＩナビゲーションＡＩ３つのＡＩシステムは序々に分化して独立して行った。では、今度はナビゲーションＡＩについてさらに詳しく見てみよう。

Slide 10

Slide 10 text

レベルスクリプトナビゲーションAI キャラクターAI メタAI 1995 2000 2005 2010 1994 (ゲームの3D化) 1999 (スクリプティッドAIによる大型ゲームのキャラクター制御の限界。自律型AI技術のアカデミックからの流入) 2005 (ウィル・ライトによる“メタAI”定義) 2008 (“LEFT 4 DEAD”ににおけるAI Director) 2010頃～（オープンワールド型ゲームの隆盛) スパーシャルAI 1980 PlayStation (1994) Xbox360 (2005) PlayStation3 (2006) スクリプティッドAI 三宅陽一郎、水野勇太、里井大輝、「メタAI」と「AI Director」の歴史的発展、日本デジタルゲーム学会（2020年、Vol.13, No.2） LS-Modelモデル LCN-AI連携モデル MCS-AI動的連携モデル MCN-AI連携モデル

Slide 11

Slide 11 text

レベルキャラクターAI レベルを認識し、自律的な判断を行い、身体を動かす．敵・味方キャラクタ－プレイヤー情報獲得スパーシャルAI 空間全般に関する思考メタAI, キャラクターAIの為に空間認識のためのデータを準備ナビゲーション・データの管理パス検索戦術位置解析オブジェクト認識メタAI エージェントを動的に配置レベル状況を監視エージェントに指示ゲームの流れを作る Order Ask & Report ゲーム全体をコントロール Support query query 頭脳として機能 MCS-AI動的連携モデル（三宅,2020）

Slide 12

Slide 12 text

都市全体の知能（意識）交通全般を制御するAI 各エリアを監視・制御するAI 各ビルを監視・制御するAI 道路を監視・制御するAI 各広場を監視・制御するAI 人の流れを監視・制御するAI 抑止・委任報告抑止・委任報告監視制御人ドローンロボットデジタルアバター報告命令人監視制御監視制御協調協調協調・命令監視制御デジタルツイン／メタバス／世界モデル都市キャラクターAI スパ｜シャル AI メタAI 空間記述表現協調協調

Slide 13

Slide 13 text

情報処理学会７月号（電子）人工知能学会誌７月号

Slide 14

Slide 14 text

参考文献 • 三宅陽一郎「デジタルゲームAI技術を応用したスマートシティの設計」人工知能学会誌、37巻4号（2022年） 10ページ • 三宅陽一郎「メタバースの成立と未来 ―新しい時間と空間の獲得へ向けて―」, 情報処理, Vol.63 No.7 （2022年） 34ページ https://ipsj.ixsq.nii.ac.jp/ej/?action=pages_view_main&active_action=repository_view_main_item_detail&ite m_id=218538&item_no=1&page_id=13&block_id=8

Slide 15

Slide 15 text

デジタルゲームAI入門① （キャラクターAI）

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

知能の世界環境世界認識の形成記憶意思の決定身体制御エフェクター・身体運動の構成センサー・身体意思決定モジュール意思決定モジュール意思決定モジュール記憶体情報処理過程運動創出過程身体部分情報統合運動統合

Slide 19

Slide 19 text

FC SFC SS, PS PS2,GC,Xbox Xbox360, PS3, Wii DC （次世代） Hardware 時間軸 2005 1999 ゲームの進化と人工知能複雑な世界の複雑なＡＩゲームも世界も、ＡＩの身体と内面もますます複雑になる。単純な世界のシンプルなＡＩ（スペースインベーダー、タイトー、1978年）（アサシンクリード、ゲームロフト、2007年）

Slide 20

Slide 20 text

(例) スペースインベーダー(1978) プレイヤーの動きに関係なく、決められた動きをする（スペースインベーダー、タイトー、1978年）

Slide 21

Slide 21 text

（例）プリンス・オブ・ペルシャ「プリンス・オブ・ペルシャ」など、スプライトアニメーションを用意する必要がある場合、必然的にこういった制御となる。（プリンスオブペルシャ、1989年）

Slide 22

Slide 22 text

３Ｄゲームの中のＡＩ Halo （ＨＡＬＯ、バンジー、2001年）デバッグ画面 The Illusion of Intelligence - Bungie.net Downloads http://downloads.bungie.net/presentations/gdc02_jaime_griesemer.ppt

Slide 23

Slide 23 text

強化学習（例）強化学習（例）格闘ゲームキックパンチ波動 R_0 : 報酬＝ダメージ http://piposozai.blog76.fc2.com/ http://dear-croa.d.dooo.jp/download/illust.html

Slide 24

Slide 24 text

強化学習（例）格闘ゲームTaoFeng におけるキャラクター学習 Ralf Herbrich, Thore Graepel, Joaquin Quiñonero Candela Applied Games Group,Microsoft Research Cambridge "Forza, Halo, Xbox Live The Magic of Research in Microsoft Products" http://research.microsoft.com/en-us/projects/drivatar/ukstudentday.pptx Microsoft Research Playing Machines: Machine Learning Applications in Computer Games http://research.microsoft.com/en-us/projects/mlgames2008/ Video Games and Artificial Intelligence http://research.microsoft.com/en-us/projects/ijcaiigames/

Slide 25

Slide 25 text

No content

Slide 26

Slide 26 text

No content

Slide 27

Slide 27 text

サブサンプション・アーキテクチャ（ロドニー・ブルックス） INPUT OUTPUT 時間情報抽象度反射的に行動少し場合ごとに対応抽象的に思考理論的に考える言語化のプロセス = 自意識の構築化 Subsumpution Architecture 運動の実現のプロセス = 身体運動の生成

Slide 28

Slide 28 text

機能環効果器受容器（刺激→興奮（記号））客体活動神経網知覚神経網前野佳彦訳・ユクスキュル「動物の環境と内的世界」（みすず書房）知覚世界活動世界知覚微表担体対象化された機構活動担体内的世界興奮（記号）興奮興奮運動形態＝特定の筋肉を動かす中枢神経網

Slide 29

Slide 29 text

Physical Informat ion Abstract Informat ion More Abstract Informat ion Abstraction Time Decision-Making Decision-Making Decision-Making Multi-Layered Blackboard Abstraction Abstraction Reduction Reduction Reduction World World Dynamics Artificial Intelligence Object Object image on the lowest layer (Umwelt) Object image on the second layer Object image on the third layer Decision-Making Object image on the top layer

Slide 30

Slide 30 text

Slide 31

Slide 31 text

デジタルゲームAI入門② （スパーシャルAI）

Slide 32

Slide 32 text

Slide 33

Slide 33 text

ネットワーク上のグラフ検索法 A*法 M F L B A Ｓ O P D C G S V H Q X K N J R T W E I U Z Y Ｇ 5 4 6 3 7 2 3 B C 3 3 2 2 4 3 5 5 出発点（Ｓ）を中心に、そのノードまでの最も短い経路を形成して行く。Gにたどり着いたら終了。ゴール地点がわかっている場合、現在のノードとゴールとの推定距離（ヒューリスティック距離）を想定して、トータル距離を取り、それが最少のノードを探索して行く。各ノードの評価距離＝出発点からの経路＋ヒューリスティック距離ヒューリスティック距離 (普通ユークリッド距離を取る) 3+14.2 3+13.8 G H 3 5+10.5 6+8.4

Slide 34

Slide 34 text

パス検索（デモと実例）

Slide 35

Slide 35 text

（メッシュ）コスト : 0.5 見通し: 1.0 地表：土（メッシュ）コスト : 0.8 見通し: 0.7 地表：沼（オブジェクト）動かせる : (1.0,0.8)向き持ち上げる: false 上に乗れる： false 硬さ： 0.9 重たさ： 0.4 （オブジェクト）アクション：レバー倒す効果：扉が開く（オブジェクト）扉メッシュ同士のリンク情報

Slide 36

Slide 36 text

スパーシャルAI 空間解析状況解析位置検索技術パス検索スマートオブジェクトなど多数影響マップなど多数

Slide 37

Slide 37 text

プレイヤー予測経路（ゴールデンパス） M. Jack , M. Vehkala, “Spaces in the Sandbox: Tactical Awareness in Open World Games,” GDC 2013, https://www.gdcvault.com/play/1018136/Spaces-in-the-Sandbox-Tactical

Slide 38

Slide 38 text

ゴールデンパスに沿った位置検索技術プレイヤーの予想目標地点プレイヤーの現在位置ゴールデンパスゴールデンパス上で、20m以上プレイヤーから離れて、 40m以内にある場所で、ゴールデンパスから幅10mの領域でポイントを見つける

Slide 39

Slide 39 text

M. Jack , M. Vehkala, “Spaces in the Sandbox: Tactical Awareness in Open World Games,” GDC 2013, https://www.gdcvault.com/play/1018136/Spaces-in-the-Sandbox-Tactical

Slide 40

Slide 40 text

Tom Mathews Making "Big Data" Work for 'Halo': A Case Study http://ai-wiki/wiki/images/d/d8/AI_Seminar_177th.pdf

Slide 41

Slide 41 text

位置検索システム

Slide 42

Slide 42 text

位置検索システム - キャラクターの性能に応じて - 地形毎に - リアルタイムで最も適したポイントを見つけるシステム

Slide 43

Slide 43 text

Enemy Friend NPC Rock Rock Sea Hole

Slide 44

Slide 44 text

No content

Slide 45

Slide 45 text

No content

Slide 46

Slide 46 text

No content

Slide 47

Slide 47 text

No content

Slide 48

Slide 48 text

No content

Slide 49

Slide 49 text

No content

Slide 50

Slide 50 text

No content

Slide 51

Slide 51 text

No content

Slide 52

Slide 52 text

オリジナル

Slide 53

Slide 53 text

オリジナル

Slide 54

Slide 54 text

M. Jack , M. Vehkala, “Spaces in the Sandbox: Tactical Awareness in Open World Games,” GDC 2013, https://www.gdcvault.com/play/1018136/Spaces-in-the-Sandbox-Tactical

Slide 55

Slide 55 text

M. Jack , M. Vehkala, “Spaces in the Sandbox: Tactical Awareness in Open World Games,” GDC 2013, https://www.gdcvault.com/play/1018136/Spaces-in-the-Sandbox-Tactical

Slide 56

Slide 56 text

M. Jack , M. Vehkala, “Spaces in the Sandbox: Tactical Awareness in Open World Games,” GDC 2013, https://www.gdcvault.com/play/1018136/Spaces-in-the-Sandbox-Tactical

Slide 57

Slide 57 text

M. Jack , M. Vehkala, “Spaces in the Sandbox: Tactical Awareness in Open World Games,” GDC 2013, https://www.gdcvault.com/play/1018136/Spaces-in-the-Sandbox-Tactical

Slide 58

Slide 58 text

M. Jack , M. Vehkala, “Spaces in the Sandbox: Tactical Awareness in Open World Games,” GDC 2013, https://www.gdcvault.com/play/1018136/Spaces-in-the-Sandbox-Tactical

Slide 59

Slide 59 text

スパーシャルAI 空間解析状況解析位置検索技術パス検索スマートオブジェクトなど多数影響マップなど多数

Slide 60

Slide 60 text

スマートオブジェクト、スマートロケーション物の方に人工知能を持たせて、物からキャラクターを操る仕組み

Slide 61

Slide 61 text

How to use Smart Objects to enhance AI in CRYENGINE | AI & NPCs https://www.youtube.com/watch?v=UvptXSCjDiM

Slide 62

Slide 62 text

https://www.heroengine.com/heroengine/heroengine-details/smart-objects

Slide 63

Slide 63 text

デジタルゲームAI入門③ （メタAI）

Slide 64

Slide 64 text

Slide 65

Slide 65 text

メタＡＩの歴史 1980 1990 2000 古典的メタAI 現代のメタＡＩキャラクターＡＩ技術の発展その歴史は古く、1980年代にまでさかのぼる。その時代と現代のメタＡＩは、異なる点も多いので、古典的メタＡＩ、現代のメタＡＩと名づけて区別することにしよう。

Slide 66

Slide 66 text

（例）「ゼビウス」（ナムコ、1983）敵出現テーブル巻き戻し敵0 敵１敵2 敵3 敵4 敵5 『あと面白い機能なんですけれど、ゼビウスには非常に簡単なAIが組み込まれています。「プレイヤーがどれくらいの腕か」というのを判断して、出てくる敵が強くなるんです。強いと思った相手には強い敵が出てきて、弱いと思った相手には弱い敵が出てきます。そういったプログラムが組み込まれています。ゲームの難易度というのは「初心者には難しくて、上級者には簡単だ」ということが、ひとつの難易度で(調整を)やっていくと起きてしまうので、その辺を何とか改善したいな、ということでそういったことを始めてみたのですけれど、お陰で割合にあまり上手くない人でも比較的長くプレイできる、うまい人でも最後のほうに行くまで結構ドラマチックに楽しめる、そういった感じになっています。』－遠藤雅伸（出演）、1987、「糸井重里の電視遊戯大展覧会」『遠藤雅伸ゼビウスセミナー』フジテレビ－

Slide 67

Slide 67 text

Slide 68

Slide 68 text

メタAI(=AI Director)によるユーザーのリラックス度に応じた敵出現度ユーザーの緊張度実際の敵出現数計算によって求められた理想的な敵出現数 Build Up …プレイヤーの緊張度が目標値を超えるまで敵を出現させ続ける。 Sustain Peak … 緊張度のピークを3-5秒維持するために、敵の数を維持する。 Peak Fade … 敵の数を最小限へ減少していく。 Relax … プレイヤーたちが安全な領域へ行くまで、30-45秒間、敵の出現を最小限に維持する。 Michael Booth, "The AI Systems of Left 4 Dead," Artificial Intelligence and Interactive Digital Entertainment Conference at Stanford. http://www.valvesoftware.com/publications.html より具体的なアルゴリズム

Slide 69

Slide 69 text

安全な領域までの道のり(Flow Distance) メタＡＩはプレイヤー群の経路をトレースし予測する。 - どこへ来るか - どこが背面になるか - どこに向かうか Michael Booth, "The AI Systems of Left 4 Dead," Artificial Intelligence and Interactive Digital Entertainment Conference at Stanford. http://www.valvesoftware.com/publications.html

Slide 70

Slide 70 text

プレイヤーからの可視領域可視領域（プレイヤーから見えている部屋）では、敵のスパウニング（発生）はできない。 Michael Booth, "The AI Systems of Left 4 Dead," Artificial Intelligence and Interactive Digital Entertainment Conference at Stanford. http://www.valvesoftware.com/publications.html

Slide 71

Slide 71 text

敵出現領域背後前方 Michael Booth, "The AI Systems of Left 4 Dead," Artificial Intelligence and Interactive Digital Entertainment Conference at Stanford. http://www.valvesoftware.com/publications.html 前方と背後のプレイヤー群から見えてない部屋に、モンスターを発生させる。

Slide 72

Slide 72 text

Procedural Generation in WarFrame • Warframe ではダンジョンが自動生成される。 Daniel Brewer, AI Postmortems: Assassin's Creed III, XCOM: Enemy Unknown, and Warframe (GDC2015) http://www.gdcvault.com/play/1018223/AI-Postmortems-Assassin-s-Creed

Slide 73

Slide 73 text

Black Combination in WarFrame • ブロックを組み合わる • 完全に零からの生成ではない。このような生成のことを Semi-procedural と言う。 Daniel Brewer, AI Postmortems: Assassin's Creed III, XCOM: Enemy Unknown, and Warframe (GDC2015) http://www.gdcvault.com/play/1018223/AI-Postmortems-Assassin-s-Creed

Slide 74

Slide 74 text

WarFrame における自動生成マップの自動解析による自動骨格抽出 • 自動生成するだけでなく、自動生成したダンジョンを、自動解析します。ここでは、トポロジー（形状）検出を行います。

Slide 75

Slide 75 text

WarFrame における自動生成マップの自動解析によるナビゲーションデータ作成抽出した骨格に沿って自動的にナビゲーション・データを作成します。 Daniel Brewer, AI Postmortems: Assassin's Creed III, XCOM: Enemy Unknown, and Warframe (GDC2015) http://www.gdcvault.com/play/1018223/AI-Postmortems-Assassin-s-Creed

Slide 76

Slide 76 text

スタートポイント、出口、目的地の自動生成 Daniel Brewer, AI Postmortems: Assassin's Creed III, XCOM: Enemy Unknown, and Warframe (GDC2015) http://www.gdcvault.com/play/1018223/AI-Postmortems-Assassin-s-Creed

Slide 77

Slide 77 text

ヒートマップ（影響マップ）を用いてゲーム中にプレイヤーの周囲を自動解析 Daniel Brewer, AI Postmortems: Assassin's Creed III, XCOM: Enemy Unknown, and Warframe (GDC2015) http://www.gdcvault.com/play/1018223/AI-Postmortems-Assassin-s-Creed ヒートマップ（影響マップ）とは、対象（ここではプレイヤー）を中心に、位置に温度（影響度）を与える方法です。距離に応じて減衰します。また時間が経つと、周囲に熱が拡散します。

Slide 78

Slide 78 text

Tactical Map の例 (影響マップ) （例）敵と自分の勢力をリアルタイムに計算する。 4 6 8 8 8 8 6 4 2 0 -1 -2 -4 -4 -4 -2 4 6 8 8 8 8 4 2 1 0 -2 -4 -4 -2 4 6 8 8 8 6 3 1 0 -2 -4 -4 -4 -2 4 6 8 8 8 6 6 4 1 0 -2 -4 -4 -2 2 4 6 8 6 6 4 4 0 -1 -2 -4 -4 -4 -2 1 2 4 6 6 4 2 2 -4 -5 -3 -3 -4 -4 -2 -1 3 3 3 3 4 2 2 0 -4 -5 -5 -8 -8 -6 -4 -2 3 3 2 2 2 0 -2 -4 -8 -10 -10 -8 -4 -2 3 3 3 2 2 1 0 -4 -8 -10 -10 -8 -8 -4 -2 2 2 2 2 1 1 0 -3 -8 -10 -10 -8 -8 -4 -2 1 1 1 1 0 0 -2 -4 -8 -8 -8 -8 -8 -8 -8 -8 0 0 0 0 0 -1 -1 -2 -5 -6 -6 -6 -8 -8 -8 0 0 0 0 -1 -2 -2 -2 -4 -4 -4 -6 -8 -8 -8 -8 0 0 0 0 -1 -2 -2 -2 -2 -2 -2 -2 -2 -2 -2 0 0 0 0 -1 -2 -2 -2 -2 -2 -2 -2 -2 -2 -2 -2 0 0 0 0 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1

Slide 79

Slide 79 text

ヒートマップ（影響マップ）を用いてゲーム中にプレイヤーの周囲を自動解析「ヒートが増加する＝プレイヤーが近づく点」「ヒートが減少する＝プレイヤーが遠ざかる点」 Daniel Brewer, AI Postmortems: Assassin's Creed III, XCOM: Enemy Unknown, and Warframe (GDC2015) http://www.gdcvault.com/play/1018223/AI-Postmortems-Assassin-s-Creed

Slide 80

Slide 80 text

アクティブ・エリアセット（Active Are Set） Daniel Brewer, AI Postmortems: Assassin's Creed III, XCOM: Enemy Unknown, and Warframe (GDC2015) http://www.gdcvault.com/play/1018223/AI-Postmortems-Assassin-s-Creed アクティブ・エリアセットは、プレイヤーの周囲の領域で、リアルタイムにメタAIがゲームを調整する領域

Slide 81

Slide 81 text

メタAIがアクティブ・エリアセット内でゲームを調整する「ヒートが増加する＝プレイヤーが近づく点」なので、モンスターを生成する。「ヒートが減少する＝プレイヤーが遠ざかる点」なので、モンスターを停止する。 Daniel Brewer, AI Postmortems: Assassin's Creed III, XCOM: Enemy Unknown, and Warframe (GDC2015) http://www.gdcvault.com/play/1018223/AI-Postmortems-Assassin-s-Creed

Slide 82

Slide 82 text

人間とフレームとＡＩ

Slide 83

Slide 83 text

時間（イメージ）空間（論理）殆どの人工知能は与えられたフレーム（問題設定）の外に出ることはできない。人間は柔軟にフレーム（問題設定）を創造し変化させることができる。人間と人工知能の違い

Slide 84

Slide 84 text

時間（イメージ）空間（論理）殆どの人工知能は与えられたフレーム（問題設定）の外に出ることはできない。人間は柔軟にフレーム（問題設定）を創造し変化させることができる。人間と人工知能の違い人工知能は自問題を作り出すことはない。人工知能は人間が与えた問題を解くことしかできない。似たような問題さえ解けない。

Slide 85

Slide 85 text

人と人工知能の非対称性経験（人間）人工知能人間

Slide 86

Slide 86 text

人と人工知能の非対称性経験（人間）人工知能人間

Slide 87

Slide 87 text

人フレームフレームフレームフレーム（小）＝人工知能の役割フレーム（小）＝人工知能の役割自分の延長としての人工知能（フレームがつなぐ）

Slide 88

Slide 88 text

人フレームフレームフレームフレーム（小）＝人工知能の役割フレーム（小）＝人工知能の役割自分の延長としての人工知能（フレームがつなぐ）これは協調ではない。＝一体となることが協調ではない＝他者でありながら、協調する

Slide 89

Slide 89 text

デジタル世界のエコシステム（AI, IA, A）自律型人工知能（汎用型人工知能）＝自分で感じて、判断して、自分で行動するエージェント（小型人工知能）＝自分で感じて、判断して、自分で行動する（ただし単機能）機能特化型人工知能（専門型人工知能）＝ある問題のために作られた人工知能知的アプリケーション（IA）＝知的機能を実現したアプリケーションアプリケーション（A）ほぼ同義自律性全体埋め込み性

Slide 90

Slide 90 text

Slide 91

Slide 91 text

デジタル世界のエコシステム（AI, IA, A）人間知的アプリケーション（IA） IA IA アプリケーション（A）アプリケーション（A）アプリケーション（A）自律型人工知能自律型人工知能 IA エージェントエージェントエージェント

Slide 92

Slide 92 text

人工知能人社会人社会構造変化

Slide 93

Slide 93 text

社会人工知能人工知能人工知能人工知能人工知能場人工知能が用意した立場に人がエントリーする人場人工知能が用意した立場にエージェントがエントリーするエージェント

Slide 94

Slide 94 text

人エージェントエージェントエージェントエージェントエージェントエージェントエージェントエージェントエージェントエージェント社会人

Slide 95

Slide 95 text

人工知能と社会ロボット世代人口人工知能少子高齢化社会ロボットと人工知能で少子高齢化社会を支える人間と人工知能の関係はどうあるべきか

Slide 96

Slide 96 text

No content

Slide 97

Slide 97 text

現実世界メタバース（ゲームエンジン) 物理法則化学法則経済法則社会法則生物法則知能の法則抽出実装物理シミュレーション化学シミュレーション経済シミュレーション社会シミュレーション生物シミュレーション知能シミュレーションシミュレーション化イエンス・エンジニアリング情報処理物・運動データ構造・プログラム

Slide 98

Slide 98 text

現実世界デジタルツイン (ゲームエンジン) 相互作用ミラーワールドスマートシティセンシング AIによる干渉

Slide 99

Slide 99 text

風頂点ポリゴン頂点移動計算移動計算メモリ CPU or GPU 変更アーティストエンジニアロード（格納) 実行

Slide 100

Slide 100 text

ゲームエンジンの時代 • ゲームエンジンは古くからある（80年代、ナムコのタスクシステム） • ゲームの規模が小さいうちは効果が大きくない • 90年代（ほとんどない。ソースコードレベル） • 00年代（黎明期） • ゲームエンジン群雄割拠時代（2010-2020） • 市販のエンジンに加えて、それぞれのゲーム会社でゲームエンジンが作られた • 現代では、ゲームエンジンなしで大型ゲームは作れない • ゲームエンジン＝ゲームの質に直結、ゲーム開発の技術を集積する場所 • Unreal Engine（Epic)とUnity3Dが生き残った • Unreal Engine アメリカ巨漢大砲主義の思想 • Unity 3D デンマーク（北欧）Do it yourself の思想

Slide 101

Slide 101 text

ジョブ・コントローラー（ナムコ、ゼビウスなど）三宅陽一郎「タスクシステムの起源について」 2016年年次大会予稿集 Digital Games Research Association JAPAN Proceedings of 2016 Annual Conference

Slide 102

Slide 102 text

大型ゲームエンジン一覧（他にもたくさん）タイトルゲームエンジン名会社 Far Cry 3,4 DUNIA ENGINE 2 Ubisoft Montreal THE DIVISION snow drop engine Ubisoft (massive) Assassin’s creed: syndicate AnvilNext 2.0 game engine Ubisoft Montreal For Honor AnvilNext 2.0 game engine Ubisoft Montreal Rise of Tomb Raider Foundation engine Crystal Dynamics The Witcher 3 RED ENGINE CD PROJEKT Dragon Age : Inquisition frostbite engine EA DICE ゲームエンジン名会社汎用型 Unity3D Unity Technologies （デンマーク）汎用型 UNREAL ENGINE 4 Epic Games （米）汎用型 CryEngine CryTech （独）汎用型 Lumberyard Amazon 汎用型 Stingray Autodesk

Slide 103

Slide 103 text

メタバース物・運動データ構造・プログラム現実世界ツールでアーティスト・デザイナーが作成エンジニアがプログラミング存在法則

Slide 104

Slide 104 text

原子分子＝原子＋力物質＝分子と力現象＝物質と力データオブジェクト＝データ＋プロエンティティ＝オブジェクト現象＝エンティティ現実世界メタバース

Slide 105

Slide 105 text

データ処理オブジェクト＝データ＋プログラムエンティティ＝オブジェクトとプログラム現象＝エンティティ＋プログラムメタバース情報処理基礎（プログラミング基礎）オブジェクト指向プログラミング大規模システムプログラミングシミュレーションプログラミング

Slide 106

Slide 106 text

https://www.moguravr.com/virtual-shibuya-8/

Slide 107

Slide 107 text

https://www.youtube.com/watch?v=1FOz5dMxn3s

Slide 108

Slide 108 text

ビックデータｘディープラーニングからシミュレーションｘディープラーニングへ

Slide 109

Slide 109 text

ゲームの中、ゲームの外ゲーム周辺AI （外＝開発、現実）ゲームAI （中＝コンテンツ）メタAI キャラクター AI ナビゲーション AI 開発支援 AI QA-AI 自動バランス AI インターフェース上のAI データマイニングシミュレーション技術ゲーム可視化ユーザーの生体信号プロシージャルAI

Slide 110

Slide 110 text

Slide 111

Slide 111 text

人工知能全域機械学習ディープラーニング統計学習コネクショニズムシンボリズムデジタルゲームAI ゲームAIはシンボリックAIから機械学習へ今後10年かけて徐々にシフトする現在、社内でも研究中。

Slide 112

Slide 112 text

Slide 113

Slide 113 text

人工知能全域機械学習ディープラーニング統計学習コネクショニズムシンボリズムデジタルゲームAI 機械学習の導入には土台となるシミュレーション（物理、仕組み）が必要シミュレーション技術

Slide 114

Slide 114 text

技術の変わり目ビックデータｘディープラーニングシミュレーションｘディープラーニングデータが貯まるところでディープラーニングを行い特徴抽出を行うシミュレーションでデータを貯めてディープラーニングを行う

Slide 115

Slide 115 text

Google 「サッカーシミュレーター」による強化学習の研究 https://automaton-media.com/articles/newsjp/20190613-95002/ シミュレーション現実機械学習（ディープラーニング） https://ai.googleblog.com/2019/06/introducing-google-research-football.html

Slide 116

Slide 116 text

シミュレーション現実機械学習（ディープラーニング） DeepMind社「Capture the flag」によるディープラーニング学習 https://deepmind.com/blog/article/capture-the-flag-science

Slide 117

Slide 117 text

AnyLogic「シミュレーションｘ機械学習」サービスシミュレーション現実機械学習（ディープラーニング） https://www.anylogic.com/warehouse-operations/

Slide 118

Slide 118 text

Microsoft 「AirSim」による強化学習の研究シミュレーション現実機械学習（ディープラーニング） https://microsoft.github.io/AirSim/

Slide 119

Slide 119 text

Nvidia「ドライビングシミュレーター」による強化学習の研究シミュレーション現実機械学習（ディープラーニング） https://www.nvidia.com/en-us/self-driving-cars/drive-constellation

Slide 120

Slide 120 text

シミュレーションこれからの人工知能のフレームワーク現実機械学習（ディープラーニング）この２つの技術の結びつきが、現実においても、仮想空間においても、これからの協力な技術コアとなる。

Slide 121

Slide 121 text

現実世界デジタルツイン相互作用ミラーワールドスマートシティセンシング AIによる干渉 With ディープラーニング

Slide 122

Slide 122 text

現実世界デジタルツイン相互作用ミラーワールドスマートシティセンシング AIによる干渉 With ディープラーニングコモングラウンド

Slide 123

Slide 123 text

時間知能の規模 1960 1990 2000 第一次AIブーム第二次AIブーム第三次AIブーム 1970 1980 2010 ルールベース逆伝播法データベースディープラーニング推論ベースニューラルネット誕生コネクショニズム記号主義デジタルゲームAI 人工知能の歴史

Slide 124

Slide 124 text

リアルタイムノンリアルタイム身体を持つ身体を持たない身体を持ちリアルタイムに空間を運動する身体を持たず空間を運動しない

Slide 125

Slide 125 text

Slide 126

Slide 126 text

リアル ⇔ デジタル

Slide 127

Slide 127 text

現実世界デジタルツイン（３次元モデル）

Slide 128

Slide 128 text

Slide 129

Slide 129 text

https://free-materials.com/%E3%82%B7%E3%83%A7%E3%83%83%E3%83%94%E3%83%B3%E3%82%B0%E3%83%A2%E3%83%BC%E3%83%AB%E3%81%AE%E9%A2%A8%E6%99%AF03/ 現実世界デジタルツイン（３次元モデル）あるショッピングモールがプロモーションをしたいショッピングモールそっくりのデジタルツインを構築する各商店が自分のお店の商品のデジタルツインを構築するそれと eコマースを連動させるデジタルアバター（AIキャラクター）による解説がつく

Slide 130

Slide 130 text

フォトグラメトリー https://cgworld.jp/feature/201703-cgw223T1-avatta.html

Slide 131

Slide 131 text

フォトグラメトリー現実世界デジタルツイン（３次元モデル） https://www.note.lespace.co.jp/n/n7df1b9c2a020

Slide 132

Slide 132 text

AIアバター北海道産です

Slide 133

Slide 133 text

https://free-materials.com/%E3%82%B7%E3%83%A7%E3%83%83%E3%83%94%E3%83%B3%E3%82%B0%E3%83%A2%E3%83%BC%E3%83%AB%E3%81%AE%E9%A2%A8%E6%99%AF03/ 現実世界デジタルツイン（３次元モデル）街全体のデジタルツインビル全体のデジタルツイン各商店のデジタルツイン各商品のデジタルツイン店員のデジタルツイン https://www.note.lespace.co.jp/n/n7df1b9c2a020

Slide 134

Slide 134 text

Enhancing Game Experiences with Character AI Andrew Moran, Jordan Carlton(Magic Leap, Magic Leap/Weta Workshop) https://gdcvault.com/play/1025829/Magic-Leap-Enhancing-Game-Experiences

Slide 135

Slide 135 text

Enhancing Game Experiences with Character AI Andrew Moran, Jordan Carlton(Magic Leap, Magic Leap/Weta Workshop) https://gdcvault.com/play/1025829/Magic-Leap-Enhancing-Game-Experiences

Slide 136

Slide 136 text

Kaolin: A PyTorch Library for Accelerating 3D Deep Learning Research https://arxiv.org/abs/1911.05063

Slide 137

Slide 137 text

Kaolin: A PyTorch Library for Accelerating 3D Deep Learning Research https://arxiv.org/abs/1911.05063

Slide 138

Slide 138 text

現実世界デジタルツイン相互作用ミラーワールドスマートシティセンシング AIによる干渉

Slide 139

Slide 139 text

https://www.moguravr.com/virtual-shibuya-8/

Slide 140

Slide 140 text

https://www.youtube.com/watch?v=1FOz5dMxn3s

Slide 141

Slide 141 text

スマートシティ

Slide 142

Slide 142 text

データ収集（DataSF, CityVerve）サービス https://www.softbank.jp/biz/blog/business/articles/202003/overseas-smart-city/

Slide 143

Slide 143 text

スマートシティの全体設計

Slide 144

Slide 144 text

Slide 145

Slide 145 text

Slide 146

Slide 146 text

都市環境アクターネットワーク人工知能（メタAI, キャラクターAI, スパーシャルAI）都市の人工知能システム都市の実体（物質、仕組み、ネットワーク構造）

Slide 147

Slide 147 text

都市のアクターネットワーク物理的な都市都市の人工知能都市の意識（都市の無意識）（都市の身体）

Slide 148

Slide 148 text

都市を囲う環境世界命令の構成世界モデル世界シミュレーション都市のセンサー群都市のアクター群スパーシャルAI 認識の形成意思の決定都市のエージェント群メタAI （都市の人工知能）キャラクターAI

Slide 149

Slide 149 text

空間型AIの作成

Slide 150

Slide 150 text

スマート環境アクタースマートオブジェクトエージェントスマートポイントスマートスペースエージェントエージェント制御制御制御ドアドアノブスペースオブジェクト（物）ポイント（座標）

Slide 151

Slide 151 text

エージェント主体客体エージェント主体客体転換環境アクタースマート環境アクター主客転換制御

Slide 152

Slide 152 text

メタAI エージェントエージェント自律制御スマート環境アクター制御スマート環境アクター制御スマートスペーススマートオブジェクトスマートポイントコミュニケーションコミュニケーション

Slide 153

Slide 153 text

メタAI エージェントエージェント自律制御スマート環境アクター制御スマート環境アクター制御スマートスペーススマートオブジェクトスマートポイントコミュニケーションコミュニケーションコモングラウンド

Slide 154

Slide 154 text

（メッシュ）コスト : 0.5 見通し: 1.0 地表：床推奨高度：5m （メッシュ）コスト : 0.5 見通し: 1.0 地表：床推奨高度：10m （メッシュ）コスト : 2.5 見通し: 1.0 地表：土推奨高度：10m 壁面：ガラス壁との衝突は必ず回避してくださいエージェントナビゲーション・メッシュ（メッシュ）コスト : 0.5 見通し: 1.0 地表：床推奨高度：7m エレベーターの入り口：使用する場合は、メッセージ001を送ってください空間記述表現

Slide 155

Slide 155 text

現実空間のためのキャラクターAI, メタAIの検証

Slide 156

Slide 156 text

現実世界デジタルツインミラーワールドスマートシティメタAI 都市メタバース（世界モデルとして機能する）同期現実を認識する現実を予測する

Slide 157

Slide 157 text

垂直構造（現実との関連性）水平構造(世界のスケールの広がり) メタバース現実世界デジタル世界スマートシティミラーリングによる同期

Slide 158

Slide 158 text

現実世界 (1) お金の動き (2) 物の動き (3) 人・動物の動き (4) 自然の動きデジタルツイン (現実世界そっくりのメタバース) 同期引き写しミラーワールドスマートシティセンシングと情報取り込みによる(1)-(4)の同期ロボット・AI・情報提示によるサービス・干渉

Slide 159

Slide 159 text

広場森都市大学道路同期同期同期同期同期現実と同期するメタバース

Slide 160

Slide 160 text

奈良の鹿ミラーワールド同期（ミラー）現実メタバース本物の鹿デジタルツイン鹿現実とメタバースをつなぐ

Slide 161

Slide 161 text

現実世界現実世界センサーエフェクタデジタルツイン意思決定・シミュレーションゲームエンジン都市のエージェントのエージェント・アーキテクチャ情報経路

Slide 162

Slide 162 text

現実世界現実世界センサーエフェクタデジタルツイン × 世界モデル (ディープラーニング) 都市の世界モデルの獲得世界モデルシミュレーション意思決定都市の夢を見るシミュレーションエンジン都市メタAIのエージェント・アーキテクチャ情報経路

Slide 163

Slide 163 text

デジタルゲームから現実＝仮想融合世界へこれまでの研究：デジタルゲームの人工知能の汎用的フレームの構築これからの研究：都市のための人工知能の汎用的フレームの構築

Slide 164

Slide 164 text

研究方針 (原理と技術の積み上げ) スマートシティ設計の一般的理論の構築空間型AIの作成と検証現実空間におけるキャラクターAI,メタAIの作成と検証

Slide 165

Slide 165 text

スマートシティ設計の一般的理論の構築スマートシティにおける空間型AIの作成スマートシティ設計の大規模な実験と検証研究方針 (スマートシティ)

Slide 166

Slide 166 text

これまでの研究：デジタルゲームの人工知能の汎用的フレームの構築これからの研究：都市のための人工知能の汎用的フレームの構築人工知能が人間を理解すること人工知能が社会を理解することデジタルゲームから現実＝仮想融合世界へ

Slide 167

Slide 167 text

スマートシティの実現へ向けて６ステップ (1)エージェントのゲームエンジンを用いた運動動作 (2) 環境アクターネットワークの実装と検証 (3)スマート環境アクターの実装と検証 (4)メタAIとスマート環境アクターの連携 (5)スパーシャルAIの構成 (6)都市のメタAIの構成

Slide 168

Slide 168 text

メタバース

Slide 169

Slide 169 text

サンドボックス

Slide 170

Slide 170 text

https://bittimes.net/news/117447.html

Slide 171

Slide 171 text

https://www.youtube.com/watch?v=oi1mis3DGZE

Slide 172

Slide 172 text

SANDBOX • SANDBOX = MineCraft + MMO + NFT + ソシャゲ的要素 • MineCraft要素＝土地を整形＋アイテム作れる • MMO ＝多数の人がログイン • NFT ＝売れる • ソシャゲ＝いろんな人が作ったものを買える。アイテム集め。 • アイテムはユーザーが作る（UGC）なので、無限に増える。

Slide 173

Slide 173 text

SANDBOXの歴史 • それ以前 P2Pの会社など４つの会社→P2Pの会社は売却 • 2012年モバイルゲームとしてスタート • 2016年続編 • 2017年行き詰まる → NFT • Ethereumのブロックチェーン上にThe Sandboxを構築するという新しい構想 • 2021年モバイル版のインストール数が合計4,000万件、月間アクティブユーザー数は最大100万人、クラウド上で7,000万件の作品を共有する大規模なコミュニティ「バーチャル空間のデジタル不動産」人気ゲーム The Sandbox COO セバスチャン・ボルジェ氏（全インタビュー記事） https://blog.btcbox.jp/archives/13452

Slide 174

Slide 174 text

https://hedge.guide/feature/sandbox-bc202111.html ゲーム作れる

Slide 175

Slide 175 text

アニメ―ション作れる

Slide 176

Slide 176 text

アバター作れる

Slide 177

Slide 177 text

土地買える

Slide 178

Slide 178 text

Sandboxの新しい点？ • これまでもあった。 • セカンドライフとか。 • 何が新しいか？ • ブロックチェインの技術を独自実装 • いろいろな工夫がしやすい • 仮想通貨SANDは、SANDBOX以外の影響を受けない • 対ドルのレートはゲームの人気如何による。見通しが良い。 • あとクリーン。 • デファクトスタンダードを取っている

Slide 179

Slide 179 text

https://www.fisco.co.jp/media/crypto/sandbox-about/#index_id2

Slide 180

Slide 180 text

https://www.fisco.co.jp/media/crypto/sandbox-about/#index_id2

Slide 181

Slide 181 text

No content

Slide 182

Slide 182 text

https://bittimes.net/news/79128.html

Slide 183

Slide 183 text

No content

Slide 184

Slide 184 text

No content

Slide 185

Slide 185 text

No content

Slide 186

Slide 186 text

No content

Slide 187

Slide 187 text

https://twitter.com/TheSandboxGame/status/1481626506153668614

Slide 188

Slide 188 text

https://twitter.com/TheSandboxGame/status/1462871109821419523

Slide 189

Slide 189 text

https://www.fisco.co.jp/media/crypto/nftart-about/

Slide 190

Slide 190 text

https://coinpost.jp/?p=302134

Slide 191

Slide 191 text

https://twitter.com/adidasoriginals/status/1471909577658675204

Slide 192

Slide 192 text

https://coinpost.jp/?p=302485

Slide 193

Slide 193 text

メタバースの定義

Slide 194

Slide 194 text

メタバースオンラインゲーム現実

Slide 195

Slide 195 text

オンラインゲームとメタバースの違いオンラインゲームメタバース世界観強固、かつ詳細なるべく緩い設定物語大きな物語を準備物語に沿ってイベントが展開特になしユーザーが作り出すキャラクターの役割世界、物語の中で最初から定義特になしユーザーの関係の中で発生

Slide 196

Slide 196 text

検索エンジン SNS メタバース検索サーバーユーザーユーザータイムラインデジタル空間インタラクションデファクト・メジャーの遷移

Slide 197

Slide 197 text

メタバース SNS 検索エンジン現実の人間関係現実の情報現実の情報現実の人間関係現実の世界の状態現実の情報現実の深度仮想空間のリアリティ

Slide 198

Slide 198 text

デジタル世界現実世界垂直構造（現実との関連性）水平構造(世界のスケールの広がり) オンラインゲームメタバースデジタル空間の水平構造と垂直構造

Slide 199

Slide 199 text

時代メタバース世界の多様化 2006 セカンドライフ 2008 meet-me 2018 2006 Roblox 2009 Internet Adventure 2012 The Sandbox 2008 PlayStation Home 2011 2021 Horizon Worlds 2008 ai sp@ce メタバース創世記メタバースとゲーム空間の融合セカンドライフの影響メタバースと現実空間・経済との融合 2017 フォートナイト 2022 仮想通貨SAND導入(2017年-) 2003 EVE ONLINE 2015 2000 Phantasy Star Online / Phantasy Star Online 2

Slide 200

Slide 200 text

メタバースと現実の接続

Slide 201

Slide 201 text

メタバース現実窓メタバースと現実をつなぐ「窓」

Slide 202

Slide 202 text

メタバース現実のバスの社内乗客現実からメタバースを見る窓見えている風景をバスの移動に同期してレンダリングメタバースと現実をつなぐ「窓」

Slide 203

Slide 203 text

自然都市メタバース（都市のデジタルツイン）仮想から現実を制御する（システム）自然から仮想への逃走（人）バーチャライズ監視とコントロール

Slide 204

Slide 204 text

奈良の鹿ミラーワールド同期（ミラー）現実メタバース本物の鹿デジタルツイン鹿現実とメタバースをつなぐ

Slide 205

Slide 205 text

広場森都市大学道路同期同期同期同期同期現実と同期するメタバース

Slide 206

Slide 206 text

垂直構造（現実との関連性）水平構造(世界のスケールの広がり) メタバース現実世界デジタル世界スマートシティミラーリングによる同期

Slide 207

Slide 207 text

Slide 208

Slide 208 text

メタバースとお金

Slide 209

Slide 209 text

クレジットカードによるオンライン決済オンライン上の少額決済（マイクロトランザクション）ブロックチェーン、仮想通貨の普及 e-コマースの普及ソーシャルゲームの普及メタバースの普及お金の形の変化インターネットの形の変化 2005 2015 経済原理がメタバースを再生させる

Slide 210

Slide 210 text

Slide 211

Slide 211 text

運営元ポイントお金ユーザーポイントを購入ユーザーお金仮想通貨運営元ポイントを使用アバターアバターメタバースデジタルゲーム経済から見たゲームとメタバース

Slide 212

Slide 212 text

メタバースブロックチェイン上の NFTの仕組み生産者購入者デジタルコンテンツ NFT （トークン）リンクこのパッケージを NFTと呼ぶこともある購入メタバースとNFT

Slide 213

Slide 213 text

生産者 NFTオンラインマーケットプレイスなど、取り引きの場購入者ブロックチェイン上のNFTの仕組み生産者メタバース購入者ブロックチェイン上のNFTの仕組みメタバースとNFT

Slide 214

Slide 214 text

メタバースとソーシャル

Slide 215

Slide 215 text

ソーシャル空間ゲーム空間ソーシャル空間メタバースソーシャル空間 1990 2010 2000 2020 オンラインゲームにおいて徐々にソーシャル的要素が入れられていった。SNSに対抗する必要があった。 1990年代においてゲームはソロプレイかその場の数人でするものであった。ゲーム的要素の少ないソーシャル空間をメインとするメタバースが台頭する。しかし、ゲームとはつながっている。ゲーム的要素がまったくない、独立したソーシャル空間が成立する。SNSの延長としてのソーシャル空間。 SN S SNS SNS ソーシャル空間 SNSの台頭と拡大ゲーム空間ゲーム空間 SNS＋ゲーム空間＝メタバース

Slide 216

Slide 216 text

ゲーム空間とソーシャル空間の関係関係図特徴ゲーム空間をメインとしつつ、その周辺のソーシャル空間を配置するゲーム空間を補完する形、或いはゲーム空間で満たされない部分をソーシャル空間においてみたすように設計する。たとえば、ゲーム空間が戦闘であれば、ソーシャル空間は音楽・演劇など。ソーシャル空間をメインとしつつ、その中にゲーム空間が埋め込まれる。ソーシャル空間がメインであり、そこにそれぞれ独立したゲーム空間が埋め込まれる。多くの場合、ユーザーが作成したミニゲームが点在する形となる。ゲーム空間-ソーシャル空間一体型ゲーム空間とソーシャル空間の区別ではない。あらゆる場所がゲーム空間であり、ユーザーが望めば、あらゆる空間で交流が可能である。ゲーム空間ゲーム空間ソーシャル空間ソーシャル空間ゲーム空間ゲーム空間ゲーム空間ゲーム空間ソーシャル空間

Slide 217

Slide 217 text

メタバース＝ゲーム空間の解放オンラインゲーム

Slide 218

Slide 218 text

人人テキストテキスト人人画像/声画像/声人人擬似身体・声擬似身体・声空間メタバースオンライン会議 SNS・チャットなど拡張するコミュニケーション

Slide 219

Slide 219 text

人エージェントエージェントエージェントエージェントエージェントエージェント人エージェントエージェントエージェントエージェントエージェントエージェント人エージェントエージェントエージェントエージェントエージェントエージェントエージェント人-エージェント-エージェント-人関係人-人関係から人-AI-AI-人関係へ

Slide 220

Slide 220 text

文化社会文化は社会を変える AI文化はAIを変える集積された文化を編纂し促進するAI ＝科学者・芸術家 AI文化はAIが集積するエージェントエージェントエージェントエージェントエージェントエージェントエージェントエージェントエージェント

Slide 221

Slide 221 text

ゲーム世界プレイヤー（主人公）プレイするバーチャルアイドルプロデューサー応援する・プロデュースするゲーム世界（eSports) 観戦者観戦するメタバース一参加者参加するデジタル世界への参加の仕方の変化デジタル空間への参加の仕方の変化

Slide 222

Slide 222 text

メタバース（コモングラウンド）

Slide 223

Slide 223 text

スマートシティとメタバースの融合、人間の行動変容

Slide 224

Slide 224 text

Slide 225

Slide 225 text

現実世界デジタルツイン (現実世界そっくりのメタバース) 相互作用ミラーワールドスマートシティセンシング AIによる干渉

Slide 226

Slide 226 text

現実世界デジタルツインミラーワールドスマートシティメタAI 都市メタバース（世界モデルとして機能する）同期引き写し現実を認識する現実を予測する

Slide 227

Slide 227 text

人の知的レベル＝環境との相互作用による知的行動人環境（世界）知的行動知的行動の拡大

Slide 228

Slide 228 text

環境（世界）知的行動知的行動の拡大人他者（自律的存在）信頼感情の生成人の知性の拡大

Slide 229

Slide 229 text

スマートシティエージェント知的行動知的行動の拡大人メタAI スマートシティによる知的行動の拡大

Slide 230

Slide 230 text

新しい現実スマートシティエージェント知的行動知的行動の拡大メタバース人メタAI 人の知性の拡大