メタバースプラットフォームを支えるアーキテクチャの現在とこれから

1. メタバースプラットフォームを 支えるアーキテクチャの 現在とこれから 2022年9月14日 VR学会
2. Cluster, Inc. All Rights Reserved. 2 自己紹介 • 倉井 龍太郎 ◦ クラスター株式会社 Engineering Manager • 経歴 ◦ 北大 情報科学研究科修士修了 ◦ Webエンジニア (はてな) ◦ JST研究員 (湊ERATO) ◦ Y!Japan 金融子会社 CTO ◦ 北大 情報科学研究科博士中退 ◦ クラスター株式会社
3. 3 cluster のご紹介
4. Cluster, Inc. All Rights Reserved. 4 clusterのご紹介
5. Cluster, Inc. All Rights Reserved. 5
6. Cluster, Inc. All Rights Reserved. 6 ユーザーオリジナルのワールド 40,000 以上
7. Cluster, Inc. All Rights Reserved. 7
8. Cluster, Inc. All Rights Reserved. 8 イベント実績 バーチャル渋谷上で行われた昨年のハロウィンには のべ55万人が参加
9. Cluster, Inc. All Rights Reserved. 9 イベント累計来場者数 1,500万人
10. 10 メタバースプラットフォームを 支えるアーキテクチャの 現在とこれから
11. Cluster, Inc. All Rights Reserved. 11 次第 • メタバース, Web3.0, デジタルツイン ◦ それぞれの定義と目指すもの • cluster のアーキテクチャと現在と未来 ◦ 現在のアーキテクチャと問題点 ◦ 将来の方向性
12. 12 メターバース, Web3.0, デジタルツイン
13. 13 メタバース
14. Cluster, Inc. All Rights Reserved. 14 メタバースの原典 • スノウ・クラッシュ ◦ 著: ニール・スティーヴンスン ◦ 1992年発表 ◦ SF冒険活劇 ◦ 巨大球体の赤道上に広がる世 界(全周 65,536 km) ◦ アバターで現実のように振る舞 える空間メタバース ◦ “VRといった既存の言葉が気に くわなかったからである” (著者謝辞より抜粋)
15. Cluster, Inc. All Rights Reserved. 15 SFの中のメタバース • 商業・行政サービスがVR空間で受けられる=VR空間で生活できる • アバターをまとって好きな姿、好きな自分で生活できる • 人類すべてが使うデファクトスタンダード
16. Cluster, Inc. All Rights Reserved. 16 メタバースを定義するならば コンピュータが作り出した 世界で生活する時代
17. Cluster, Inc. All Rights Reserved. 17 メタバースの7つの条件+2 1. 永続的に存在する 2. リアルタイム性 3. 同時参加人数に制限がない 4. 経済性がある 5. 体験に垣根がない 6. 相互運用性 7. 幅広い企業・個人による貢献 (ベンチャーキャピタリスト マシュー・ボール 2020) 8. 身体性 9. 自己組織化 (クラスター 代表取締役 CEO 加藤直人 2022)
18. Cluster, Inc. All Rights Reserved. 18 昔からあるメタバース HABITAT(LUCAS FILM,富士通,1986) / SecondLife(Linden Lab, 2003) / MMO RPG (Ultima Online,1997 他) / どうぶつの森 (任天堂, 2005)
19. Cluster, Inc. All Rights Reserved. 19 近年のメタバース VRChat(VRChat Inc. 2014) / Roblox(Roblox Corporation 2006) Rec Room(Rec Room Inc. 2016) / Fortnite(Epic Games 2017)
20. Cluster, Inc. All Rights Reserved. 20 大手テクノロジー企業の参入
21. Cluster, Inc. All Rights Reserved. 21 Meta社 • 旧Facebook社 • 社名変更によりメタバースブームを牽引 • Oculus の買収 (2014) • 超高額(年間1兆円)の投資を継続 • Horizon Worlds, Horizon Workrooms
22. Cluster, Inc. All Rights Reserved. 22 現在のメタバースの特徴 • 3D 空間でユーザー同士がコミュニケーションできる ◦ ゲーム機やスマートフォンから遊ぶことができる ◦ 必ずしも Head Mount Display (HMD) は要求さ れない ▪ HMDがあるとより楽しい • コンテンツ(アバター, アイテム, ゲーム)の流通がある ◦ コンテンツを作るのはユーザーである ▪ User Generated Contents(UGC) ◦ 決済はプラットフォーム独自の通貨
23. Cluster, Inc. All Rights Reserved. 23 メタバースを定義するならば コンピュータが作り出した 世界で生活する時代
24. 24 Web3.0
25. Cluster, Inc. All Rights Reserved. 25 Web3.0とは VRと直接的に関係のある技術ではありません...
26. Cluster, Inc. All Rights Reserved. 26 Web3.0の原典 • ギャビン・ウッド (Etheream 共同設立者) が 2014 に提唱 (https://gavwood.com/dappsWeb3.html) • Web1.0, Web2.0 に続くもの ◦ Web1.0: 静的なHTMLによる一方通行の情報提供 ◦ Web2.0: ティム・オライリー提唱 (2004年頃) ▪ 誰もが発信者になれて、双方向に情報が流通 ▪ 関連語: Blog, Wiki, Ajax, WebAPI, … ◦ Web3.0 (Web3): ?
27. Cluster, Inc. All Rights Reserved. 27 Web3.0とは • “Blockchain 技術を利用した様々なサービス郡の事” ◦ Web3とは何か？「矛盾と誤解」が生じる理由をわかり やすく解説 (星 暁雄: https://www.sbbit.jp/article/fj/85848) • 具体的なサービス ◦ Non Funsible Token (NFT) ◦ Decentralized Autonomous Organization (DAO) ◦ Decentralized Finance (DeFi)
28. Cluster, Inc. All Rights Reserved. 28 Blockchain の超概要 • Bitcoin の根幹として誕生 (サトシナカモト 2008) • 台帳(DB)を沢山の端末で分散管理する技術 ◦ 信頼出来る端末同士でなくて良い ◦ 管理に参加すると報酬が得られる(マイニング) • 台帳には追記しかできず、削除はできない • 追記する(=管理する) には膨大な計算資源を必要とする ◦ エネルギーを大量に消費する ◦ 参加者の半数以上の計算資源があれば改ざん出来る
29. Cluster, Inc. All Rights Reserved. 29 Ethereum • 通貨としての Ethereum ◦ 円やBitcoinと交換可能・決済に使える暗号通貨 • コンピューティングリソースとしての Ethereum ◦ コントラクト ▪ Blockchain の上で任意の処理ができる ▪ Solidity という言語で記述 ▪ Blockhain からデータを取り出す ▪ 処理の結果を Blockchain に残す ◦ コントラクトの発行には費用がかかる(Gas代) ▪ 沢山Gas代を払うと早く処理される
30. Cluster, Inc. All Rights Reserved. 30 NFT • 代替できない(Non Funsible) Token ◦ Token とはブロックチェーンに乗るデータ ◦ 台帳にn個しか無いので、所有者が限定される • デジタルデータと紐付けることで、特定のデータの所有者を 限定出来る ◦ ジャック・ドーシーの最初のツイート ◦ Bored Ape Yacht Club ◦ データそのものはいくらでもコピーできるが、オリジナル の所有者を名乗ることが出来る ▪ 1人しか居ないことを台帳で確認できる
31. Cluster, Inc. All Rights Reserved. 31 NFTの実態 • 会員券としての意味 ◦ 誰が持っているのか ◦ いくらで買ったのか ◦ 台帳に記録され続ける ◦ 初期発行時の売上は発行元に入る • 特定のNFTを持っている人だけが入れる空間 ◦ Webサイト ◦ 現実に存在するクラブ・店舗
32. Cluster, Inc. All Rights Reserved. 32 DAO • 株式のような Token を発行して組織を管理する仕組み ◦ Token とはブロックチェーンに乗るデータ ◦ 所有者と保有量が誰からも見られる ◦ Token の保有量によって、その組織に対する議決権が 決まる ▪ 多数決・配当 ◦ Token そのものを売り買いすることも出来る ▪ 組織が動き出す前に売ることさえ可能
33. Cluster, Inc. All Rights Reserved. 33 Web3.0の思想 • 非中央集権的なWebを目指す • 非中央集権の話をするには中央集権の話が必要..
34. Cluster, Inc. All Rights Reserved. 34 中央集権的Web • 現状のWebは中央集権的である(という批判) • BigTech(Google, Apple, Meta, Amazon,...) が沢山 のデータ握っている ◦ ユーザーの個人情報 ◦ 購買情報 ◦ 位置データ ◦ etc… • 自分自身のデータすら個人は所有できない
35. Cluster, Inc. All Rights Reserved. 35 非中央集権的Web • データはBlockchain上にある ◦ 誰でもアクセスすることが出来る ◦ 特定企業に囲い込みされない • 組織のあり方をみんなで決める ◦ Decentralized Autonomous Organization (DAO) ◦ ただし、保有量が議決権と紐づく • 資金決済も銀行や決済業者が不要になる ◦ 暗号通貨・DeFi
36. Cluster, Inc. All Rights Reserved. 36 Web3.0 とメタバース • Decentraland の成功 • メタバースの土地やアイテムがBlockchain上で管理され ている ◦ 独自暗号通貨の MANA で売買する ◦ 売買記録は Blockchain に残る ◦ MANA は取引所で購入可能 ◦ 土地を持っていると運営にも参加できる(DAO) • 同様のメタバースとして The Sandbox などもある • 決済やアイテムの管理を接点として結びつけやすい
37. Cluster, Inc. All Rights Reserved. 37 Web3.0 と cluster • 代表の加藤が経産省 「Web3.0時代におけるク リエイターエコノミー創出に 係る研究会」のメンバーに • Web3.0 とどう向き合う か、研究検討を進めている 段階
38. 38 デジタルツイン
39. Cluster, Inc. All Rights Reserved. 39 デジタルツインの原典 • Origins of the Digital Twin Concept (Michael Grieves and John Vickers, 2016) ◦ コンセプトは 2002 年には存在する ◦ 計算機上に製造プロセスを再現し高度なシミュレーショ ンを行う ◦ 2010 年の NASA の Technology Roadmap で Digital Twin と呼ばれる
40. Cluster, Inc. All Rights Reserved. 40 デジタルツインとは • デジタルに表現されたツイン(双子) • 現実にある事象をデジタルで表現する • デジタル化することでシミュレーションができる ◦ 都市の人流 ◦ 工場のプロセス設計 ◦ 映画の撮影 ◦ 家屋の設計 • VR で可視化することも、その他の可視化もある • サイバーフィジカル, society 5.0 と呼ばれることも
41. Cluster, Inc. All Rights Reserved. 41 デジタルツインと自動運転 • 再現された環境で自動運転をシミュレーション • 各種センサーの値もシミュレーション ◦ レーダー, カメラ画像, 車の速度, … • 自動運転AIの開発とテストができる Waymo 社 blog より引用(左が実写, 右がCG) https://blog.waymo.com/2021/06/SimulationCity.html
42. Cluster, Inc. All Rights Reserved. 42 東京都３Dビジュアライゼーション実証プロジェクト 1. フィジカル空間（現実空間）の都市の状況 がサイバー空間上でリアルタイムに把握 可能 2. 最新・リアルタイムのデータを利用した分 析・シミュレーションが自由に可能 3. 可視化、分析・シミュレーションの結果を フィジカル空間にフィードバックすることに よって、様々な用途でデータが活用され るようになる (図表, 文章ともにプロジェクトHP https://www.digitalservice.metro.tokyo.lg.jp/society5.0/digitaltwin.html から引用)
43. Cluster, Inc. All Rights Reserved. 43 • バーチャル都庁前 World ◦ https://cluster.mu/w/567ceab6-bdd6-46fb-8 918-af48338f83d2 • 東京都３Dビジュアライゼーション実証プロジェクトのデータ を利用 ◦ 大江戸線都庁前駅の構内を撮影した点群データ • cluster のユーザーが作成して公開 cluster での可視化
44. Cluster, Inc. All Rights Reserved. 44 建築保存としてのデジタルツイン • 旧都城市民会館 3DデジタルアーカイブPJ • 中銀カプセルタワービル 3DデジタルアーカイブPJ • どちらも一般ユーザー が cluster で公開しているもの
45. Cluster, Inc. All Rights Reserved. 45 clusterにおけるデジタルツイン
46. Cluster, Inc. All Rights Reserved. 46 これから建てる自宅をシミュレーション • 設計図から自宅をUnityで作成 (cluster社員) • 民生用設計ツールが対応を謳う例も (3Dマイホームデザイナー様)
47. Cluster, Inc. All Rights Reserved. 47 デジタルツイン利用における cluster の課題 • cluster でみると物が小さく見える ◦ 家が小さく狭く見える ◦ VRChat よりも小さく見えるという御意見 ◦ 視野角の違いによるものか? (仮説) ▪ 現在社内でも調査を検討中 ▪ ご教授いただけると嬉しいです • スクリプトを含んだ World を作成できない
48. 48 cluster のアーキテクチャ
49. Cluster, Inc. All Rights Reserved. 49 cluster の特徴 • 様々なデバイスで動作可能なクライアント • 大人数に同期された空間 ◦ 同じ空間(World)で同期できる人数 25-100人 ◦ 同じイベントを見られる人数 100,000人 • アバターの共通規格 VRM を採用 ◦ glTF の派生フォーマット ◦ 他社サービスからもアバターインポートが可能 • 誰でも World ・アイテムを作成可能な User Generated Contents サービス
50. Cluster, Inc. All Rights Reserved. 50 cluster のクライアント動作環境 • Windows ◦ Desktop ◦ VR • Mac • iPhone • Android • Meta Quest2 • Web (サービスの入り口として)
51. Cluster, Inc. All Rights Reserved. 51 cluster のクライアント開発環境 • Windows (Unity) ◦ Desktop ◦ VR • Mac (Unity) • iPhone (Unity + Swift) • Android (Unity + Kotlin) • Meta Quest2 (Unity) • Web (React.js + TypeScript)
52. Cluster, Inc. All Rights Reserved. 52 多デバイス対応の課題 • 2D, 3D 両方のUI設計と実装コスト • 各環境に合わせた実装コスト • Quality Assurance(QA) コスト • ビルド時間・ビルド失敗の増加 • アプリストア審査対応 • 上記課題に対応しながら、週1回のリリースを継 続中
53. Cluster, Inc. All Rights Reserved. 53 cluster のサーバー環境
54. Cluster, Inc. All Rights Reserved. 54 現在のアーキテクチャの限界 • メタバースの技術限界の解説 (こたうち企画さん) ◦ https://qiita.com/kotauchisunsun/items/61 df6db21ac9baf09774 • クライアントの限界が早い ◦ CPU・GPU ◦ メモリ ◦ ネットワーク帯域
55. Cluster, Inc. All Rights Reserved. 55 クライアントの限界 (iPhone X) • CPU・GPU ◦ 2コア*2.39GHz＋4コア*1.42GHz ◦ 発熱でスロットルされる • メモリ ◦ 3 GB LPDDR4X RAM ◦ アプリが使える領域は 1.2 GB 程度 • ネットワーク帯域 ◦ Wi-Fi 866 Mbps (IEEE 802.11ac) ◦ インターネット環境次第
56. Cluster, Inc. All Rights Reserved. 56 サーバーの限界 (AWSの一例 c6id.metal) • CPU ◦ 128 コア (vCPU) • メモリ ◦ 256 GiB • ネットワーク帯域 ◦ 50 Gbps • 費用 ◦ 8.1984 USD / hour + ネットワークコスト
57. Cluster, Inc. All Rights Reserved. 57 現在のアーキテクチャの限界まとめ • クライアント ◦ 処理能力に余裕がない • サーバー ◦ お金次第 => 収益構造に直結 • ネットワーク ◦ Wifi 接続が基本 ◦ 回線容量も遅延も高品質でない可能性 ◦ 通信量に対して費用が発生
58. Cluster, Inc. All Rights Reserved. 58 UGCゆえの苦労 • cluster の World, アイテム, アバターは User Generated Contents (UGC) ◦ ユーザーは自由度の高い表現を希望 ◦ 美しいテクスチャ, 複雑なボーン, etc… • サービス側での完全なコントロールは難しい ◦ テクスチャの解像度 ◦ ポリゴン数 ◦ ボーンの数 • コントロールと自由度は相反する
59. Cluster, Inc. All Rights Reserved. 59 ソフトウェアでの対策 • Level Of Detail (LOD) ◦ 遠くのものは荒く・近いものは精細に ◦ アバター・オブジェクトのモデルデータ ▪ ポリゴン数・テクスチャの解像度 ▪ サービス側で自動で軽量化データを作成 ◦ ユーザー行動データ ▪ 各関節のデータの同期 ▪ 音声データの共有範囲
60. Cluster, Inc. All Rights Reserved. 60 ソフトウェアでの対策 • データ圧縮 ◦ テクスチャデータの圧縮 ▪ 各プラットフォームに対応する圧縮形式を選択 ◦ アバター関節位置情報の圧縮 ▪ サーバーのCPUとトレードオフ ◦ 音声データ圧縮の最適化 ◦ 動画配信データ圧縮の最適化
61. Cluster, Inc. All Rights Reserved. 61 ソフトウェアでの対策 • プロトコルの最適化 ◦ UDP 対応 ▪ 品質の低いネットワークでも快適に ◦ MQTTから独自プロトコルへ ▪ [MQTT] 参加者全員に同じデータを送信 ▪ [独自] 必要な範囲にだけデータを送信
62. Cluster, Inc. All Rights Reserved. 62 業界の展望 • より低廉・高速な HMD の普及 • より高速CPU・大メモリなスマートフォンの普及 • クラウドレンダリング ◦ GPUをクラウド上に置いてレンダリングした画像を転送 ◦ Sony PS Now, Google Stadia, nVidia GeForce NOW ◦ レイテンシ大・HMDには不適
63. Cluster, Inc. All Rights Reserved. 63 まとめ • メタバース・Web3.0・デジタルツイン ◦ それぞれの原典と定義 ◦ メタバースを中心とした関係性 • cluster のアーキテクチャ ◦ サービスの特色と課題 • まだまだ始まったばかりで、課題も将来性も沢山ある業界 です。どうぞよろしくお願いいたします。