CEDEC2022-xyx-3Dデータを持ち込めるcross-platformメタバースの技術的挑戦.pdf

by Cluster

Slide 1

Slide 1 text

3Dデータを持ち込める cross-platformメタバースの技術的挑戦 xyx Engineering Manager | Architect

Slide 2

Slide 2 text

Slide 3

Slide 3 text

No content

Slide 4

Slide 4 text

Slide 5

Slide 5 text

5 1. メタバースとは 1.a. サービス概要

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

10 1. メタバースとは 1.b. サービスの基本動作原理

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Cluster, Inc. All Rights Reserved. 17 基本的動作原理 - まとめ ITM (World Craftアイテム) 位置・姿勢情報アバターワールドモデルデータリアルタイム状態 VRM Unity Asset Bundle (Creator Kitワールド) アイテム位置状態 section 2 アバター3Dデータ配信 section 3 アバター状態同期 section 4: 歴史・設計思想

Slide 18

Slide 18 text

18 2. アバター3Dデータ配信

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Cluster, Inc. All Rights Reserved. 22 画像圧縮形式 Texture2D.LoadRawTextureData() で直接ロード可能 PSNR (Peak Signal-to-Noise Ratio)で圧縮による劣化を評価 cluster内のテクスチャのサンプリング評価 (N=1391) 40dB (肉眼ではほぼ判別不能) → ASTC 4x4, BC7を採用 1 byte / px

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Cluster, Inc. All Rights Reserved. 26 メッシュ簡略化メッシュ簡略化: ↓の論文を実装するだけ高速化にコツがいる ● 部分的にpriorityが更新されるpriority queue ファンシーな簡略化アルゴリズムより、実データ・要望に合わせたコスト関数の設計が肝 Surface Simpliﬁcation Using Quadric Error Metrics (1997) doi.org/10.1145/258734.258849 https://www.cs.cmu.edu/~./garland/Papers/quadrics.pdf

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Slide 31

Slide 31 text

31 3. アバター状態同期

Slide 32

Slide 32 text

Slide 33

Slide 33 text

Slide 34

Slide 34 text

Cluster, Inc. All Rights Reserved. 34 データサイズ bone情報 ● 身体 (22 bone) ● 手の指 (30 bone) 愚直にquaternion(ﬂoat32 x4)をいれると 16 byte x 52 = 832 byte … root transform (vector3, quaternion): ﬂoat32 x 7 → 28 byte それほど大きくはない

Slide 35

Slide 35 text

Cluster, Inc. All Rights Reserved. 35 回転のコンパクトな表現: 次元削減 q = ((x, y, z), w) = (v, w) としたときに回転表現は単位quaternion( |q| = 1) なので次元がひとつ減る w = sqrt(1 - |v|^2) もともとのwの符号が消滅してしまう (が、これのために1bit追加したくない) q, -qの表現する回転は同じ if w < 0: q = -q しておけば、(x, y, z)の3要素でquaternionを完全に復元できる

Slide 36

Slide 36 text

Cluster, Inc. All Rights Reserved. 36 回転のコンパクトな表現: 精度削減あとは(x, y, z)がそれぞれ[-1,1]なので、int表現にすれば… 落とし穴: quaternionのx,y,zの精度と回転の精度の関係は場所によって異なる q = (x, 0, 0, 1付近) ∂θ / ∂x = 2 q = (x, 0, 0, 0付近) ∂θ / ∂x = +∞ xがちょっと変わるだけで角度が急速に変化 qが表す回転角度をθとすると…

Slide 37

Slide 37 text

Slide 38

Slide 38 text

Slide 39

Slide 39 text

Slide 40

Slide 40 text

Slide 41

Slide 41 text

41 4. 歴史・設計思想

Slide 42

Slide 42 text

Cluster, Inc. All Rights Reserved. 42 サービス歴史 2017 正式公開 2018 イベントチケット・投げ銭機能 2019 イベント会場作成SDK (ClusterVRSDK) アーカイブ機能 (2020年に終了) 2020 スマホ対応・ワールド機能・ソーシャル 2021 Quest2対応・Avatar Maker 2022 World Craft・アバター制限解放 Unity 2021 LTS Unity 2019 Unity 5 Unity 2017 Unity 2018 VRイベントプラットフォーム時代バーチャルSNS (メタバース) 時代 VR会議サービス時代

Slide 43

Slide 43 text

Slide 44

Slide 44 text

Slide 45

Slide 45 text

Slide 46

Slide 46 text

Slide 47

Slide 47 text

Slide 48

Slide 48 text

Slide 49

Slide 49 text

Slide 50

Slide 50 text

Slide 51

Slide 51 text

Slide 52

Slide 52 text

Slide 53

Slide 53 text

Slide 54

Slide 54 text

Slide 55

Slide 55 text

Slide 56

Slide 56 text

Slide 57

Slide 57 text

Slide 58

Slide 58 text

Slide 59

Slide 59 text

Slide 60

Slide 60 text

Cluster, Inc. All Rights Reserved. 60 具体的に役に立つものデータ形式の透明性・シリアライズ処理の制御可能性古いデータと新しいデータの両対応・相互変換不明なデータ or 制御不可能な部分では必ずデータの切り捨て and/or ダウンタイムが発生する ﬁeldの追加・削除が両方可能な汎用データ形式 e.g. ZeroFormatter → Protocol Buffer (ZFはﬁeld削除ができない)

Slide 61

Slide 61 text

Cluster, Inc. All Rights Reserved. 61 具体的に役に立つもの 2 短いリリースサイクル & Feature Flag app: 毎週 / server: 毎日単一機能が分割リリースされると互換性考察が困難に → Feature Flagで機能ごとのON/OFF release cycleを最小単位として各機能が好きな期間でリリース空間種別に応じたON/OFF制御緊急(incident)時には高速にON/OFF可能

Slide 62

Slide 62 text

62 4. 歴史・設計思想 4.b. 展望

Slide 63

Slide 63 text

Cluster, Inc. All Rights Reserved. 63 発生してきたデザインパターンバイナリの境界をまたぐデータは普遍的・制御可能にデータを介した、ユースケース実装と最適化実装の分離短期的な実行効率を犠牲にして疎結合性を得る分散計算システムとしてのclient+server client: viewer & worker server: router & controller e.g. 物理演算やIKはtransformを介して分散 & 隔離 e.g. glTFベース形式でのアセット表現

Slide 64

Slide 64 text

Cluster, Inc. All Rights Reserved. 64 選択ブラックボックスから得られるメリット vs. 制御可能性 (ソースコードがあっても全部を理解できる組織規模が無ければ実質ブラックボックス) 限られたリソースをどの部分を「透明化」するのに使うか UGCデータの自由度 vs. 互換性ユーザーはいずれ全ての穴をつく固い設計: 自由度のコスパ悪い (短期) vs. 柔い設計: 自由度のコスパ良い (短期) + 確率的に{データ互換性喪失, 後の高い開発コスト} (長期)

Slide 65

Slide 65 text

Cluster, Inc. All Rights Reserved. 65 長期的に見ると… ユーザーが作りたいと欲するものをカバーする普遍性が高い (自由度が高い) & シンプル (実装コストが低い) な要素を見つけていくプロセス・試行錯誤 cf. 既存のゲームエンジンネットワーク経由の同期が考慮されてない (e.g. 多くの物理演算、パーティクル、シェーダーなど) → multi-player nativeな空間の要素を発掘していく

Slide 66

Slide 66 text

Slide 67

Slide 67 text

Slide 68

Slide 68 text

Slide 69

Slide 69 text

Slide 70

Slide 70 text

Slide 71

Slide 71 text

71 5. まとめ / メタバース究極の問い

Slide 72

Slide 72 text

Cluster, Inc. All Rights Reserved. 72 究極の問い: 「完全性」 pt 1 ソーシャル・インタラクティブ空間の「完全」な表現形式はあるか？人類がやりたいことが概ね何でもできる場 e.g. 動画非インタラクティブ2Dのほぼ「完全」な表現形式 (解像度や色空間の向上は続いているが) プログラムではなくデータなので ● 自動変換・編集・様々な商品形態が充実 ● 後からソーシャル性を付与する余地もある

Slide 73

Slide 73 text

Cluster, Inc. All Rights Reserved. 73 究極の問い: 「完全性」 pt 2 e.g. プログラム・ゲームインタラクティブ性の「完全」な表現形式 ● 自由度 ≒ (Turing完全な)計算 + API プログラムなので、組み合わせ・編集などがほぼ不可能 (それぞれが独立した世界 → ソーシャル要素が小さい) e.g. メタバース (未解決問題) ソーシャル & インタラクティブインタラクティブ性のモジュラー化・データ化とその流通