3Dリアルアバターの現在地と未来 ― 万博null2が示した新常識 ―

XRKaigi 2025 で発表したスライドです。

Google Slide版はこちら: https://docs.google.com/presentation/d/1oIxSCMDE7WbK_hj7mvvehCzyz75gS3fnM4RxU7VmO4o/edit?usp=sharing

Transcript

2. ⇩からgoogle slide 版にアクセスできます (google slide の方が動画等が見やすいと思います) https://docs.google.com/presentation/d/1oIxSCMDE7WbK_hj7mvvehCzyz75gS3fn M4RxU7VmO4o/edit?usp=sharing
3. 3 近藤生也 / Naruya Kondo 落合陽一研博士課程 3年　日本学術振興会特別研究員 DC1 ▪ 経歴 ・2016年 4月 東京大学理科一類入学 (推薦入試入学一期生 ☆) ・2020年 3月 東京大学工学部卒業 (指導教官: 松尾豊) ・2023年 3月 筑波大学大学院博士前期修了 (指導教官: 落合陽一) ▪ 研究開発 ・日本学生科学賞「自律型パズドラロボットの開発」入選 1等, 2014 ・NEDO未踏AI「深層物理シミュレーション」 AIフロンティアパスファインダー受賞 , 2020 ・総務省異能vation「Tell Your World, with your Smartphone Camera」, 2021 ・日本学術振興会特別研究員 (DC1), 2023.04~ ・大阪・関西万博落合陽一館にて、 3Dアバターシステムを担当 ▪ 代表論文 ・Immersive Real World through Deep Billboards. SIGGRAPH 2022 Immersive Pavilion ・Mirrored Billboards for Safe and Format-Agnostic Asset Sharing in Social Public Metaverses. VRST 2025 Demo ・Instant Skinned Gaussian Avatars for Web, Mobile and VR Applications. SUI 2025 Demo Github twitter
4. • 自己紹介 • 万博 null2 のリアルアバター技術 • 最先端のリアルアバター技術を俯瞰する • これからのリアルアバター技術の展望 • アバター生成体験会✌ (時間あれば?) 内容
5. null2
6. null2 【万博】落合陽一さんが手掛けた人気パビリオン「 null2（ヌルヌル）」の魅力【ありがとう万博・さようなら万博】 https://www.youtube.com/watch?v=UYb6JL0iVk0
7. https://gaussian-vrm.github.io/ SUI 2025 Best Demo Award 🎉🎉🎉 国際会議 SUI 2025 でデモ発表してきました！
8. 国際会議 SUI 2025 でデモ発表してきました！
9. 落合「たぶんこれは未来の予測の問題で、次にやらないといけないタスクは何なんですかね」 落合「Appleのこれが一番なんかよかったんだけど。レンダリングスピード 60fpsですごく早いって」 近藤「生成30分って書いてあるけど」 伏見「それを10倍速くすればいいんですか？」 落合「まー3分でできたらいいっすね。 100倍速くなるといいんじゃない？ 20秒くらいで終われば？」 開発秘話 (15000字)👉: 万博 null2 の3Dアバターシステム開発録 ― 世界で一番使われている 3Dリアル アバター生成技術が生まれるまで ― 開発秘話(?) @学生1人ずつの定例 mtg 2024/07/17
10. Instant Skinned Gaussian Avatars
11. Instant Skinned Gaussian Avatars
12. メッシュ 点群 / Gaussian Splatting 12 3Dスキャンデータのタイプ 三角形のあつまりで3Dの形を表現。 ゲームっぽい3Dモデルのデザインが得意 コンパクトなファイルサイズ 点のあつまりで3Dの形を表現。 きれいな3Dスキャンを作るのが得意 ファイルサイズは大きめ
13. 13 ガウシアンスプラッティング : 点群の進化系 点に、色・大きさ・透明度をつけると、 リアルな3Dモデルを作ることができる！ 写真や動画を用意すると、 AI (機械学習) が、点の量・位置・色などを 正確に予測してくれて、3Dが再現できる https://superspl.at/editor/
14. どうやって点群を変形させる …？ 14 ガウシアンスプラッティングのアニメーション ⇨ メッシュの変形を使う！ (メッシュの変形なら簡単 ) https://naruya.github.io/gs-edit/?gpu 点群の後ろに透明なメッシュを用意 点をメッシュに合わせて動かす
15. 15 ライブラリ化してます！
16. Instant Skinned Gaussian Avatars
17. 前処理
18. VR対応！ (精度は少し落ちます …)
19. コントローラー操作
20. アプリケーション① : 3D仮想世界
21. アプリケーション② : アンダーワールド
22. アプリケーション③④ : かけっこ、ボクシング 君も落合陽一になれる !?ガウシアンVRMハッカソンやってみた https://note.com/shi3zblog/n/nddc4bbed8cd1
23. アプリケーション⑤ : プレゼン
24. アプリケーション⑥ : ダンスパーティー
25. アプリケーション⑦⑧ : VJ、バンドセッション 白井圧さん https://x.com/kumi0708 necobitさん https://x.com/necobut
26. アプリケーション⑨⑩ : 鬼ごっこ、村シミュレーション npakaさん https://x.com/npaka123
27. アプリケーション⑪ : 「スーパー説教ゲーム」 GOROmanさん https://x.com/GOROman
28. 最先端のリアルアバター技術を俯瞰する！
30. ボリューメトリックビデオ /キャプチャ ボリュメトリックビデオ技術 https://chizaizukan.com/property/382/
31. ボリューメトリックストリーミング : GIFStream 送信はリアルタイムだけど、事前にデータを撮って最適化している
32. 4D再構成: FreeTimeGS 髪の動きなどで物理法則を考慮し、より正確な再構成を達成
33. (アバター生成については後述 )
34. 使う対象のデータでの分類
35. すごい 顔 Gaussian Avatars (全方向、複数視点映像から) GaussianAvatars、商用不可、by ミュンヘン工科大学 + トヨタ！ NPGA、コード無し、by ミュンヘン工科大学 RGCA、商用不可、by Meta HQ3DAvatar、コード無し、by MPI
36. すごい 顔 Gaussian Avatars (正面メイン、単一映像から) GaussianBlendshape GPL3！ by 浙江大学 GaussianTalker 商用不可、by 高麗大学 MonoGaussianAvatar コードなし、by 清華大学 GaussianHead MIT license！ by 清華大学 FlashAvatar MIT license！ by 中国科技大
37. すごい 全身 Gaussian Avatars (複数視点映像から) DEGAS、コードなし、by 香港大学 (1つ前: SplattingAvatar、商用不可コードあり) ASH、商用不可、by MPI D3GA、コードなし、by Meta (Shunsuke Saito)！ Animatable Gaussians、商用不可、by 清華大学
38. すごい 全身 mesh Avatars (複数視点映像から、全体的に古い) realtime deep dynamic characters (2021)、コードなし？、by MPI
39. すごい 全身 Gaussian Avatars (単一映像から) ExAvatar、ライセンス不明 (SMPL使ってる)、by Shunsuke Saito！ 10秒の動画で学習！ HUGS、ライセンス不明 (SMPL使ってる)、by Apple 学習30分 GaussianAvatar、MITライセンス??? (SMPL使ってる)、by 清華大学 GVA、コードなし、by Baidu
40. すごい 全身 mesh Avatars (単一画像から) TeCH、商用不可、by MPI 生成に3時間 ECON (2023)、商用不可、by MPI 複雑な服・姿勢が得意。生成に2分 Ultraman、ライセンス不明 (smplあり)、by 清華大学 HGM、コードなし、by シンガポール国立大学 PIFuHD (2020)、商用不可、by Shunsuke Saito 生成は一瞬。PIFu なら商用可
41. すごい 全身 Gaussian Avatars (単一映像から) 2025 Codec Avatars TaoAvatar
43. これからのリアルアバター技術の展望
45. 以上です！ありがとうございました！ • アバター活用のご相談 、 絶賛受け付けております！ • アバター生成をしてみたい方 、 この後でもいつでもお声掛け ください (後日でも！) • twitter: https://x.com/namahoge note: https://note.com/namahoge mail: naruya.kondo@gmail.com