VisionProで部屋の明るさを反映させるシェーダーを作った話

2024年12月18日に大阪で開催された XRミーティング で登壇した際の資料です。

資料内で紹介している「PolySpatial Environment Diffuse Shader」はこちらから！
https://openupm.com/packages/com.segur.poly-spatial-environment-diffuse-shader/

★XRミーティングの情報はこちら
https://osaka-driven-dev.connpass.com/event/337920/

★せぎゅのXはこちら
https://twitter.com/segur_vita

Transcript

1. VisionProで部屋の明るさを 反映させるシェーダーを 作った話 2024/12/18 せぎゅ
2. STYLY制作部エンジニアマネージャー/STYLY Studio 開発者 VR学会認定上級VR技術者/Unity認定プログラマー LookingGlassハッカソン優勝/Vision Proハワイ購入勢 名古屋在住 PROFILE ARエンジニア せぎゅ Segur
3. Apple Vision Proで 部屋の明るさを マテリアルに反映させたい！
4. 部屋の明るさ？
5. VisionProは部屋の明るさがマテリアルに反映する Litシェーダーを使うと、VisionPro搭載カメラが周囲の明るさを取得し、 それがマテリアルの明度に反映されます！
6. 例: segurのアバター アバターをVisionProで 見たときに、部屋の 明るさを反映させたい！
7. VisionProに対応したToonシェーダーがない！ 元のToonシェーダー このように描画したい Litシェーダー 陶器みたいな見た目で違和感大
8. Unlitシェーダー Unlitシェーダーなら 違和感は少ないが…
9. Unlitシェーダー Unlitシェーダーは 暗い部屋だと 違和感大！
10. 部屋の明るさに対応した 独自シェーダーを作ろう！
11. PolySpatial Environment Radianceで部屋が映る！ VisonPro搭載カメラが撮影した景色がShaderGraphで取れるぞ！
12. PolySpatial Environment Radianceで明るさが取れる！ VisonPro搭載カメラが取得した部屋の明るさがShaderGraphで取れるぞ！
13. 部屋の明るさをマテリアルに反映できた！ テクスチャから抽出した色情報に、 Diffuse Radiance の値をかけただけ
14. 自作シェーダー なんやかんやで Emissionにも対応！
15. VisionPro実機でも 動作しました！
16. せっかくだから VRM形式に正式対応しよう！
17. MToonのパラメーターを 自作シェーダーのパラ メーターに紐づけたら、 UniVRMがいい感じに 変換してくれる〜！
18. 完成したShaderはOpenUPMで公開中！ https://openupm.com/packages/com.segur.poly-spatial-environment-diffuse-shader/
19. Shaderを公開したところ…
20. 公開した２時間後に 社長からバグ報告が…
21. AlphaClipping機能がバグる TransparentやAlphaClipping辺りのパラメーター紐づけに誤りがあったので修正！
22. 無事に直りました！
23. 地味にダウンロード されてます！ VisionPro開発者が使って くれてるっぽい
24. ぜひご活用ください！
25. FIN