Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
スキャンデータを使った リッチなVFXを軽率に作ろう
Search
にー兄さん
March 05, 2021
Technology
0
730
スキャンデータを使った リッチなVFXを軽率に作ろう
yokohama.unity mini #7でLTと運男子たときの資料です
にー兄さん
March 05, 2021
Tweet
Share
More Decks by にー兄さん
See All by にー兄さん
軽率にAndroidXRのJetpack SceneCoreを使って3Dモデルを表示してみる / androidxr-scenecore-3dmodels
drumath2237
0
36
UnJSを使って軽率にCLIを作ってみたらめちゃくちゃ便利だった / create CLI with UnJS
drumath2237
4
1.5k
create-babylon-appを軽率にアプデしたい / update create babylon app
drumath2237
1
1.6k
Babylon.js 7注目機能を 軽率にまとめてみる/whats-new-in-babylonjs-v7
drumath2237
1
320
軽率にVFX Graphと Compute Shaderを 組み合わせるテクニック/integrate-vfxgraph-and-compute-shader
drumath2237
1
400
軽率にVue 3で リアルタイム3Dアプリを作れる ライブラリを作ってみた/vue-with-3d-app
drumath2237
3
1.9k
軽率にBabylon.jsを C#で使う技術 / using-babylonjs-with-csharp
drumath2237
1
880
今こそ軽率に理解したい WebXR Device APIとBabylon.jsの話 / understand-webxr-device-api-and-babylonjs
drumath2237
0
220
Vue・Babylon連携ライブラリ BabyuewJSについて / about-babyuewjs
drumath2237
0
190
Other Decks in Technology
See All in Technology
JAWS FESTA 2024「バスロケ」GPS×サーバーレスの開発と運用の舞台裏/jawsfesta2024-bus-gps-serverless
ma2shita
3
320
Snowflakeの開発・運用コストをApache Icebergで効率化しよう!~機能と活用例のご紹介~
sagara
1
530
日経のデータベース事業とElasticsearch
hinatades
PRO
0
260
AI自体のOps 〜LLMアプリの運用、AWSサービスとOSSの使い分け〜
minorun365
PRO
9
890
いまからでも遅くない!コンテナでWebアプリを動かしてみよう!コンテナハンズオン編
nomu
0
180
プルリクエストレビューを終わらせるためのチーム体制 / The Team for Completing Pull Request Reviews
nekonenene
3
1k
AWSアカウントのセキュリティ自動化、どこまで進める? 最適な設計と実践ポイント
yuobayashi
7
1.2k
遷移の高速化 ヤフートップの試行錯誤
narirou
6
1.9k
OCI Success Journey OCIの何が評価されてる?疑問に答える事例セミナー(2025年2月実施)
oracle4engineer
PRO
2
220
大規模アジャイルフレームワークから学ぶエンジニアマネジメントの本質
staka121
PRO
3
1.6k
Ruby on Railsで持続可能な開発を行うために取り組んでいること
am1157154
3
160
生成AI×財務経理:PoCで挑むSlack AI Bot開発と現場巻き込みのリアル
pohdccoe
1
800
Featured
See All Featured
How to Think Like a Performance Engineer
csswizardry
22
1.4k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
47
5.2k
The Art of Programming - Codeland 2020
erikaheidi
53
13k
Why Our Code Smells
bkeepers
PRO
336
57k
A designer walks into a library…
pauljervisheath
205
24k
Fontdeck: Realign not Redesign
paulrobertlloyd
83
5.4k
Gamification - CAS2011
davidbonilla
80
5.2k
The Straight Up "How To Draw Better" Workshop
denniskardys
232
140k
Principles of Awesome APIs and How to Build Them.
keavy
126
17k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
7
650
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
6
580
Reflections from 52 weeks, 52 projects
jeffersonlam
348
20k
Transcript
スキャンデータを使った リッチなVFXを軽率に作ろう yokohama.unity mini #7 にー兄さん
自己紹介 にー兄さん(@ninisan_drumath) 筑波大学情報科学類3年 主にUnityを用いた開発が多い AzureKinect / VFX Graph / xR
/ Humanoid / WebGL yokohama.unity初参加なのでちょっと緊張
スライド&サンプルは全て公開しています✨ 途中で自分の3Dスキャンも出てきますが、 フリー素材(??)なのでスクショの共有は問題ないです🤔
agenda はじめに 素材の準備 Unityでの作業 最後に
はじめに
今回やりたいこと! 特定の形状の上をパーティクルが這って回るようなVFX 自分のスキャンデータを使ってやってみたい Unite2019の高橋啓治郎氏のセッションからとても影響を受けています 実現するにはちょっと工夫が必要......? →やってみよう! サンプルプロジェクトはGitHubに公開してあります! →https://github.com/drumath2237/KinFuSDFVFX
実現方針 形状に沿うように動くようにするには 形状の法線ベクトルが必要になる しかも空間上の任意の点において 物体から遠ざかる方向のベクトルが必要 それらと別のベクトルとの外積を計算すると 特定方向に向かって 形状に沿ったベクトルが得られる なにかの 3次元形状
今回使うツールと手順 1. 自分のスキャンデータを作る 2. HoudiniでSigned Distance Fieldを作成する 3. VFX Graphで演出を作る
Azure Kinect Houdini Unity VFX Graph
素材の準備
KinectFusionでスキャン KinectFusionを使うと点群を元にメッシュを張れ るらしい 詳しいセットアップの記事があったので いざやってみることに https://medium.com/kadinche-engineering/azure-kinect-dk-%E3%81%AE%E9%96%8B%E7%99%BA%E7%92%B0%E5%A2%83%E6% A7%8B%E7%AF%89%E3%81%8B%E3%82%89-kinectfusion-%E3%81%AE%E3%82%B5%E3%83%B3%E3%83%97%E3%83%AB%E3%82 %92%E5%8B%95%E3%81%8B%E3%81%99%E3%81%BE%E3%81%A7-cd7d550994fe Azure-Kinect-Samplesの中のkinfuサンプルを 使用
KinectFusionから点群データを取得 KinectFusionからply形式の点群データを出力 PositionとNormalがある (残念ながらColorはなさそう) CloudCompareとかで見ると良い感じ
SDFの作成 Signed Distance Field →点から形状への距離と勾配ベクトル(遠ざかる方向のベクトル) →これらを3Dテクスチャとしてベイクする →.vfファイルとしてVFX Graphに読み込める Houdiniによってメッシュデータから作成可能 Unity公式から出ている
VFXToolboxというアセットを使用 https://github.com/Unity-Technologies/VFXToolbox
Houdiniでの作業 1. VFXToolboxのhdaをインストール 2. ply点群ファイルをそのまま読み込み 3. Particle Fluid Surfaceノードでメッシュ化 4.
VFXToolboxでPointCacheとSDFを生成 5. pcacheファイルとvfファイル×2が得られる
Unityでの作業
VFX Graphについておさらい - GPUパーティクルシステム - パーティクルの挙動や見た目を ノードで定義 - Unity2019~Varifiedになった -
SRP環境でのみサポート 今回は表現の幅が広いHDRPを採用 Unity VFX Graph Manualより
PointCacheについて - 複数の座標をまとめたデータ(語弊あり) - メッシュの側面からパーティクルを スポーンさせたりできるようになる - フォーマットは汎用的な点群ファイルと似 通っている(.plyとか.xyzとか) -
非パラメトリック形状にとても有効 - 点群VFXが捗る捗る - 普通のメッシュであればUnityで作成可能 unity3d.comより
- 現在ではPropertyとして配列を受け渡せない - ではどうするか? - Textureに情報を焼いて渡す - ただの1次元の配列であれば height 1のテクスチャにする
- Texture2DArrayや3DTextureなどは扱えるし、 Sampleノードがちゃんとある(後述) - パフォーマンスによってはComputeShader を組み合わせてテクスチャを作成することも 余談:VFX Graphは配列を扱えない
VFX GraphでSDF/VFを扱う - .vfファイルとして読み込んだデータは 3Dテクスチャとして扱われる - Unity2020からインスペクタでプレビューされ て嬉しい - Sample
Texture3D、Load Texture3Dなどの ノードで使うことができる - SDFを使ったノードがあり、結構面白いことが できる - もっと気軽にSDFが 作れるようになったら嬉しいな
VFX Graphの処理フロー 1. PointCacheからランダムな座標で 位置を初期化 2. 現在位置から勾配ベクトルを取得 3. 勾配ベクトルと特定ベクトルの外積を計算 (今回はPerlinCurlNoise3Dとの外積)
4. 外積方向にForceを設定する 5. 散らばっていかないように空気抵抗を足す 6. Outputコンテキストへ
完成!🎉
おわりに
まとめ&お気持ち - VFX GraphはSDFを使うとリッチな表現ができる - SDFの生成はちょっと大変かも(外部ツールを使うので) - 「ビジュアライゼーションのプラットフォームとしてVFX Graphはとても有効」 by
高橋啓治郎氏 - 構想→調査→実装→リリース→LTまで8日くらいで とてもテンポよく取り組めた。脳汁すごい。サマーインターンかな? - 知らない技術の検証とかは好きなので、とても楽しかった
参考 今回のサンプルプロジェクト: https://github.com/drumath2237/KinFuSDFVFX Azure Kinect SamplesのKinectFusion: https://github.com/microsoft/Azure-Kinect-Samples/tree/master/opencv-kinfu-samples VFXToolbox: https://github.com/Unity-Technologies/VFXToolbox Unite
Tokyo 2019のVFX Graphのセッション: https://learning.unity3d.jp/3276/ VFX GraphのVectorFieldに関するマニュアル: https://docs.unity3d.com/Packages/com.unity.visualeffectgraph@7.5/manual/VectorFields.ht ml