Azure Kinect の点群を軽率にVFX Graphで表示する

Azure Kinect の点群を軽率に VFX Graphで表示するにー兄さん@Unity 2019.4リリースノート読む会

agenda 背景とか VFX Graphについて AzureKinectとVFX Graph おわりに

スライドって公開しちゃって大丈夫ですかね...？ (大丈夫だったらSpeakerDeckに上げます)

背景とか

Twitterを見ていればわかるのですが 8~9割の人類はすでに点群を扱ったプログラムを書いている →

Twitterを見ていればわかるのですが 8~9割の人類はすでに点群を扱ったプログラムを書いている

Twitterを見ていればわかるのですが 8~9割の人類はすでに点群を扱ったプログラムを書いている →やるか...。

なんとなく点群に憧れがあったもともとKinectを使ったモーションキャプチャを制作していた Body Trackingしか使ったことない... せっかくk4aをお借りできたのでやるか→シェーダ書けない...

VFX Graphについて

2019.4のPVでも取り上げられた 2018.4でも使えた機能ではあるリリースノートの見ると ”ノード”が新しく追加されてたり (後述)

Unityの新しいパーティクルシステム名称特徴制約従来 shuriken CPUパーティクル、設定画面が煩雑特になし最新 VFX
Graph GPUパーティクル、ノードベース SRP推奨 SRPによって大幅に改良されたパーティクルシステムという感じ操作性、表現力、性能、が強化されている

VFX Graphの概観パーティクルの挙動をノードで管理

VFX Graphの概観 Spawn→Initialize→Update→Outputコンテキストノードで構成される

VFX Graphの概観 Operatorノードをつなぐことで複雑な挙動を定義

VFX Graphの概観 Property Binderによって外部の値を読み込む

VFX Graphの概観 Updateでイベントを発火 →ほかのGraphに通知 →別のパーティクルをSpawn trail(軌跡)のような表現が可能に

demo！

AzureKinectとVFX Graph

参考にした記事(ほぼそのまま) yoshinagaさんの『C#で始めるAzure Kinect開発⑥：Unity+C#でPoint Cloud表示』 https://tks-yoshinaga.hatenablog.com/entry/azurekinect-6 maoさんの『Face Tracking with
ARKit + Visual Effect Graph(VFX Graph)で遊んでみる』 https://qiita.com/mao_/items/0fffc84b2b16cf680f80

手順 AzureKinectで点群を取得 depthを AttributeMap に変換 VFXでMapを読み込み

手順 AzureKinectで点群を取得 depthを AttributeMap に変換 VFXでMapを読み込み C#スクリプト C#スクリプト
＋ComputeShader VFX Graph

depth情報の取得記事の通りにコードを書いていく今回は色情報はいらないので深度情報だけ取得

depthをComputeShaderに渡す depth情報をbufferに載せて ComputeShaderに渡す

AttributeMap VFXは配列での受け渡しをサポートしていない点群の情報をMapとして渡す

VFX Graphに読み込む PositionをMapとして読み込む

おわりに

まとめ VFX Graphを使えば、簡単にエフェクトが作れる Mapを使えば点群を扱うこともできる今後の動向に期待！

参考 yoshinagaさんの『C#で始めるAzure Kinect開発⑥：Unity+C#でPoint Cloud表示』 https://tks-yoshinaga.hatenablog.com/entry/azurekinect-6 maoさんの『Face Tracking with
ARKit + Visual Effect Graph(VFX Graph)で遊んでみる』 https://qiita.com/mao_/items/0fffc84b2b16cf680f80 keijiro先生のサンプル https://github.com/keijiro/Smrvfx

Azure Kinect の点群を軽率にVFX Graphで表示する

Azure Kinect の点群を軽率にVFX Graphで表示する

にー兄さん

More Decks by にー兄さん

Other Decks in Technology

Featured

Transcript