Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Azure Kinect の点群を軽率にVFX Graphで表示する
Search
にー兄さん
June 18, 2020
Technology
0
1.2k
Azure Kinect の点群を軽率にVFX Graphで表示する
社内の勉強会発表したLT資料です
にー兄さん
June 18, 2020
Tweet
Share
More Decks by にー兄さん
See All by にー兄さん
軽率にプログラミング言語のシンタックスについて考えてみよう / lets-think-about-programming-lang-syntax
drumath2237
0
26
エンジニアが軽率に趣味から始める、OSS貢献を軸とした個人活動 / oss-contribution-as-a-hoby-project
drumath2237
0
31
Babylon.js 8.0のアプデ情報を 軽率にキャッチアップ / catch-up-babylonjs-8
drumath2237
0
140
フォークギター with VFXの 制作を軽率に振り返ろう! / look back fork guitar with vfx
drumath2237
0
28
軽率に始まった Babylon.js勉強会運営の 1年間をふりかえって / look back babylonjs japan activity
drumath2237
0
52
利己的利他、 あるいは軽率2.0に備えよ。 / prepare-for-keisotsu-2.0
drumath2237
0
41
軽率にAndroidXRのJetpack SceneCoreを使って3Dモデルを表示してみる / androidxr-scenecore-3dmodels
drumath2237
0
110
あなたの知らないWebXR Device APIの話を軽率に / about-webxr-device-api-you-dont-know
drumath2237
0
32
UnJSを使って軽率にCLIを作ってみたらめちゃくちゃ便利だった / create CLI with UnJS
drumath2237
4
1.6k
Other Decks in Technology
See All in Technology
Liquid Glass革新とSwiftUI/UIKit進化
fumiyasac0921
0
300
ハッカソン by 生成AIハッカソンvol.05
1ftseabass
PRO
0
150
rubygem開発で鍛える設計力
joker1007
3
280
作曲家がボカロを使うようにPdMはAIを使え
itotaxi
0
400
PHPでWebブラウザのレンダリングエンジンを実装する
dip_tech
PRO
0
220
Tokyo_reInforce_2025_recap_iam_access_analyzer
hiashisan
0
150
LangSmith×Webhook連携で実現するプロンプトドリブンCI/CD
sergicalsix
1
160
一体いつからSRE NEXTがSREだけのカンファレンスだと錯覚していた? / When did you ever get the idea that SRE NEXT was a conference just for SREs?
vtryo
1
120
生成AIで小説を書くためにプロンプトの制約や原則について学ぶ / prompt-engineering-for-ai-fiction
nwiizo
6
3.7k
Delegating the chores of authenticating users to Keycloak
ahus1
0
130
強化されたAmazon Location Serviceによる新機能と開発者体験
dayjournal
4
280
AIとともに進化するエンジニアリング / Engineering-Evolving-with-AI_final.pdf
lycorptech_jp
PRO
0
140
Featured
See All Featured
The Power of CSS Pseudo Elements
geoffreycrofte
77
5.8k
The Illustrated Children's Guide to Kubernetes
chrisshort
48
50k
Build The Right Thing And Hit Your Dates
maggiecrowley
36
2.8k
Reflections from 52 weeks, 52 projects
jeffersonlam
351
20k
[RailsConf 2023] Rails as a piece of cake
palkan
55
5.6k
Building a Scalable Design System with Sketch
lauravandoore
462
33k
It's Worth the Effort
3n
185
28k
Fireside Chat
paigeccino
37
3.5k
The World Runs on Bad Software
bkeepers
PRO
69
11k
A Tale of Four Properties
chriscoyier
160
23k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
15
1.5k
Agile that works and the tools we love
rasmusluckow
329
21k
Transcript
Azure Kinect の点群を軽率に VFX Graphで表示する にー兄さん@Unity 2019.4リリースノート読む会
agenda 背景とか VFX Graphについて AzureKinectとVFX Graph おわりに
スライドって公開しちゃって大丈夫ですかね...? (大丈夫だったらSpeakerDeckに上げます)
背景とか
Twitterを見ていればわかるのですが 8~9割の人類はすでに 点群を扱ったプログラムを書いている →
Twitterを見ていればわかるのですが 8~9割の人類はすでに 点群を扱ったプログラムを書いている
Twitterを見ていればわかるのですが 8~9割の人類はすでに 点群を扱ったプログラムを書いている →やるか...。
なんとなく点群に憧れがあった もともとKinectを使ったモーションキャプ チャを制作していた Body Trackingしか使ったことない... せっかくk4aをお借りできたので やるか→シェーダ書けない...
VFX Graphについて
2019.4のPVでも取り上げられた 2018.4でも使えた機能ではある リリースノートの見ると ”ノード”が新しく追加されてたり (後述)
Unityの新しいパーティクルシステム 名称 特徴 制約 従来 shuriken CPUパーティクル、設定画面が煩雑 特になし 最新 VFX
Graph GPUパーティクル、ノードベース SRP推奨 SRPによって大幅に改良されたパーティクルシステムという感じ 操作性、表現力、性能、が強化されている
VFX Graphの概観 パーティクルの挙動をノードで管理
VFX Graphの概観 Spawn→Initialize→Update→Outputコンテキストノードで構成される
VFX Graphの概観 Operatorノードをつなぐことで複雑な挙動を定義
VFX Graphの概観 Property Binderによって外部の値を読み込む
VFX Graphの概観 Updateでイベントを発火 →ほかのGraphに通知 →別のパーティクルをSpawn trail(軌跡)のような表現が可能に
demo!
AzureKinectとVFX Graph
参考にした記事(ほぼそのまま) yoshinagaさんの 『C#で始めるAzure Kinect開発⑥:Unity+C#でPoint Cloud表示』 https://tks-yoshinaga.hatenablog.com/entry/azurekinect-6 maoさんの 『Face Tracking with
ARKit + Visual Effect Graph(VFX Graph)で遊んでみる』 https://qiita.com/mao_/items/0fffc84b2b16cf680f80
手順 AzureKinectで 点群を取得 depthを AttributeMap に変換 VFXでMapを 読み込み
手順 AzureKinectで 点群を取得 depthを AttributeMap に変換 VFXでMapを 読み込み C#スクリプト C#スクリプト
+ComputeShader VFX Graph
depth情報の取得 記事の通りにコードを書いていく 今回は色情報はいらないので深度情報だけ取得
depthをComputeShaderに渡す depth情報をbufferに載せて ComputeShaderに渡す
AttributeMap VFXは配列での受け渡しをサポートし ていない 点群の情報をMapとして渡す
VFX Graphに読み込む PositionをMapとして読み込む
おわりに
まとめ VFX Graphを使えば、簡単にエフェクトが作れる Mapを使えば点群を扱うこともできる 今後の動向に期待!
参考 yoshinagaさんの 『C#で始めるAzure Kinect開発⑥:Unity+C#でPoint Cloud表示』 https://tks-yoshinaga.hatenablog.com/entry/azurekinect-6 maoさんの 『Face Tracking with
ARKit + Visual Effect Graph(VFX Graph)で遊んでみる』 https://qiita.com/mao_/items/0fffc84b2b16cf680f80 keijiro先生のサンプル https://github.com/keijiro/Smrvfx