Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Azure Kinect の点群を軽率にVFX Graphで表示する
Search
にー兄さん
June 18, 2020
Technology
0
1.1k
Azure Kinect の点群を軽率にVFX Graphで表示する
社内の勉強会発表したLT資料です
にー兄さん
June 18, 2020
Tweet
Share
More Decks by にー兄さん
See All by にー兄さん
UnJSを使って軽率にCLIを作ってみたらめちゃくちゃ便利だった / create CLI with UnJS
drumath2237
0
30
create-babylon-appを軽率にアプデしたい / update create babylon app
drumath2237
1
14
Babylon.js 7注目機能を 軽率にまとめてみる/whats-new-in-babylonjs-v7
drumath2237
1
100
軽率にVFX Graphと Compute Shaderを 組み合わせるテクニック/integrate-vfxgraph-and-compute-shader
drumath2237
1
120
軽率にVue 3で リアルタイム3Dアプリを作れる ライブラリを作ってみた/vue-with-3d-app
drumath2237
3
1.6k
軽率にBabylon.jsを C#で使う技術 / using-babylonjs-with-csharp
drumath2237
1
510
今こそ軽率に理解したい WebXR Device APIとBabylon.jsの話 / understand-webxr-device-api-and-babylonjs
drumath2237
0
60
Vue・Babylon連携ライブラリ BabyuewJSについて / about-babyuewjs
drumath2237
0
120
軽率にBabylon.jsの WebGPUエンジンを使って ComputeShaderに入門した / learn-about-babylonjs-webgpu-computeshader
drumath2237
0
490
Other Decks in Technology
See All in Technology
Amazon FSx for NetApp ONTAPのパフォーマンスチューニング要素をまとめてみた #cm_odyssey #devio2024
non97
0
220
AIアシスタントの活用で品質の向上と開発ワークフローのスピードアップ
nagix
1
190
楽しくGoを学び合う、LayerXの勉強会文化 / LayerX's study culture of having fun and learning Go together
ar_tama
2
350
推薦システムを本番導入する上で一番優先すべきだったこと~NewsPicks記事推薦機能の改善事例を元に~
morinota
0
120
AWS IAMのアンチパターン/AWSが考える最低権限実現へのアプローチ概略(JAWS-UG朝会#59資料改修20分版)
htan
0
330
「我々はどこに向かっているのか」を問い続けるための仕組みづくり / Establishing a System for Continuous Inquiry about where we are
daitasu
0
170
「単なる OAuth 2.0 を認証に使うと、車が通れるほどのどでかいセキュリティー・ホールができる」のか検証してみた
terara
0
380
累計ダウンロード数1億8000万を超えるアプリケーションプラットフォームのレガシーシステム脱却とモダン化への道
kmitsuhashi
0
120
Flutter研修【MIXI 24新卒技術研修】
mixi_engineers
PRO
0
160
Datadog Cloud SIEMを使ってAWS環境の脅威を可視化した話/lifeistech-datadog-cloud-siem
gidajun
0
480
DDDにおける認可の扱いとKotlinにおける実装パターン / authorization-for-ddd-and-kotlin-implement-pattern
urmot
4
390
地理情報とAPIのトレンド
nagix
0
160
Featured
See All Featured
Leading Effective Engineering Teams 2024
addyosmani
3
300
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
29
2.5k
The Cost Of JavaScript in 2023
addyosmani
31
4.7k
What’s in a name? Adding method to the madness
productmarketing
PRO
21
2.9k
Bash Introduction
62gerente
607
210k
Building Better People: How to give real-time feedback that sticks.
wjessup
357
18k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
226
52k
A designer walks into a library…
pauljervisheath
201
24k
Mobile First: as difficult as doing things right
swwweet
219
8.8k
The MySQL Ecosystem @ GitHub 2015
samlambert
248
12k
How GitHub (no longer) Works
holman
305
140k
The Brand Is Dead. Long Live the Brand.
mthomps
52
36k
Transcript
Azure Kinect の点群を軽率に VFX Graphで表示する にー兄さん@Unity 2019.4リリースノート読む会
agenda 背景とか VFX Graphについて AzureKinectとVFX Graph おわりに
スライドって公開しちゃって大丈夫ですかね...? (大丈夫だったらSpeakerDeckに上げます)
背景とか
Twitterを見ていればわかるのですが 8~9割の人類はすでに 点群を扱ったプログラムを書いている →
Twitterを見ていればわかるのですが 8~9割の人類はすでに 点群を扱ったプログラムを書いている
Twitterを見ていればわかるのですが 8~9割の人類はすでに 点群を扱ったプログラムを書いている →やるか...。
なんとなく点群に憧れがあった もともとKinectを使ったモーションキャプ チャを制作していた Body Trackingしか使ったことない... せっかくk4aをお借りできたので やるか→シェーダ書けない...
VFX Graphについて
2019.4のPVでも取り上げられた 2018.4でも使えた機能ではある リリースノートの見ると ”ノード”が新しく追加されてたり (後述)
Unityの新しいパーティクルシステム 名称 特徴 制約 従来 shuriken CPUパーティクル、設定画面が煩雑 特になし 最新 VFX
Graph GPUパーティクル、ノードベース SRP推奨 SRPによって大幅に改良されたパーティクルシステムという感じ 操作性、表現力、性能、が強化されている
VFX Graphの概観 パーティクルの挙動をノードで管理
VFX Graphの概観 Spawn→Initialize→Update→Outputコンテキストノードで構成される
VFX Graphの概観 Operatorノードをつなぐことで複雑な挙動を定義
VFX Graphの概観 Property Binderによって外部の値を読み込む
VFX Graphの概観 Updateでイベントを発火 →ほかのGraphに通知 →別のパーティクルをSpawn trail(軌跡)のような表現が可能に
demo!
AzureKinectとVFX Graph
参考にした記事(ほぼそのまま) yoshinagaさんの 『C#で始めるAzure Kinect開発⑥:Unity+C#でPoint Cloud表示』 https://tks-yoshinaga.hatenablog.com/entry/azurekinect-6 maoさんの 『Face Tracking with
ARKit + Visual Effect Graph(VFX Graph)で遊んでみる』 https://qiita.com/mao_/items/0fffc84b2b16cf680f80
手順 AzureKinectで 点群を取得 depthを AttributeMap に変換 VFXでMapを 読み込み
手順 AzureKinectで 点群を取得 depthを AttributeMap に変換 VFXでMapを 読み込み C#スクリプト C#スクリプト
+ComputeShader VFX Graph
depth情報の取得 記事の通りにコードを書いていく 今回は色情報はいらないので深度情報だけ取得
depthをComputeShaderに渡す depth情報をbufferに載せて ComputeShaderに渡す
AttributeMap VFXは配列での受け渡しをサポートし ていない 点群の情報をMapとして渡す
VFX Graphに読み込む PositionをMapとして読み込む
おわりに
まとめ VFX Graphを使えば、簡単にエフェクトが作れる Mapを使えば点群を扱うこともできる 今後の動向に期待!
参考 yoshinagaさんの 『C#で始めるAzure Kinect開発⑥:Unity+C#でPoint Cloud表示』 https://tks-yoshinaga.hatenablog.com/entry/azurekinect-6 maoさんの 『Face Tracking with
ARKit + Visual Effect Graph(VFX Graph)で遊んでみる』 https://qiita.com/mao_/items/0fffc84b2b16cf680f80 keijiro先生のサンプル https://github.com/keijiro/Smrvfx