Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
Azure Kinect の点群を軽率にVFX Graphで表示する
Search
にー兄さん
June 18, 2020
Technology
1.3k
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
Azure Kinect の点群を軽率にVFX Graphで表示する
社内の勉強会発表したLT資料です
にー兄さん
June 18, 2020
Transcript
28 slides
Azure Kinect の点群を軽率に VFX Graphで表示する にー兄さん@Unity 2019.4リリースノート読む会
agenda 背景とか VFX Graphについて AzureKinectとVFX Graph おわりに
スライドって公開しちゃって大丈夫ですかね...? (大丈夫だったらSpeakerDeckに上げます)
背景とか
Twitterを見ていればわかるのですが 8~9割の人類はすでに 点群を扱ったプログラムを書いている →
Twitterを見ていればわかるのですが 8~9割の人類はすでに 点群を扱ったプログラムを書いている
Twitterを見ていればわかるのですが 8~9割の人類はすでに 点群を扱ったプログラムを書いている →やるか...。
なんとなく点群に憧れがあった もともとKinectを使ったモーションキャプ チャを制作していた Body Trackingしか使ったことない... せっかくk4aをお借りできたので やるか→シェーダ書けない...
VFX Graphについて
2019.4のPVでも取り上げられた 2018.4でも使えた機能ではある リリースノートの見ると ”ノード”が新しく追加されてたり (後述)
Unityの新しいパーティクルシステム 名称 特徴 制約 従来 shuriken CPUパーティクル、設定画面が煩雑 特になし 最新 VFX
Graph GPUパーティクル、ノードベース SRP推奨 SRPによって大幅に改良されたパーティクルシステムという感じ 操作性、表現力、性能、が強化されている
VFX Graphの概観 パーティクルの挙動をノードで管理
VFX Graphの概観 Spawn→Initialize→Update→Outputコンテキストノードで構成される
VFX Graphの概観 Operatorノードをつなぐことで複雑な挙動を定義
VFX Graphの概観 Property Binderによって外部の値を読み込む
VFX Graphの概観 Updateでイベントを発火 →ほかのGraphに通知 →別のパーティクルをSpawn trail(軌跡)のような表現が可能に
demo!
AzureKinectとVFX Graph
参考にした記事(ほぼそのまま) yoshinagaさんの 『C#で始めるAzure Kinect開発⑥:Unity+C#でPoint Cloud表示』 https://tks-yoshinaga.hatenablog.com/entry/azurekinect-6 maoさんの 『Face Tracking with
ARKit + Visual Effect Graph(VFX Graph)で遊んでみる』 https://qiita.com/mao_/items/0fffc84b2b16cf680f80
手順 AzureKinectで 点群を取得 depthを AttributeMap に変換 VFXでMapを 読み込み
手順 AzureKinectで 点群を取得 depthを AttributeMap に変換 VFXでMapを 読み込み C#スクリプト C#スクリプト
+ComputeShader VFX Graph
depth情報の取得 記事の通りにコードを書いていく 今回は色情報はいらないので深度情報だけ取得
depthをComputeShaderに渡す depth情報をbufferに載せて ComputeShaderに渡す
AttributeMap VFXは配列での受け渡しをサポートし ていない 点群の情報をMapとして渡す
VFX Graphに読み込む PositionをMapとして読み込む
おわりに
まとめ VFX Graphを使えば、簡単にエフェクトが作れる Mapを使えば点群を扱うこともできる 今後の動向に期待!
参考 yoshinagaさんの 『C#で始めるAzure Kinect開発⑥:Unity+C#でPoint Cloud表示』 https://tks-yoshinaga.hatenablog.com/entry/azurekinect-6 maoさんの 『Face Tracking with
ARKit + Visual Effect Graph(VFX Graph)で遊んでみる』 https://qiita.com/mao_/items/0fffc84b2b16cf680f80 keijiro先生のサンプル https://github.com/keijiro/Smrvfx
More Decks by にー兄さん
See All by にー兄さん
Web3Dライブラリを作ってVue Custom Rendererの仕組みを理解しよう / lets learn vue custom renderer by making 3d library
drumath2237
1
140
UnityでSystem.Net.WebSocketsなWebSocketサーバが動かないのでUnity Monoのコードを覗いてみた / about implementing websocket server with unity mono
drumath2237
1
690
ついにAuraも登場したのでJetpack XR SDKについて今一度語りたい / i wanna talk about xreal aura
drumath2237
0
64
『Ground Truth: How We Create Geometrically Accurate Reconstructions (Niantic Spatial Blog)』 を読む / read Ground Truth: How We Create Geometrically Accurate Reconstructions
drumath2237
0
97
この時代にOSS開発に向き合ってみる / face the oss development in this era
drumath2237
0
79
プログラマの職能が代替可能になりつつあるこの時代でプログラムと向き合う修行を積む / dedicating myself to the discipline of programming
drumath2237
0
150
個人的3D Gaussian Splattingニュースをご紹介 / sharing 3d gaussian splatting news
drumath2237
0
730
Jetpack XR SDKから紐解くAndroid XR開発と技術選定のヒント / about-androidxr-and-jetpack-xr-sdk
drumath2237
1
1k
XRエンジニアの視点から XRのイマと社会実装の実現について考える / thinking-about-xr-popularization
drumath2237
0
110
Other Decks in Technology
See All in Technology
プロダクションコードにおける encoding/json から encoding/json/v2 へのスムーズな移行
sansantech
PRO
1
440
エンタープライズ事業未経験のデータ屋、 AI時代にN回撃沈する.pdf
ryoskdara_
0
130
Go初心者のクラウドエンジニアが、デプロイを通して旨味を知っていく話
ryudai
1
230
MCPでネットワーク障害調査を自動化する前に直すべき3つのこと
yama3133
0
450
こんなに変わった! AWSネットワークの常識
shotashiratori
10
6.9k
狙われているAPIの脆弱性!今こそ手をつけるべき根本的な対策とは?
nagix
0
140
思考過程から秘密が漏れる:Amazon Bedrock上のKimi K3を5つの方法で攻めたら、25回中22回漏洩した話
yama3133
1
170
AI対話型分析を作成し、リリースするまでの話 / The Road to Release: Buiding AI Conversational Analytics
yappli_developers
0
150
異夢同船〜異なる夢でも同じ船でなんとかする〜
fortegp05
1
390
gem install とrequire のむこうがわ
ydah
0
120
マネジメントされる側の仕事は「文句」を言うこと
riyaamemiya
6
5.4k
Kiro を使うコツ (頼み方、覚えさせ方、任せ方) | 目指せ Kiro マスター 09
inariku
PRO
3
170
Featured
See All Featured
Stewardship and Sustainability of Urban and Community Forests
pwiseman
0
600
Crafting Experiences
bethany
1
440
Agile Actions for Facilitating Distributed Teams - ADO2019
mkilby
0
340
Thoughts on Productivity
jonyablonski
76
5.5k
Art, The Web, and Tiny UX
lynnandtonic
304
22k
A Soul's Torment
seathinner
9
3.9k
Technical Leadership for Architectural Decision Making
baasie
4
650
Game over? The fight for quality and originality in the time of robots
wayneb77
1
330
エンジニアに許された特別な時間の終わり
watany
109
250k
Efficient Content Optimization with Google Search Console & Apps Script
katarinadahlin
PRO
1
990
Faster Mobile Websites
deanohume
310
32k
So, you think you're a good person
axbom
PRO
2
2.3k