Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
軽率にUnityで OAK-D Liteが使えるらしい/using oak-d lite with unity
Search
にー兄さん
March 12, 2022
Technology
0
620
軽率にUnityで OAK-D Liteが使えるらしい/using oak-d lite with unity
全国学生エンジニア交流会「NSEEM」にて登壇した資料です
にー兄さん
March 12, 2022
Tweet
Share
More Decks by にー兄さん
See All by にー兄さん
Babylon.js 7注目機能を 軽率にまとめてみる/whats-new-in-babylonjs-v7
drumath2237
1
60
軽率にVFX Graphと Compute Shaderを 組み合わせるテクニック/integrate-vfxgraph-and-compute-shader
drumath2237
1
58
軽率にVue 3で リアルタイム3Dアプリを作れる ライブラリを作ってみた/vue-with-3d-app
drumath2237
3
1.5k
軽率にBabylon.jsを C#で使う技術 / using-babylonjs-with-csharp
drumath2237
1
410
今こそ軽率に理解したい WebXR Device APIとBabylon.jsの話 / understand-webxr-device-api-and-babylonjs
drumath2237
0
33
Vue・Babylon連携ライブラリ BabyuewJSについて / about-babyuewjs
drumath2237
0
90
軽率にBabylon.jsの WebGPUエンジンを使って ComputeShaderに入門した / learn-about-babylonjs-webgpu-computeshader
drumath2237
0
400
Snapdragon Spacesを通して Unity XRプラグインフレームワーク について軽率に学ぶ / about snapdragon spaces sdk and unity xr framework
drumath2237
0
400
Babylon.jsユーザのためのCLIを軽率にnpmで公開した話 / about create babylon app CLI
drumath2237
0
550
Other Decks in Technology
See All in Technology
GoのWebプロダクトに途中参加するときのキャッチアップ #layerxgo / How to catch up Go web product
budougumi0617
6
520
From here to resilience - a travel guide
ufried
1
250
Angular Signals under the Hood
fabiangosebrink
0
230
まずは開発組織を整えるところからはじめる
ichimichi
0
110
SRECon 2024 Keynote: Is It Already Time To Version Observability? (Signs Point To Yes)
charity
2
130
よりシンプルになる Svelte の世界
azukiazusa1
5
1.4k
Re:ゼロから始める Observability
nenonaninu
1
380
上手く活用すればコスト削減につながる、ONTAPの Temperature Sensitive Storage Efficiency (TSSE) の紹介
non97
0
230
スタートアップがAWSパートナーになって得られたこと
shonansurvivors
3
520
プロファイラを使ってPythonアプリをチューニングしよう
tokibito
2
280
開発生産性 超入門 / development productivity introduction
igsr5
10
2.7k
組織的なクラウド統制のはじめの一歩_20240529
yhana
0
410
Featured
See All Featured
Raft: Consensus for Rubyists
vanstee
133
6.3k
Java REST API Framework Comparison - PWX 2021
mraible
PRO
18
7k
How to name files
jennybc
65
94k
Faster Mobile Websites
deanohume
300
30k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
226
51k
Building Your Own Lightsaber
phodgson
100
5.8k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
275
13k
Fashionably flexible responsive web design (full day workshop)
malarkey
399
65k
Become a Pro
speakerdeck
PRO
13
4.6k
It's Worth the Effort
3n
180
27k
How STYLIGHT went responsive
nonsquared
92
4.9k
Happy Clients
brianwarren
92
6.4k
Transcript
軽率にUnityで OAK-D Liteが使えるらしい にー兄さん(ninisan_drumath) 全国学生エンジニア交流会 NSEEM
にー兄さん(@ninisan_drumath) - 筑波大学 情報科学類(coins18) - HoloLab inc.アルバイト - Microsoft Learn
Student Ambassadors - Iwaken Lab. 趣味はUnity、ギター、コーヒー、VTuberオタ活 唐突な愛猫自慢→
agenda OAK-D Liteとは UnityでOAK-D Liteを動かそう 点群作成の実装を追う おわりに
諸注意 - スクショ・SNS共有OK - 資料は公開予定 - 私はOAK-DおよびCV分野の素人です(自己防衛) - お手柔らかに
OAK-D Liteとは
OpenCV AI Kit OpenCV AI Kit(OAK)は、コンピュータービジョン用ハードウェアとAPIソフト ウェアで構成される小型ユニットです。 (AI Camよりhttps://aicam.jp/tech/oak/)
DepthAI APIを用いた開発 C++とPythonのSDKを提供 DepthAI APIを通じて - センサーの制御 - CVやAIによる処理 などを行う
演算はオンボードで行われる
Depth(深度)画像について カメラからの距離をピクセルで表したもの mm単位のushort型で表されたりする 深度センサ、ステレオカメラ、深度推定などによって得られる
OAK-DにおけるDepth ステレオカメラから深度情報を取得 →リアルタイムに深度画像を生成 リアルタイム点群生成も可能 LiDARセンサは非搭載 https://github.com/luxonis/depthai-experiments/tree/master/gen2-camera-demo
† A I † もよう動いとる - 手・顔・人の検知 - 手や全身の骨格推定 -
顔のランドマーク検出 - 表情推定 これらとdepthが組み合わされれば 3次元的な推定も可能 これがDepthAIの所以
UnityでOAK-D Liteを動かそう (2022/3時点)
OAKForUnityのサンプルをclone luxonis/depthai-unity のブランチをbetaに OAKForUnity/URP 以下に Unityプロジェクトがある バージョンは2021.2.7
None
点群生成の実装を追う
全体のフロー DepthAIドライバー コンポーネント DepthAI Property Binder Unity VFX Graph ネイティブプラグイン
からデータ取得 深度とカラーの橋渡し 点群の構成と描画
センサーデータの取得 - ネイティブプラグインから取得 - 毎フレーム生データからTexture2Dを生成 - このときdepthはmono Rにマッピングされてるら しい -
PropertyBinderがVFX Graphとの繋ぎこみ DaiPointCloudVFX depthai-unity.dll frame info depth texture mono R texture Property Binder
VFX Graph パーティクルシステムの一種 - ノードベース - GPUパーティクル - URP/HDRPで動作
点群の作成 1. 画素数分のパーティクルを生成 2. UV値を指定して色情報をサンプリング 3. depthも同様にサンプリング 4. depthから3次元位置を計算 Depthから位置を計算する
Sub Graph
None
おわりに
まとめ - OAKForUnityのサンプルを使えば UnityでもOAK-D Liteが動かせた - VFX Graphを使った点群のデモが見れる
参考 depthai-unity https://github.com/luxonis/depthai-unity OAK-D Lite公式ドキュメント https://docs.luxonis.com/projects/hardware/en/latest/pages/DM9095.html Unity VFX Graphについて https://unity.com/ja/visual-effect-graph