Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
軽率にUnityで OAK-D Liteが使えるらしい/using oak-d lite with unity
Search
にー兄さん
March 12, 2022
Technology
0
680
軽率にUnityで OAK-D Liteが使えるらしい/using oak-d lite with unity
全国学生エンジニア交流会「NSEEM」にて登壇した資料です
にー兄さん
March 12, 2022
Tweet
Share
More Decks by にー兄さん
See All by にー兄さん
UnJSを使って軽率にCLIを作ってみたらめちゃくちゃ便利だった / create CLI with UnJS
drumath2237
0
30
create-babylon-appを軽率にアプデしたい / update create babylon app
drumath2237
1
14
Babylon.js 7注目機能を 軽率にまとめてみる/whats-new-in-babylonjs-v7
drumath2237
1
100
軽率にVFX Graphと Compute Shaderを 組み合わせるテクニック/integrate-vfxgraph-and-compute-shader
drumath2237
1
120
軽率にVue 3で リアルタイム3Dアプリを作れる ライブラリを作ってみた/vue-with-3d-app
drumath2237
3
1.6k
軽率にBabylon.jsを C#で使う技術 / using-babylonjs-with-csharp
drumath2237
1
510
今こそ軽率に理解したい WebXR Device APIとBabylon.jsの話 / understand-webxr-device-api-and-babylonjs
drumath2237
0
60
Vue・Babylon連携ライブラリ BabyuewJSについて / about-babyuewjs
drumath2237
0
120
軽率にBabylon.jsの WebGPUエンジンを使って ComputeShaderに入門した / learn-about-babylonjs-webgpu-computeshader
drumath2237
0
490
Other Decks in Technology
See All in Technology
開発生産性をむしろ向上させる セキュリティパートナーの作り方 / Dev Productivity Con 2024
flatt_security
0
360
MySQLのロックの種類とその競合
yoku0825
6
1.6k
[NIKKEI Tech Talk] KDDI/KAG Scrum & Community for Engineering Training
curanosuke
2
220
データ分析基盤を作ってみよう~設計編~
nrinetcom
PRO
1
110
エンジニアリングマネージャーはどう学んでいくのか #devsumi / How Do Engineering Managers Continue to Learn and Grow?
expajp
4
1.3k
ペパボのオブザーバビリティ研修2024 説明資料
kesompochy
0
1.1k
成長期に歩みを止めないための創業期の開発文化形成
mayah
6
420
テストケースの自動生成に生成AIの導入を試みた話と生成AIによる今後の期待
shift_evolve
0
180
CEL(Common Expression Language)で書いた条件にマッチしたIAM Policyを見つける / iam-policy-finder
fujiwara3
0
710
[NIKKEI Tech Talk]Bias for Action!! 実践から学ぶための仕組とコミュニティ / Community for Practice and Learning
kanamasa
0
270
AWSサービスメニュー開発をしていてAWSを好きだ!と感じた瞬間
toru_kubota
0
130
What if...? 처음부터 다시 LLM 어플리케이션을 개발한다면
huffon
0
1k
Featured
See All Featured
ReactJS: Keep Simple. Everything can be a component!
pedronauck
662
120k
Bash Introduction
62gerente
607
210k
The Straight Up "How To Draw Better" Workshop
denniskardys
229
130k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
12
3.8k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
44
4.7k
StorybookのUI Testing Handbookを読んだ
zakiyama
15
4.9k
The Art of Programming - Codeland 2020
erikaheidi
48
13k
Music & Morning Musume
bryan
43
5.9k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
248
20k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
277
13k
How To Stay Up To Date on Web Technology
chriscoyier
784
250k
What’s in a name? Adding method to the madness
productmarketing
PRO
21
2.9k
Transcript
軽率にUnityで OAK-D Liteが使えるらしい にー兄さん(ninisan_drumath) 全国学生エンジニア交流会 NSEEM
にー兄さん(@ninisan_drumath) - 筑波大学 情報科学類(coins18) - HoloLab inc.アルバイト - Microsoft Learn
Student Ambassadors - Iwaken Lab. 趣味はUnity、ギター、コーヒー、VTuberオタ活 唐突な愛猫自慢→
agenda OAK-D Liteとは UnityでOAK-D Liteを動かそう 点群作成の実装を追う おわりに
諸注意 - スクショ・SNS共有OK - 資料は公開予定 - 私はOAK-DおよびCV分野の素人です(自己防衛) - お手柔らかに
OAK-D Liteとは
OpenCV AI Kit OpenCV AI Kit(OAK)は、コンピュータービジョン用ハードウェアとAPIソフト ウェアで構成される小型ユニットです。 (AI Camよりhttps://aicam.jp/tech/oak/)
DepthAI APIを用いた開発 C++とPythonのSDKを提供 DepthAI APIを通じて - センサーの制御 - CVやAIによる処理 などを行う
演算はオンボードで行われる
Depth(深度)画像について カメラからの距離をピクセルで表したもの mm単位のushort型で表されたりする 深度センサ、ステレオカメラ、深度推定などによって得られる
OAK-DにおけるDepth ステレオカメラから深度情報を取得 →リアルタイムに深度画像を生成 リアルタイム点群生成も可能 LiDARセンサは非搭載 https://github.com/luxonis/depthai-experiments/tree/master/gen2-camera-demo
† A I † もよう動いとる - 手・顔・人の検知 - 手や全身の骨格推定 -
顔のランドマーク検出 - 表情推定 これらとdepthが組み合わされれば 3次元的な推定も可能 これがDepthAIの所以
UnityでOAK-D Liteを動かそう (2022/3時点)
OAKForUnityのサンプルをclone luxonis/depthai-unity のブランチをbetaに OAKForUnity/URP 以下に Unityプロジェクトがある バージョンは2021.2.7
None
点群生成の実装を追う
全体のフロー DepthAIドライバー コンポーネント DepthAI Property Binder Unity VFX Graph ネイティブプラグイン
からデータ取得 深度とカラーの橋渡し 点群の構成と描画
センサーデータの取得 - ネイティブプラグインから取得 - 毎フレーム生データからTexture2Dを生成 - このときdepthはmono Rにマッピングされてるら しい -
PropertyBinderがVFX Graphとの繋ぎこみ DaiPointCloudVFX depthai-unity.dll frame info depth texture mono R texture Property Binder
VFX Graph パーティクルシステムの一種 - ノードベース - GPUパーティクル - URP/HDRPで動作
点群の作成 1. 画素数分のパーティクルを生成 2. UV値を指定して色情報をサンプリング 3. depthも同様にサンプリング 4. depthから3次元位置を計算 Depthから位置を計算する
Sub Graph
None
おわりに
まとめ - OAKForUnityのサンプルを使えば UnityでもOAK-D Liteが動かせた - VFX Graphを使った点群のデモが見れる
参考 depthai-unity https://github.com/luxonis/depthai-unity OAK-D Lite公式ドキュメント https://docs.luxonis.com/projects/hardware/en/latest/pages/DM9095.html Unity VFX Graphについて https://unity.com/ja/visual-effect-graph