軽率にUnityで OAK-D Liteが使えるらしい/using oak-d lite with unity

全国学生エンジニア交流会「NSEEM」にて登壇した資料です

Transcript

1. 軽率にUnityで OAK-D Liteが使えるらしい にー兄さん(ninisan_drumath) 全国学生エンジニア交流会 NSEEM
2. にー兄さん(@ninisan_drumath) - 筑波大学 情報科学類（coins18） - HoloLab inc.アルバイト - Microsoft Learn Student Ambassadors - Iwaken Lab. 趣味はUnity、ギター、コーヒー、VTuberオタ活 唐突な愛猫自慢→
3. agenda OAK-D Liteとは UnityでOAK-D Liteを動かそう 点群作成の実装を追う おわりに
4. 諸注意 - スクショ・SNS共有OK - 資料は公開予定 - 私はOAK-DおよびCV分野の素人です(自己防衛) - お手柔らかに
5. OAK-D Liteとは
6. OpenCV AI Kit OpenCV AI Kit（OAK）は、コンピュータービジョン用ハードウェアとAPIソフト ウェアで構成される小型ユニットです。 (AI Camよりhttps://aicam.jp/tech/oak/)
7. DepthAI APIを用いた開発 C++とPythonのSDKを提供 DepthAI APIを通じて - センサーの制御 - CVやAIによる処理 などを行う 演算はオンボードで行われる
8. Depth（深度）画像について カメラからの距離をピクセルで表したもの mm単位のushort型で表されたりする 深度センサ、ステレオカメラ、深度推定などによって得られる
9. OAK-DにおけるDepth ステレオカメラから深度情報を取得 →リアルタイムに深度画像を生成 リアルタイム点群生成も可能 LiDARセンサは非搭載 https://github.com/luxonis/depthai-experiments/tree/master/gen2-camera-demo
10. † A I † もよう動いとる - 手・顔・人の検知 - 手や全身の骨格推定 - 顔のランドマーク検出 - 表情推定 これらとdepthが組み合わされれば 3次元的な推定も可能 これがDepthAIの所以
11. UnityでOAK-D Liteを動かそう （2022/3時点）
12. OAKForUnityのサンプルをclone luxonis/depthai-unity のブランチをbetaに OAKForUnity/URP 以下に Unityプロジェクトがある バージョンは2021.2.7
14. 点群生成の実装を追う
15. 全体のフロー DepthAIドライバー コンポーネント DepthAI Property Binder Unity VFX Graph ネイティブプラグイン からデータ取得 深度とカラーの橋渡し 点群の構成と描画
16. センサーデータの取得 - ネイティブプラグインから取得 - 毎フレーム生データからTexture2Dを生成 - このときdepthはmono Rにマッピングされてるら しい - PropertyBinderがVFX Graphとの繋ぎこみ DaiPointCloudVFX depthai-unity.dll frame info depth texture mono R texture Property Binder
17. VFX Graph パーティクルシステムの一種 - ノードベース - GPUパーティクル - URP/HDRPで動作
18. 点群の作成 1. 画素数分のパーティクルを生成 2. UV値を指定して色情報をサンプリング 3. depthも同様にサンプリング 4. depthから3次元位置を計算 Depthから位置を計算する Sub Graph
20. おわりに
21. まとめ - OAKForUnityのサンプルを使えば UnityでもOAK-D Liteが動かせた - VFX Graphを使った点群のデモが見れる
22. 参考 depthai-unity https://github.com/luxonis/depthai-unity OAK-D Lite公式ドキュメント https://docs.luxonis.com/projects/hardware/en/latest/pages/DM9095.html Unity VFX Graphについて https://unity.com/ja/visual-effect-graph