Azure Kinect DK Overview

2019/5/29開催 de:code 2019 CM85 「Azure Kinect DK Overview」のスライドです

Transcript

1. de:code 2019 Azure Kinect DK Overview CM85 中村 薫 株式会社ホロラボ 代表取締役 CEO
2. 会社紹介 株式会社ホロラボ 事業内容 HoloLensやWindows MRなどxR技術やセンサー技術に関する ・システム／アプリケーションの企画開発 ・調査研究 ・普及啓発活動 設立 2017/01/18 住所 東京都品川区西五反田2-25-1 インテックス五反田ビル3F 資本金 30,000,000円 取締役 5名 従業員 16名 Web https://hololab.co.jp/
3. 自己紹介 2011年 2012年 2012年 2015年
4. 注意
5. 2019/5/2~3 MR Dev Days@Redmond
6. Azure Kinect DK
7. https://azure.microsoft.com/en-us/services/kinect-dk/
8. 1MP depth sensor 7-mic array 12 MP RGB video camera Accelerometer and gyroscope (IMU) External sync pins AZURE KINECT DK
9. © Microsoft Corporation 流通・製造業 医療・ヘルスケア リテール ロボティクス AZURE KINECT DK 活用シナリオ • 距離測定・計測 • デパレタイジング • 現場の安全性 • トレーニング＆モニタリング • 落下防止 • リハビリ • CT スキャン アラインメント • パフォーマンス測定 • デジタル サイネージ • スムーズなショッピング • リアルタイム トラッキング • 動線分析 • 品質保証 • CAD の更新 • 物体認識 • ピック＆プレース
10. 概要
13. ソフトウェア
14. SDK
15. https://github.com/microsoft/Azure-Kinect-Sensor-SDK センサーSDK(概要)
16. センサーSDK(基本機能)
17. C言語(自作C++ラッパー + OpenCV + PCL)
18. C#(WPF)
19. ボディトラッキングSDK(概要)
20. ボディトラッキングSDK(基本機能)
21. Azure Cognitive Services(概要)
22. Azure Cognitive Services
23. ハードウェア
24. システム要件
25. Depthモード モード 解像度 FOI FPS 有効距離 露光時間 NFOV unbinned 640x576 75°x 65° 0, 5, 15, 30 0.5 - 3.86 m 12.8 ms NFOV 2x2 binned (SW) 320x288 75°x 65° 0, 5, 15, 30 0.5 - 5.46 m 12.8 ms WFOV 2x2 binned 512x512 120°x 120° 0, 5, 15, 30 0.25 - 2.88 m 12.8 ms WFOV unbinned 1024x1024 120°x 120° 0, 5, 15 0.25 - 2.21 m 20.3 ms Passive IR 1024x1024 N/A 0, 5, 15, 30 N/A 1.6 ms FOI (Field of Illumination) → (IRの)投射角 FPS 0 → 静止画 Binned → 隣接する素子を組み合わせることで、解像度を犠牲に有効距離を上げる 参考 https://www.baslerweb.com/jp/sales-support/knowledge-base/frequently-asked-questions/what-is-binning/15191/ IR → Microsoft designed 1 Megapixel Time-of-Flight
26. Depthモード
27. RGBカメラ RGBカメラ解像(H x V) アスペクト比 フォーマット FPS FOV(H x V) 3840x2160 16:9 MJPEG 0, 5, 15, 30 90x59 2560x1440 16:9 MJPEG 0, 5, 15, 30 90x59 1920x1080 16:9 MJPEG 0, 5, 15, 30 90x59 1280x720 16:9 MJPEG/YUY2/NV12 0, 5, 15, 30 90x59 4096x3072 4:3 MJPEG 0, 5, 15 90x74.3 2048x1536 4:3 MJPEG 0, 5, 15, 30 90x74.3 USB Video class対応
28. RGBカメラ
29. モーションセンサー サンプリングレート 1.6 kHz ホストへの更新 208 Hz
30. マイクアレイ 感度 -22 dBFS S/N非 65 dB AOP( Acoustic Overload Point) 116 dB
31. Azure Kinect DKと Kinect for Windows v2 の比較
32. ハードウェア 機能 Azure Kinect SDK Kinect for Windows v2 音声 円形に配置された7つのマイク 線形に配置された4つのマイク モーションセンサー 3軸加速度 + 3軸ジャイロ 3軸加速度 RGBカメラ 3840 x 2160 px @30 fps 1920 x 1080 px @30 fps Depthカメラ 手法 TOF TOF 解像度 640 x 576 px @30 fps 512 x 424 px @ 30 fps 512 x 512 px @30 fps 1024x1024 px @15 fps 接続性 データ USB3.1 gen 1 Type-C USB 3.1 gen 1 Type-A 電源 外部電源またはUSB-C 外部電源 同期 RGB & Depth & IMU 外部デバイス RGB & Depth 筐体 サイズ 103 x 39 x 126 mm 249 x 66 x 67 mm 重さ 440 g 970 g マウント ¼-20 UNC ¼-20 UNC
33. センサーアクセス 機能 Azure Kinect SDK Kinect for Windows v2 備考 Depth ✔ ✔ IR ✔ ✔ Color ✔ ✔ カラー画像のフォーマットが異なる Audio (✔) ✔ Azure Kinect DKのマイクは Speech SDK または Windows ネイティブ API でアクセスする IMU ✔ 1軸の加速度のみ （SDKからのアクセス不可） Depth-RGB内部同期 ✔ ✔ キャリブレーション ✔ ✔ OpenCV 互換 外部同期 ✔ 複数アプリからのアクセス ✔ Sensor SDKにサービスは実装されない データの記録と再生 ✔ ✔
34. 機能 Kinect v2の機能 Kinect v2データ Azure Kinect SDK/Azure サービス センサーアクセスデータ DepthFrame Sensor SDK InfraredFrame Sensor SDK ColorFrame Sensor SDK AudioBeamFrame 現状では未サポート ボディートラッキング BodyFrame Body Tracking SDK BodyIndexFrame Body Tracking SDK 座標変換 CoordinateMapper Sensor SDK フェイストラッキング FaceFrame Cognitive Services : Face 音声認識 N/A Cognitive Services : Speech
35. © 2018 Microsoft Corporation. All rights reserved. 本情報の内容（添付文書、リンク先などを含む）は、作成日時点でのものであり、予告なく変更される場合があります。 © 2019 Microsoft Corporation. All rights reserved. 本情報の内容 (添付文書、リンク先などを含む) は、de:code 2019 開催日 (2019年5月29~30日) 時点のものであり、予告なく変更される場合があります。 本コンテンツの著作権、および本コンテンツ中に出てくる商標権、団体名、ロゴ、製品、サービスなどはそれぞれ、各権利保有者に帰属します。