Slide 1

Slide 1 text

de:code 2019 Azure Kinect DK Overview CM85 中村 薫 株式会社ホロラボ 代表取締役 CEO

Slide 2

Slide 2 text

会社紹介 株式会社ホロラボ 事業内容 HoloLensやWindows MRなどxR技術やセンサー技術に関する ・システム/アプリケーションの企画開発 ・調査研究 ・普及啓発活動 設立 2017/01/18 住所 東京都品川区西五反田2-25-1 インテックス五反田ビル3F 資本金 30,000,000円 取締役 5名 従業員 16名 Web https://hololab.co.jp/

Slide 3

Slide 3 text

自己紹介 2011年 2012年 2012年 2015年

Slide 4

Slide 4 text

注意

Slide 5

Slide 5 text

2019/5/2~3 MR Dev Days@Redmond

Slide 6

Slide 6 text

Azure Kinect DK

Slide 7

Slide 7 text

https://azure.microsoft.com/en-us/services/kinect-dk/

Slide 8

Slide 8 text

1MP depth sensor 7-mic array 12 MP RGB video camera Accelerometer and gyroscope (IMU) External sync pins AZURE KINECT DK

Slide 9

Slide 9 text

© Microsoft Corporation 流通・製造業 医療・ヘルスケア リテール ロボティクス AZURE KINECT DK 活用シナリオ • 距離測定・計測 • デパレタイジング • 現場の安全性 • トレーニング&モニタリング • 落下防止 • リハビリ • CT スキャン アラインメント • パフォーマンス測定 • デジタル サイネージ • スムーズなショッピング • リアルタイム トラッキング • 動線分析 • 品質保証 • CAD の更新 • 物体認識 • ピック&プレース

Slide 10

Slide 10 text

概要

Slide 11

Slide 11 text

No content

Slide 12

Slide 12 text

No content

Slide 13

Slide 13 text

ソフトウェア

Slide 14

Slide 14 text

SDK

Slide 15

Slide 15 text

https://github.com/microsoft/Azure-Kinect-Sensor-SDK センサーSDK(概要)

Slide 16

Slide 16 text

センサーSDK(基本機能)

Slide 17

Slide 17 text

C言語(自作C++ラッパー + OpenCV + PCL)

Slide 18

Slide 18 text

C#(WPF)

Slide 19

Slide 19 text

ボディトラッキングSDK(概要)

Slide 20

Slide 20 text

ボディトラッキングSDK(基本機能)

Slide 21

Slide 21 text

Azure Cognitive Services(概要)

Slide 22

Slide 22 text

Azure Cognitive Services

Slide 23

Slide 23 text

ハードウェア

Slide 24

Slide 24 text

システム要件

Slide 25

Slide 25 text

Depthモード モード 解像度 FOI FPS 有効距離 露光時間 NFOV unbinned 640x576 75°x 65° 0, 5, 15, 30 0.5 - 3.86 m 12.8 ms NFOV 2x2 binned (SW) 320x288 75°x 65° 0, 5, 15, 30 0.5 - 5.46 m 12.8 ms WFOV 2x2 binned 512x512 120°x 120° 0, 5, 15, 30 0.25 - 2.88 m 12.8 ms WFOV unbinned 1024x1024 120°x 120° 0, 5, 15 0.25 - 2.21 m 20.3 ms Passive IR 1024x1024 N/A 0, 5, 15, 30 N/A 1.6 ms FOI (Field of Illumination) → (IRの)投射角 FPS 0 → 静止画 Binned → 隣接する素子を組み合わせることで、解像度を犠牲に有効距離を上げる 参考 https://www.baslerweb.com/jp/sales-support/knowledge-base/frequently-asked-questions/what-is-binning/15191/ IR → Microsoft designed 1 Megapixel Time-of-Flight

Slide 26

Slide 26 text

Depthモード

Slide 27

Slide 27 text

RGBカメラ RGBカメラ解像(H x V) アスペクト比 フォーマット FPS FOV(H x V) 3840x2160 16:9 MJPEG 0, 5, 15, 30 90x59 2560x1440 16:9 MJPEG 0, 5, 15, 30 90x59 1920x1080 16:9 MJPEG 0, 5, 15, 30 90x59 1280x720 16:9 MJPEG/YUY2/NV12 0, 5, 15, 30 90x59 4096x3072 4:3 MJPEG 0, 5, 15 90x74.3 2048x1536 4:3 MJPEG 0, 5, 15, 30 90x74.3 USB Video class対応

Slide 28

Slide 28 text

RGBカメラ

Slide 29

Slide 29 text

モーションセンサー サンプリングレート 1.6 kHz ホストへの更新 208 Hz

Slide 30

Slide 30 text

マイクアレイ 感度 -22 dBFS S/N非 65 dB AOP( Acoustic Overload Point) 116 dB

Slide 31

Slide 31 text

Azure Kinect DKと Kinect for Windows v2 の比較

Slide 32

Slide 32 text

ハードウェア 機能 Azure Kinect SDK Kinect for Windows v2 音声 円形に配置された7つのマイク 線形に配置された4つのマイク モーションセンサー 3軸加速度 + 3軸ジャイロ 3軸加速度 RGBカメラ 3840 x 2160 px @30 fps 1920 x 1080 px @30 fps Depthカメラ 手法 TOF TOF 解像度 640 x 576 px @30 fps 512 x 424 px @ 30 fps 512 x 512 px @30 fps 1024x1024 px @15 fps 接続性 データ USB3.1 gen 1 Type-C USB 3.1 gen 1 Type-A 電源 外部電源またはUSB-C 外部電源 同期 RGB & Depth & IMU 外部デバイス RGB & Depth 筐体 サイズ 103 x 39 x 126 mm 249 x 66 x 67 mm 重さ 440 g 970 g マウント ¼-20 UNC ¼-20 UNC

Slide 33

Slide 33 text

センサーアクセス 機能 Azure Kinect SDK Kinect for Windows v2 備考 Depth ✔ ✔ IR ✔ ✔ Color ✔ ✔ カラー画像のフォーマットが異なる Audio (✔) ✔ Azure Kinect DKのマイクは Speech SDK または Windows ネイティブ API でアクセスする IMU ✔ 1軸の加速度のみ (SDKからのアクセス不可) Depth-RGB内部同期 ✔ ✔ キャリブレーション ✔ ✔ OpenCV 互換 外部同期 ✔ 複数アプリからのアクセス ✔ Sensor SDKにサービスは実装されない データの記録と再生 ✔ ✔

Slide 34

Slide 34 text

機能 Kinect v2の機能 Kinect v2データ Azure Kinect SDK/Azure サービス センサーアクセスデータ DepthFrame Sensor SDK InfraredFrame Sensor SDK ColorFrame Sensor SDK AudioBeamFrame 現状では未サポート ボディートラッキング BodyFrame Body Tracking SDK BodyIndexFrame Body Tracking SDK 座標変換 CoordinateMapper Sensor SDK フェイストラッキング FaceFrame Cognitive Services : Face 音声認識 N/A Cognitive Services : Speech

Slide 35

Slide 35 text

© 2018 Microsoft Corporation. All rights reserved. 本情報の内容(添付文書、リンク先などを含む)は、作成日時点でのものであり、予告なく変更される場合があります。 © 2019 Microsoft Corporation. All rights reserved. 本情報の内容 (添付文書、リンク先などを含む) は、de:code 2019 開催日 (2019年5月29~30日) 時点のものであり、予告なく変更される場合があります。 本コンテンツの著作権、および本コンテンツ中に出てくる商標権、団体名、ロゴ、製品、サービスなどはそれぞれ、各権利保有者に帰属します。