Azure Kinect DK概要 - Speaker Deck

Azure Kinect DK概要

by HoloLab

Slide 1

Slide 1 text

Azure Kinect DK概要最終更新日 2019/08/18 株式会社ホロラボ代表取締役 CEO 中村薫

Slide 2

Slide 2 text

株式会社ホロラボ事業内容 HoloLensやWindows MRなどxR技術やセンサー技術に関する・システム／アプリケーションの企画開発・調査研究・普及啓発活動設立 2017/01/18 住所東京都品川区西五反田2-25-1 インテックス五反田ビル3F 資本金 30,000,000円取締役 5名従業員 24名 Web https://hololab.co.jp/ 会社概要 Copyright© HoloLab Inc. 2019 All rights reserved 2

Slide 3

Slide 3 text

注意 • 本スライドの内容は開発中のAzure Kinect DKをもとにしています。製品版では変更される可能性があります。

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

• 中村薫 • Microsoft MVP for Windows Development (2016 - 2020) • Microsoft MVP for Kinect for Windows (Apr 2014 - Mar 2016) • Microsoft MVP for Visual Studio ALM (Apr 2012 - Mar 2014) バックグラウンド Copyright© HoloLab Inc. 2019 All rights reserved 9 2011年 2012年 2012年 2015年

Slide 8

Slide 8 text

2019/5/2~3 MR Dev Days@Redmond

Slide 9

Slide 9 text

Slide 10

Slide 10 text

SDKとサンプル録画データ Copyright© HoloLab Inc. 2019 All rights reserved 12 https://www.microsoft.com/en-us/download/details.aspx?id=58385 https://www.microsoft.com/en-us/download/details.aspx?id=58386 https://www.microsoft.com/en-us/download/details.aspx?id=100063

Slide 11

Slide 11 text

参考にした技術情報 • Build 2019での講演「Intro to Developing for Azure Kinect」 • https://mybuild.techcommunity.microsoft.com/sessions/77096 • ドキュメント • Sensor SDK • Azure Kinect Sensor SDK download • https://docs.microsoft.com/ja-jp/azure/kinect-dk/sensor-sdk-download • Quickstart: Set up your Azure Kinect DK • https://docs.microsoft.com/ja-jp/azure/kinect-dk/set-up-azure-kinect-dk • Body Tracking SDK • Download Azure Kinect Body Tracking SDK • https://docs.microsoft.com/ja-jp/azure/kinect-dk/body-sdk-download • Quickstart: Set up Azure Kinect body tracking • https://docs.microsoft.com/ja-jp/azure/kinect-dk/body-sdk-setup Copyright© HoloLab Inc. 2019 All rights reserved 13

Slide 12

Slide 12 text

まとめ記事 • Azure Kinect DK ことはじめ • https://blog.kaorun55.com/entry/2019/07/12/123223 • Azure Kinect SDKのインストールと各種ツールの使い方 • https://blog.kaorun55.com/entry/2019/07/19/225953 • Azure Kinect DKの複数台外部同期(External Sync)の手順 • https://blog.kaorun55.com/entry/2019/07/19/235202 Copyright© HoloLab Inc. 2019 All rights reserved 14

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Copyright© HoloLab Inc. 2019 All rights reserved 16 https://azure.microsoft.com/ja-jp/services/kinect-dk/ 1. 1MP 深度センサー 2. 7 マイクアレイ 3. 12 MP RGB ビデオカメラ 4. 加速度計とジャイロスコープ (IMU) 5. 複数のKinectからのセンサーストリームを同期できる外部同期ピン

Slide 15

Slide 15 text

Slide 16

Slide 16 text

概要 • 新しいDepthセンサーを使用した新しいKinect • 従来のKinectと異なり産業用の位置づけ • 機能は従来通りColor, Depth, IR, Body • FaceやSpeechはCognitive Serviceを使用する • SDKはGitHubで公開されている • テスト用の録画データも公開されている • 動作にはPCが必要(Auzre Kincetハードウェア内では処理しない) • Body Trackingは別SDK • Body TrakcingにはCUDAが必要なためNVIDIAのGPUが必要

Slide 17

Slide 17 text

No content

Slide 18

Slide 18 text

No content

Slide 19

Slide 19 text

No content

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

センサーSDK(概要) • WindowsはWin32 API で提供される • C,C++,C#で提供(Unityでも動作した) • Linuxをサポートする • SDKはGitHubで公開 • https://github.com/microsoft/Azure-Kinect-Sensor-SDK Copyright© HoloLab Inc. 2019 All rights reserved 25

Slide 23

Slide 23 text

C(自作C++ラッパー + OpenCV + PCL)

Slide 24

Slide 24 text

C#(WPF)

Slide 25

Slide 25 text

C#(Unity)

Slide 26

Slide 26 text

センサーSDK(基本機能) • Depthカメラへのアクセス • パッシブIRモード、画角モードなど • Colorカメラへのアクセス • 露出、ホワイトバランスなど • モーションセンサーへのアクセス • ジャイロ、加速度 • Depth-Colorデータストリームの同期(Internal Sync) • 複数Kinect間でのタイミング同期(External Sync) • カメラフレームのメタデータへのアクセス • 解像度、タイムスタンプなど • キャリブレーション機能へのアクセス Copyright© HoloLab Inc. 2019 All rights reserved 30

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Slide 32

Slide 32 text

Slide 33

Slide 33 text

Slide 34

Slide 34 text

システム要件 • OS • Windows 10 April 2018 release (x64) 以降 • Linux Ubuntu 18.04 (x64) with OpenGLv4.4 or later GPU driver • ハードウェア要件 • 共通 • メモリ 4GB 以上 • デュアルバンド USB 3 ポート • Sensor SDK • 第7世代 Intel Core i3 プロセッサ (2コア 2.4 GHz, HD620 GPU)以上 • BodyTracking SDK • 第7世代 Intel Core i5 プロセッサ (4コア 2.4 GHz)以上 • NVIDIA GeForce GTX 1070 以上 • 環境要件 • 温度：10-25度 • 湿度：8-90%(結露しないこと) Copyright© HoloLab Inc. 2019 All rights reserved 38

Slide 35

Slide 35 text

Depthセンサーモード解像度 FOI FPS 有効距離露光時間 NFOV 2x2 binned (SW) 320x288 75°x 65° 0, 5, 15, 30 0.5 - 5.46 m 12.8 ms NFOV unbinned 640x576 75°x 65° 0, 5, 15, 30 0.5 - 3.86 m 12.8 ms WFOV 2x2 binned 512x512 120°x 120° 0, 5, 15, 30 0.25 - 2.88 m 12.8 ms WFOV unbinned 1024x1024 120°x 120° 0, 5, 15 0.25 - 2.21 m 20.3 ms Passive IR 1024x1024 N/A 0, 5, 15, 30 N/A 1.6 ms Copyright© HoloLab Inc. 2019 All rights reserved 39 FOI (Field of Illumination) → (IRの)投射角 FPS 0 → 静止画 Binned → 隣接する素子を組み合わせることで、解像度を犠牲に有効距離を上げる参考 https://www.baslerweb.com/jp/sales-support/knowledge-base/frequently-asked-questions/what-is-binning/15191/ IR → Microsoft designed 1 Megapixel Time-of-Flight

Slide 36

Slide 36 text

Depthモード

Slide 37

Slide 37 text

Depthセンサーこれ？

Slide 38

Slide 38 text

Colorカメラ Colorカメラ解像(H x V) アスペクト比フォーマット FPS FOV(H x V) 3840x2160 16:9 MJPEG 0, 5, 15, 30 90x59 2560x1440 16:9 MJPEG 0, 5, 15, 30 90x59 1920x1080 16:9 MJPEG 0, 5, 15, 30 90x59 1280x720 16:9 MJPEG/YUY2/NV12 0, 5, 15, 30 90x59 4096x3072 4:3 MJPEG 0, 5, 15 90x74.3 2048x1536 4:3 MJPEG 0, 5, 15, 30 90x74.3 Copyright© HoloLab Inc. 2019 All rights reserved 42 USB Video class対応

Slide 39

Slide 39 text

Colorカメラ

Slide 40

Slide 40 text

Slide 41

Slide 41 text

Slide 42

Slide 42 text

外部同期(External Sync) Copyright© HoloLab Inc. 2019 All rights reserved 46 • 複数台のAuzre Kinect DKをオーディオケーブルで接続することで、データの取得を同期させる。 • 同じタイミングでデータが取得されるので、複数台で同一時間のデータが取得できる。 • IRおよびDepthのタイムスタンプが一致するので後処理ができる。

Slide 43

Slide 43 text

Slide 44

Slide 44 text

Slide 45

Slide 45 text

Slide 46

Slide 46 text

ハードウェア機能 Azure Kinect SDK Kinect for Windows v2 音声円形に配置された7つのマイク線形に配置された4つのマイクモーションセンサー 3軸加速度 + 3軸ジャイロ 3軸加速度 Colorカメラ 3840 x 2160 px @30 fps 1920 x 1080 px @30 fps Depthカメラ手法 TOF TOF 解像度 640 x 576 px @30 fps 512 x 424 px @ 30 fps 512 x 512 px @30 fps 1024x1024 px @15 fps 接続性データ USB3.1 gen 1 Type-C USB 3.1 gen 1 Type-A 電源外部電源またはUSB-C 外部電源同期 RGB & Depth & IMU 外部デバイス RGB & Depth 筐体サイズ 103 x 39 x 126 mm 249 x 66 x 67 mm 重さ 440 g 970 g マウント ¼-20 UNC ¼-20 UNC Copyright© HoloLab Inc. 2019 All rights reserved 50

Slide 47

Slide 47 text

センサーアクセス機能 Azure Kinect SDK Kinect for Windows v2 備考 Depth ✔ ✔ IR ✔ ✔ Color ✔ ✔ カラー画像のフォーマットが異なる Audio (✔) ✔ Azure Kinect DKのマイクは Speech SDK または Windows ネイティブ API でアクセスする IMU ✔ 1軸の加速度のみ（SDKからのアクセス不可） Depth-RGB内部同期 ✔ ✔ キャリブレーション ✔ ✔ OpenCV 互換外部同期 ✔ 複数アプリからのアクセス ✔ Sensor SDKにサービスは実装されないデータの記録と再生 ✔ ✔ Copyright© HoloLab Inc. 2019 All rights reserved 51

Slide 48

Slide 48 text

機能 Kinect v2の機能 Kinect v2データ Azure Kinect SDK/Azure サービスセンサーアクセスデータ DepthFrame Sensor SDK InfraredFrame Sensor SDK ColorFrame Sensor SDK AudioBeamFrame 現状では未サポートボディートラッキング BodyFrame Body Tracking SDK BodyIndexFrame Body Tracking SDK 座標変換 CoordinateMapper Sensor SDK フェイストラッキング FaceFrame Cognitive Services : Face 音声認識 N/A Cognitive Services : Speech Copyright© HoloLab Inc. 2019 All rights reserved 52

Slide 49

Slide 49 text

Slide 50

Slide 50 text

Slide 51

Slide 51 text

Slide 52

Slide 52 text

k4arecorder Copyright© HoloLab Inc. 2019 All rights reserved 56 例: Color 1080p, Depth NFOV BINNED, 30FPS > k4arecorder -c 1080p -d NFOV_2X2BINNED -r 30 " %HOMEPATH%¥Documents ¥nfov_bined.mkv“ ドキュメントフォルダに録画ファイルが作成される

Slide 53

Slide 53 text

Slide 54

Slide 54 text

Slide 55

Slide 55 text

処理の流れ Copyright© HoloLab Inc. 2019 All rights reserved 59 Kinectを開くカメラ(IMU)をスタートするデータをキャプチャする Color, IR, Depthの処理/表示をするプレイバックファイルを開くデータをキャプチャする Color, IR, Depthの処理/表示をする Kinectからデータを取得する録画ファイルからデータを取得する