Azure Kinect DK概要

Azure Kinect DK概要最終更新日 2019/08/18 株式会社ホロラボ代表取締役 CEO 中村薫

株式会社ホロラボ事業内容 HoloLensやWindows MRなどxR技術やセンサー技術に関する・システム／アプリケーションの企画開発・調査研究・普及啓発活動設立 2017/01/18 住所
東京都品川区西五反田2-25-1 インテックス五反田ビル3F 資本金 30,000,000円取締役 5名従業員 24名 Web https://hololab.co.jp/ 会社概要 Copyright© HoloLab Inc. 2019 All rights reserved 2

注意 • 本スライドの内容は開発中のAzure Kinect DKをもとにしています。製品版では変更される可能性があります。

Kinectについて Copyright© HoloLab Inc. 2019 All rights reserved 7 Kinect
v1 2010年 Kinect v2 2014年 HoloLens 1(Kinect v3) 2016年 Kinect v4/HoloLens 2 2019年

• 中村薫 • Microsoft MVP for Windows Development (2016
- 2020) • Microsoft MVP for Kinect for Windows (Apr 2014 - Mar 2016) • Microsoft MVP for Visual Studio ALM (Apr 2012 - Mar 2014) バックグラウンド Copyright© HoloLab Inc. 2019 All rights reserved 9 2011年 2012年 2012年 2015年

2019/5/2~3 MR Dev Days@Redmond

SDKとサンプル録画データ Copyright© HoloLab Inc. 2019 All rights reserved 12 https://www.microsoft.com/en-us/download/details.aspx?id=58385
https://www.microsoft.com/en-us/download/details.aspx?id=58386 https://www.microsoft.com/en-us/download/details.aspx?id=100063

参考にした技術情報 • Build 2019での講演「Intro to Developing for Azure Kinect」 •
https://mybuild.techcommunity.microsoft.com/sessions/77096 • ドキュメント • Sensor SDK • Azure Kinect Sensor SDK download • https://docs.microsoft.com/ja-jp/azure/kinect-dk/sensor-sdk-download • Quickstart: Set up your Azure Kinect DK • https://docs.microsoft.com/ja-jp/azure/kinect-dk/set-up-azure-kinect-dk • Body Tracking SDK • Download Azure Kinect Body Tracking SDK • https://docs.microsoft.com/ja-jp/azure/kinect-dk/body-sdk-download • Quickstart: Set up Azure Kinect body tracking • https://docs.microsoft.com/ja-jp/azure/kinect-dk/body-sdk-setup Copyright© HoloLab Inc. 2019 All rights reserved 13

まとめ記事 • Azure Kinect DK ことはじめ • https://blog.kaorun55.com/entry/2019/07/12/123223 • Azure
Kinect SDKのインストールと各種ツールの使い方 • https://blog.kaorun55.com/entry/2019/07/19/225953 • Azure Kinect DKの複数台外部同期(External Sync)の手順 • https://blog.kaorun55.com/entry/2019/07/19/235202 Copyright© HoloLab Inc. 2019 All rights reserved 14

Copyright© HoloLab Inc. 2019 All rights reserved 16 https://azure.microsoft.com/ja-jp/services/kinect-dk/ 1.
1MP 深度センサー 2. 7 マイクアレイ 3. 12 MP RGB ビデオカメラ 4. 加速度計とジャイロスコープ (IMU) 5. 複数のKinectからのセンサーストリームを同期できる外部同期ピン

概要 • 新しいDepthセンサーを使用した新しいKinect • 従来のKinectと異なり産業用の位置づけ • 機能は従来通りColor, Depth, IR, Body
• FaceやSpeechはCognitive Serviceを使用する • SDKはGitHubで公開されている • テスト用の録画データも公開されている • 動作にはPCが必要(Auzre Kincetハードウェア内では処理しない) • Body Trackingは別SDK • Body TrakcingにはCUDAが必要なためNVIDIAのGPUが必要

SDK 1. センサーSDK(Sensor SDK) 2. ボディトラッキングSDK(Body Tracking SDK) 3. Azure
Cognitive Services Copyright© HoloLab Inc. 2019 All rights reserved 24

センサーSDK(概要) • WindowsはWin32 API で提供される • C,C++,C#で提供(Unityでも動作した) • Linuxをサポートする •
SDKはGitHubで公開 • https://github.com/microsoft/Azure-Kinect-Sensor-SDK Copyright© HoloLab Inc. 2019 All rights reserved 25

C(自作C++ラッパー + OpenCV + PCL)

C#(WPF)

C#(Unity)

センサーSDK(基本機能) • Depthカメラへのアクセス • パッシブIRモード、画角モードなど • Colorカメラへのアクセス • 露出、ホワイトバランスなど •
モーションセンサーへのアクセス • ジャイロ、加速度 • Depth-Colorデータストリームの同期(Internal Sync) • 複数Kinect間でのタイミング同期(External Sync) • カメラフレームのメタデータへのアクセス • 解像度、タイムスタンプなど • キャリブレーション機能へのアクセス Copyright© HoloLab Inc. 2019 All rights reserved 30

ボディトラッキングSDK(ツール) • ビューアーツール Copyright© HoloLab Inc. 2019 All rights reserved
34

Azure Cognitive Services(概要) • Azure Kinect DKは機能のいくつかをAzure Cognitive Services を使う
ことで実現する Copyright© HoloLab Inc. 2019 All rights reserved 35

Azure Cognitive Services • Speech Services • 音声 → 文字変換
• 翻訳 • など • Azure Vision Services • 文字認識(OCR) • など Copyright© HoloLab Inc. 2019 All rights reserved 36

システム要件 • OS • Windows 10 April 2018 release (x64)
以降 • Linux Ubuntu 18.04 (x64) with OpenGLv4.4 or later GPU driver • ハードウェア要件 • 共通 • メモリ 4GB 以上 • デュアルバンド USB 3 ポート • Sensor SDK • 第7世代 Intel Core i3 プロセッサ (2コア 2.4 GHz, HD620 GPU)以上 • BodyTracking SDK • 第7世代 Intel Core i5 プロセッサ (4コア 2.4 GHz)以上 • NVIDIA GeForce GTX 1070 以上 • 環境要件 • 温度：10-25度 • 湿度：8-90%(結露しないこと) Copyright© HoloLab Inc. 2019 All rights reserved 38

Depthセンサーモード解像度 FOI FPS 有効距離露光時間 NFOV 2x2 binned
(SW) 320x288 75°x 65° 0, 5, 15, 30 0.5 - 5.46 m 12.8 ms NFOV unbinned 640x576 75°x 65° 0, 5, 15, 30 0.5 - 3.86 m 12.8 ms WFOV 2x2 binned 512x512 120°x 120° 0, 5, 15, 30 0.25 - 2.88 m 12.8 ms WFOV unbinned 1024x1024 120°x 120° 0, 5, 15 0.25 - 2.21 m 20.3 ms Passive IR 1024x1024 N/A 0, 5, 15, 30 N/A 1.6 ms Copyright© HoloLab Inc. 2019 All rights reserved 39 FOI (Field of Illumination) → (IRの)投射角 FPS 0 → 静止画 Binned → 隣接する素子を組み合わせることで、解像度を犠牲に有効距離を上げる参考 https://www.baslerweb.com/jp/sales-support/knowledge-base/frequently-asked-questions/what-is-binning/15191/ IR → Microsoft designed 1 Megapixel Time-of-Flight

Depthモード

Depthセンサーこれ？

Colorカメラ Colorカメラ解像(H x V) アスペクト比フォーマット FPS FOV(H x V)
3840x2160 16:9 MJPEG 0, 5, 15, 30 90x59 2560x1440 16:9 MJPEG 0, 5, 15, 30 90x59 1920x1080 16:9 MJPEG 0, 5, 15, 30 90x59 1280x720 16:9 MJPEG/YUY2/NV12 0, 5, 15, 30 90x59 4096x3072 4:3 MJPEG 0, 5, 15 90x74.3 2048x1536 4:3 MJPEG 0, 5, 15, 30 90x74.3 Copyright© HoloLab Inc. 2019 All rights reserved 42 USB Video class対応

Colorカメラ

モーションセンサー(IMU) • 加速度センサーおよびジャイロセンサーと、温度 Copyright© HoloLab Inc. 2019 All rights reserved
44 サンプリングレート 1.6 kHz ホストへの更新 208 Hz

マイクアレイ • 7つのマイクが円形に配置されている Copyright© HoloLab Inc. 2019 All rights reserved
45 感度 -22 dBFS S/N非 65 dB AOP( Acoustic Overload Point) 116 dB

外部同期(External Sync) Copyright© HoloLab Inc. 2019 All rights reserved 46
• 複数台のAuzre Kinect DKをオーディオケーブルで接続することで、データの取得を同期させる。 • 同じタイミングでデータが取得されるので、複数台で同一時間のデータが取得できる。 • IRおよびDepthのタイムスタンプが一致するので後処理ができる。

• タイムスタンプが同期している様子外部同期なし外部同期あり

https://twitter.com/kaorun55/status/1153526509807685635 • ケーブル接続とケース

ハードウェア機能 Azure Kinect SDK Kinect for Windows v2 音声
円形に配置された7つのマイク線形に配置された4つのマイクモーションセンサー 3軸加速度 + 3軸ジャイロ 3軸加速度 Colorカメラ 3840 x 2160 px @30 fps 1920 x 1080 px @30 fps Depthカメラ手法 TOF TOF 解像度 640 x 576 px @30 fps 512 x 424 px @ 30 fps 512 x 512 px @30 fps 1024x1024 px @15 fps 接続性データ USB3.1 gen 1 Type-C USB 3.1 gen 1 Type-A 電源外部電源またはUSB-C 外部電源同期 RGB & Depth & IMU 外部デバイス RGB & Depth 筐体サイズ 103 x 39 x 126 mm 249 x 66 x 67 mm 重さ 440 g 970 g マウント ¼-20 UNC ¼-20 UNC Copyright© HoloLab Inc. 2019 All rights reserved 50

センサーアクセス機能 Azure Kinect SDK Kinect for Windows v2 備考
Depth ✔ ✔ IR ✔ ✔ Color ✔ ✔ カラー画像のフォーマットが異なる Audio (✔) ✔ Azure Kinect DKのマイクは Speech SDK または Windows ネイティブ API でアクセスする IMU ✔ 1軸の加速度のみ（SDKからのアクセス不可） Depth-RGB内部同期 ✔ ✔ キャリブレーション ✔ ✔ OpenCV 互換外部同期 ✔ 複数アプリからのアクセス ✔ Sensor SDKにサービスは実装されないデータの記録と再生 ✔ ✔ Copyright© HoloLab Inc. 2019 All rights reserved 51

機能 Kinect v2の機能 Kinect v2データ Azure Kinect SDK/Azure サービスセンサーアクセスデータ
DepthFrame Sensor SDK InfraredFrame Sensor SDK ColorFrame Sensor SDK AudioBeamFrame 現状では未サポートボディートラッキング BodyFrame Body Tracking SDK BodyIndexFrame Body Tracking SDK 座標変換 CoordinateMapper Sensor SDK フェイストラッキング FaceFrame Cognitive Services : Face 音声認識 N/A Cognitive Services : Speech Copyright© HoloLab Inc. 2019 All rights reserved 52

k4arecorder Copyright© HoloLab Inc. 2019 All rights reserved 56 例:
Color 1080p, Depth NFOV BINNED, 30FPS > k4arecorder -c 1080p -d NFOV_2X2BINNED -r 30 " %HOMEPATH%¥Documents ¥nfov_bined.mkv“ ドキュメントフォルダに録画ファイルが作成される

処理の流れ Copyright© HoloLab Inc. 2019 All rights reserved 59 Kinectを開く
カメラ(IMU)をスタートするデータをキャプチャする Color, IR, Depthの処理/表示をするプレイバックファイルを開くデータをキャプチャする Color, IR, Depthの処理/表示をする Kinectからデータを取得する録画ファイルからデータを取得する

hololab.co.jp

Azure Kinect DK概要

Azure Kinect DK概要

More Decks by HoloLab

Other Decks in Technology

Featured

Transcript