Azure Kinect DK概要

Azure Kinect DK概要
最終更新日 2019/08/18
株式会社ホロラボ
代表取締役 CEO 中村薫

View Slide

株式会社ホロラボ
事業内容
HoloLensやWindows MRなどxR技術やセンサー技術に関する
・システム／アプリケーションの企画開発
・調査研究
・普及啓発活動
設立 2017/01/18
住所東京都品川区西五反田2-25-1 インテックス五反田ビル3F
資本金 30,000,000円
取締役 5名
従業員 24名
Web https://hololab.co.jp/
会社概要
Copyright© HoloLab Inc. 2019 All rights reserved 2

View Slide

注意
• 本スライドの内容は開発中のAzure Kinect DKをもとにしています。製
品版では変更される可能性があります。

View Slide

なんでKinect？
https://azure.microsoft.com/ja-jp/services/kinect-dk/

View Slide

なんでKinect？

View Slide

Kinectについて
Kinect v1
2010年
Kinect v2
2014年
HoloLens 1(Kinect v3)
2016年
Kinect v4/HoloLens 2
2019年

View Slide

• 中村薫
• Microsoft MVP for Windows Development (2016 - 2020)
• Microsoft MVP for Kinect for Windows (Apr 2014 - Mar 2016)
• Microsoft MVP for Visual Studio ALM (Apr 2012 - Mar 2014)
バックグラウンド
2011年 2012年 2012年 2015年

View Slide

2019/5/2~3 MR Dev Days@Redmond

View Slide

2019/7/8 着弾@五反田

View Slide

SDKとサンプル録画データ
https://www.microsoft.com/en-us/download/details.aspx?id=58385

View Slide

参考にした技術情報
• Build 2019での講演「Intro to Developing for Azure Kinect」
• https://mybuild.techcommunity.microsoft.com/sessions/77096
• ドキュメント
• Sensor SDK
• Azure Kinect Sensor SDK download
• https://docs.microsoft.com/ja-jp/azure/kinect-dk/sensor-sdk-download
• Quickstart: Set up your Azure Kinect DK
• https://docs.microsoft.com/ja-jp/azure/kinect-dk/set-up-azure-kinect-dk
• Body Tracking SDK
• Download Azure Kinect Body Tracking SDK
• https://docs.microsoft.com/ja-jp/azure/kinect-dk/body-sdk-download
• Quickstart: Set up Azure Kinect body tracking
• https://docs.microsoft.com/ja-jp/azure/kinect-dk/body-sdk-setup

View Slide

まとめ記事
• Azure Kinect DK ことはじめ
• https://blog.kaorun55.com/entry/2019/07/12/123223
• Azure Kinect SDKのインストールと各種ツールの使い方
• Azure Kinect DKの複数台外部同期(External Sync)の手順

View Slide

https://www.youtube.com/watch?v=jJglCYFiodI

View Slide

1. 1MP 深度センサー
2. 7 マイクアレイ
3. 12 MP RGB ビデオカメラ
4. 加速度計とジャイロスコープ (IMU)
5. 複数のKinectからのセンサーストリームを同期できる外部同期ピン

View Slide

概要

View Slide

概要
• 新しいDepthセンサーを使用した新しいKinect
• 従来のKinectと異なり産業用の位置づけ
• 機能は従来通りColor, Depth, IR, Body
• FaceやSpeechはCognitive Serviceを使用する
• SDKはGitHubで公開されている
• テスト用の録画データも公開されている
• 動作にはPCが必要(Auzre Kincetハードウェア内では処理しない)
• Body Trackingは別SDK
• Body TrakcingにはCUDAが必要なためNVIDIAのGPUが必要

View Slide

View Slide

ソフトウェア

View Slide

SDK
1. センサーSDK(Sensor SDK)
2. ボディトラッキングSDK(Body Tracking SDK)
3. Azure Cognitive Services

View Slide

センサーSDK(概要)
• WindowsはWin32 API で提供される
• C,C++,C#で提供(Unityでも動作した)
• Linuxをサポートする
• SDKはGitHubで公開
• https://github.com/microsoft/Azure-Kinect-Sensor-SDK

View Slide

C(自作C++ラッパー + OpenCV + PCL)

View Slide

C#(WPF)

View Slide

C#(Unity)

View Slide

センサーSDK(基本機能)
• Depthカメラへのアクセス
• パッシブIRモード、画角モードなど
• Colorカメラへのアクセス
• 露出、ホワイトバランスなど
• モーションセンサーへのアクセス
• ジャイロ、加速度
• Depth-Colorデータストリームの同期(Internal Sync)
• 複数Kinect間でのタイミング同期(External Sync)
• カメラフレームのメタデータへのアクセス
• 解像度、タイムスタンプなど
• キャリブレーション機能へのアクセス

View Slide

センサーSDK(ツール)
• ビューアーツール
• センサーデータの記録と再生ツール
• ファームウェアアップデートツール

View Slide

ボディトラッキングSDK(概要)
• WindowsはWin32 API で提供される
• Linuxをサポートする
• Windows版のあと

View Slide

ボディトラッキングSDK(基本機能)
• ボディのセグメンテーション(分離)
• 骨格推定
• ボディへのID付与
• ボディ追跡

View Slide

ボディトラッキングSDK(ツール)
• ビューアーツール

View Slide

Azure Cognitive Services(概要)
• Azure Kinect DKは機能のいくつかをAzure Cognitive Services を使う
ことで実現する

View Slide

Azure Cognitive Services
• Speech Services
• 音声 → 文字変換
• 翻訳
• など
• Azure Vision Services
• 文字認識(OCR)
• など

View Slide

ハードウェア

View Slide

システム要件
• OS
• Windows 10 April 2018 release (x64) 以降
• Linux Ubuntu 18.04 (x64) with OpenGLv4.4 or later GPU driver
• ハードウェア要件
• 共通
• メモリ 4GB 以上
• デュアルバンド USB 3 ポート
• Sensor SDK
• 第7世代 Intel Core i3 プロセッサ (2コア 2.4 GHz, HD620 GPU)以上
• BodyTracking SDK
• 第7世代 Intel Core i5 プロセッサ (4コア 2.4 GHz)以上
• NVIDIA GeForce GTX 1070 以上
• 環境要件
• 温度：10-25度
• 湿度：8-90%(結露しないこと)

View Slide

Depthセンサー
モード解像度 FOI FPS 有効距離露光時間
NFOV 2x2 binned (SW) 320x288 75°x 65° 0, 5, 15, 30 0.5 - 5.46 m 12.8 ms
NFOV unbinned 640x576 75°x 65° 0, 5, 15, 30 0.5 - 3.86 m 12.8 ms
WFOV 2x2 binned 512x512 120°x 120° 0, 5, 15, 30 0.25 - 2.88 m 12.8 ms
WFOV unbinned 1024x1024 120°x 120° 0, 5, 15 0.25 - 2.21 m 20.3 ms
Passive IR 1024x1024 N/A 0, 5, 15, 30 N/A 1.6 ms
FOI (Field of Illumination) → (IRの)投射角
FPS 0 → 静止画
Binned → 隣接する素子を組み合わせることで、解像度を犠牲に有効距離を上げる
参考 https://www.baslerweb.com/jp/sales-support/knowledge-base/frequently-asked-questions/what-is-binning/15191/
IR → Microsoft designed 1 Megapixel Time-of-Flight

View Slide

Depthモード

View Slide

Depthセンサー
これ？

View Slide

Colorカメラ
Colorカメラ解像(H x V) アスペクト比フォーマット FPS FOV(H x V)
3840x2160 16:9 MJPEG 0, 5, 15, 30 90x59
2560x1440 16:9 MJPEG 0, 5, 15, 30 90x59
1920x1080 16:9 MJPEG 0, 5, 15, 30 90x59
1280x720 16:9 MJPEG/YUY2/NV12 0, 5, 15, 30 90x59
4096x3072 4:3 MJPEG 0, 5, 15 90x74.3
2048x1536 4:3 MJPEG 0, 5, 15, 30 90x74.3
USB Video class対応

View Slide

Colorカメラ

View Slide

モーションセンサー(IMU)
• 加速度センサーおよびジャイロセンサーと、温度
サンプリングレート 1.6 kHz
ホストへの更新 208 Hz

View Slide

マイクアレイ
• 7つのマイクが円形に配置されている
感度 -22 dBFS
S/N非 65 dB
AOP( Acoustic Overload Point) 116 dB

View Slide

外部同期(External Sync)
• 複数台のAuzre Kinect DKをオーディオケーブルで接続することで、
データの取得を同期させる。
• 同じタイミングでデータが取得されるので、複数台で同一時間のデー
タが取得できる。
• IRおよびDepthのタイムスタンプが一致
するので後処理ができる。

View Slide

• タイムスタンプが同期している様子
外部同期なし外部同期あり

View Slide

https://twitter.com/kaorun55/status/1153526509807685635
• ケーブル接続とケース

View Slide

Azure KinectとKinect for Windows v2の比較

View Slide

ハードウェア
機能 Azure Kinect SDK Kinect for Windows v2
音声円形に配置された7つのマイク線形に配置された4つのマイク
モーションセンサー 3軸加速度 + 3軸ジャイロ 3軸加速度
Colorカメラ 3840 x 2160 px @30 fps 1920 x 1080 px @30 fps
Depthカメラ手法 TOF TOF
解像度 640 x 576 px @30 fps 512 x 424 px @ 30 fps
512 x 512 px @30 fps
1024x1024 px @15 fps
接続性データ USB3.1 gen 1 Type-C USB 3.1 gen 1 Type-A
電源外部電源またはUSB-C 外部電源
同期 RGB & Depth & IMU
外部デバイス
RGB & Depth
筐体サイズ 103 x 39 x 126 mm 249 x 66 x 67 mm
重さ 440 g 970 g
マウント ¼-20 UNC ¼-20 UNC

View Slide

センサーアクセス
機能 Azure Kinect SDK Kinect for Windows v2 備考
Depth ✔ ✔
IR ✔ ✔
Color ✔ ✔ カラー画像のフォーマットが異なる
Audio
(✔) ✔
Azure Kinect DKのマイクは
Speech SDK または Windows
ネイティブ API でアクセスする
IMU
✔
1軸の加速度のみ
（SDKからのアクセス不可）
Depth-RGB内部同期 ✔ ✔
キャリブレーション ✔ ✔ OpenCV 互換
外部同期 ✔
複数アプリからのアクセス ✔ Sensor SDKにサービスは実装されない
データの記録と再生 ✔ ✔

View Slide

機能
Kinect v2の機能 Kinect v2データ Azure Kinect SDK/Azure サービス
センサーアクセスデータ DepthFrame Sensor SDK
InfraredFrame Sensor SDK
ColorFrame Sensor SDK
AudioBeamFrame 現状では未サポート
ボディートラッキング BodyFrame Body Tracking SDK
BodyIndexFrame Body Tracking SDK
座標変換 CoordinateMapper Sensor SDK
フェイストラッキング FaceFrame Cognitive Services : Face
音声認識 N/A Cognitive Services : Speech

View Slide

開発

View Slide

インストール
https://github.com/microsoft/Azure-Kinect-Sensor-SDK https://www.microsoft.com/en-us/download/details.aspx?id=58386

View Slide

Azure Kinect Viewer

View Slide

k4arecorder
例: Color 1080p, Depth NFOV BINNED, 30FPS
> k4arecorder -c 1080p -d NFOV_2X2BINNED -r 30 " %HOMEPATH%¥Documents ¥nfov_bined.mkv“
ドキュメントフォルダに録画ファイルが作成される

View Slide

サンプル録画データ

View Slide

処理の流れ
Kinectを開く
カメラ(IMU)をスタートする
データをキャプチャする
Color, IR, Depthの処理/表示をする
Kinectからデータを取得する

View Slide

処理の流れ
Kinectを開く
カメラ(IMU)をスタートする
プレイバックファイルを開く
Kinectからデータを取得する録画ファイルからデータを取得する

View Slide

データの流れ
Device/Playback Capture Image

View Slide

カメラの座標系

View Slide

ColorカメラとDepthカメラの視野角

View Slide

座標変換

View Slide

DepthとColorを合わせる話
Thanks @tarukosu
Color カメラと Depth カメラの位置が違うので、
Color では観測できるけど、Depth では観測できない点がある（逆も）

View Slide

ColorをDepthに合わせる
Color を Depth に合わせると、同じ画像が二重に出てしまう
Thanks @tarukosu

View Slide

DepthをColorに合わせる
Depth を Color に合わせると影ができる。
基本はこっちを使ったほうが良い。
Thanks @tarukosu

View Slide

hololab.co.jp

View Slide

Azure Kinect DK概要

Azure Kinect DK概要

HoloLab

More Decks by HoloLab

Other Decks in Technology

Featured

Transcript