Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Azure Kinect DK概要

A645e7c3a6635ead8fa323c583769591?s=47 HoloLab
March 18, 2019

Azure Kinect DK概要

Azure Kinect DKの概要です

詳しい手順などはこちらを参照ください
https://blog.kaorun55.com/entry/2019/07/12/123223

下記ドキュメントや実際の開発を元にしています。

■Build 2019での講演「Intro to Developing for Azure Kinect」
https://mybuild.techcommunity.microsoft.com/sessions/77096

■公式ドキュメント
▼Azure Kinect Sensor SDK download
https://docs.microsoft.com/ja-jp/azure/kinect-dk/sensor-sdk-download

▼Quickstart: Set up your Azure Kinect DK
https://docs.microsoft.com/ja-jp/azure/kinect-dk/set-up-azure-kinect-dk

▼Download Azure Kinect Body Tracking SDK
https://docs.microsoft.com/ja-jp/azure/kinect-dk/body-sdk-download

▼Quickstart: Set up Azure Kinect body tracking
https://docs.microsoft.com/ja-jp/azure/kinect-dk/body-sdk-setup

A645e7c3a6635ead8fa323c583769591?s=128

HoloLab

March 18, 2019
Tweet

Transcript

  1. Azure Kinect DK概要 最終更新日 2019/08/18 株式会社ホロラボ 代表取締役 CEO 中村 薫

  2. 株式会社ホロラボ 事業内容 HoloLensやWindows MRなどxR技術やセンサー技術に関する ・システム/アプリケーションの企画開発 ・調査研究 ・普及啓発活動 設立 2017/01/18 住所

    東京都品川区西五反田2-25-1 インテックス五反田ビル3F 資本金 30,000,000円 取締役 5名 従業員 24名 Web https://hololab.co.jp/ 会社概要 Copyright© HoloLab Inc. 2019 All rights reserved 2
  3. 注意 • 本スライドの内容は開発中のAzure Kinect DKをもとにしています。製 品版では変更される可能性があります。

  4. なんでKinect? Copyright© HoloLab Inc. 2019 All rights reserved 5 https://azure.microsoft.com/ja-jp/services/kinect-dk/

  5. なんでKinect? Copyright© HoloLab Inc. 2019 All rights reserved 6 https://azure.microsoft.com/ja-jp/services/kinect-dk/

  6. Kinectについて Copyright© HoloLab Inc. 2019 All rights reserved 7 Kinect

    v1 2010年 Kinect v2 2014年 HoloLens 1(Kinect v3) 2016年 Kinect v4/HoloLens 2 2019年
  7. • 中村 薫 • Microsoft MVP for Windows Development (2016

    - 2020) • Microsoft MVP for Kinect for Windows (Apr 2014 - Mar 2016) • Microsoft MVP for Visual Studio ALM (Apr 2012 - Mar 2014) バックグラウンド Copyright© HoloLab Inc. 2019 All rights reserved 9 2011年 2012年 2012年 2015年
  8. 2019/5/2~3 MR Dev Days@Redmond

  9. 2019/7/8 着弾@五反田 Copyright© HoloLab Inc. 2019 All rights reserved 11

  10. SDKとサンプル録画データ Copyright© HoloLab Inc. 2019 All rights reserved 12 https://www.microsoft.com/en-us/download/details.aspx?id=58385

    https://www.microsoft.com/en-us/download/details.aspx?id=58386 https://www.microsoft.com/en-us/download/details.aspx?id=100063
  11. 参考にした技術情報 • Build 2019での講演「Intro to Developing for Azure Kinect」 •

    https://mybuild.techcommunity.microsoft.com/sessions/77096 • ドキュメント • Sensor SDK • Azure Kinect Sensor SDK download • https://docs.microsoft.com/ja-jp/azure/kinect-dk/sensor-sdk-download • Quickstart: Set up your Azure Kinect DK • https://docs.microsoft.com/ja-jp/azure/kinect-dk/set-up-azure-kinect-dk • Body Tracking SDK • Download Azure Kinect Body Tracking SDK • https://docs.microsoft.com/ja-jp/azure/kinect-dk/body-sdk-download • Quickstart: Set up Azure Kinect body tracking • https://docs.microsoft.com/ja-jp/azure/kinect-dk/body-sdk-setup Copyright© HoloLab Inc. 2019 All rights reserved 13
  12. まとめ記事 • Azure Kinect DK ことはじめ • https://blog.kaorun55.com/entry/2019/07/12/123223 • Azure

    Kinect SDKのインストールと各種ツールの使い方 • https://blog.kaorun55.com/entry/2019/07/19/225953 • Azure Kinect DKの複数台外部同期(External Sync)の手順 • https://blog.kaorun55.com/entry/2019/07/19/235202 Copyright© HoloLab Inc. 2019 All rights reserved 14
  13. Copyright© HoloLab Inc. 2019 All rights reserved 15 https://www.youtube.com/watch?v=jJglCYFiodI

  14. Copyright© HoloLab Inc. 2019 All rights reserved 16 https://azure.microsoft.com/ja-jp/services/kinect-dk/ 1.

    1MP 深度センサー 2. 7 マイク アレイ 3. 12 MP RGB ビデオ カメラ 4. 加速度計とジャイロスコープ (IMU) 5. 複数のKinectからのセンサーストリームを同期できる外部同期ピン
  15. 概要 Copyright© HoloLab Inc. 2019 All rights reserved 17

  16. 概要 • 新しいDepthセンサーを使用した新しいKinect • 従来のKinectと異なり産業用の位置づけ • 機能は従来通りColor, Depth, IR, Body

    • FaceやSpeechはCognitive Serviceを使用する • SDKはGitHubで公開されている • テスト用の録画データも公開されている • 動作にはPCが必要(Auzre Kincetハードウェア内では処理しない) • Body Trackingは別SDK • Body TrakcingにはCUDAが必要なためNVIDIAのGPUが必要
  17. None
  18. None
  19. None
  20. ソフトウェア Copyright© HoloLab Inc. 2019 All rights reserved 23

  21. SDK 1. センサーSDK(Sensor SDK) 2. ボディトラッキングSDK(Body Tracking SDK) 3. Azure

    Cognitive Services Copyright© HoloLab Inc. 2019 All rights reserved 24
  22. センサーSDK(概要) • WindowsはWin32 API で提供される • C,C++,C#で提供(Unityでも動作した) • Linuxをサポートする •

    SDKはGitHubで公開 • https://github.com/microsoft/Azure-Kinect-Sensor-SDK Copyright© HoloLab Inc. 2019 All rights reserved 25
  23. C(自作C++ラッパー + OpenCV + PCL)

  24. C#(WPF)

  25. C#(Unity)

  26. センサーSDK(基本機能) • Depthカメラへのアクセス • パッシブIRモード、画角モードなど • Colorカメラへのアクセス • 露出、ホワイトバランスなど •

    モーションセンサーへのアクセス • ジャイロ、加速度 • Depth-Colorデータストリームの同期(Internal Sync) • 複数Kinect間でのタイミング同期(External Sync) • カメラフレームのメタデータへのアクセス • 解像度、タイムスタンプなど • キャリブレーション機能へのアクセス Copyright© HoloLab Inc. 2019 All rights reserved 30
  27. センサーSDK(ツール) • ビューアーツール • センサーデータの記録と再生ツール • ファームウェアアップデートツール Copyright© HoloLab Inc.

    2019 All rights reserved 31
  28. ボディトラッキングSDK(概要) • WindowsはWin32 API で提供される • Linuxをサポートする • Windows版のあと Copyright©

    HoloLab Inc. 2019 All rights reserved 32
  29. ボディトラッキングSDK(基本機能) • ボディのセグメンテーション(分離) • 骨格推定 • ボディへのID付与 • ボディ追跡 Copyright©

    HoloLab Inc. 2019 All rights reserved 33
  30. ボディトラッキングSDK(ツール) • ビューアーツール Copyright© HoloLab Inc. 2019 All rights reserved

    34
  31. Azure Cognitive Services(概要) • Azure Kinect DKは機能のいくつかをAzure Cognitive Services を使う

    ことで実現する Copyright© HoloLab Inc. 2019 All rights reserved 35
  32. Azure Cognitive Services • Speech Services • 音声 → 文字変換

    • 翻訳 • など • Azure Vision Services • 文字認識(OCR) • など Copyright© HoloLab Inc. 2019 All rights reserved 36
  33. ハードウェア Copyright© HoloLab Inc. 2019 All rights reserved 37

  34. システム要件 • OS • Windows 10 April 2018 release (x64)

    以降 • Linux Ubuntu 18.04 (x64) with OpenGLv4.4 or later GPU driver • ハードウェア要件 • 共通 • メモリ 4GB 以上 • デュアルバンド USB 3 ポート • Sensor SDK • 第7世代 Intel Core i3 プロセッサ (2コア 2.4 GHz, HD620 GPU)以上 • BodyTracking SDK • 第7世代 Intel Core i5 プロセッサ (4コア 2.4 GHz)以上 • NVIDIA GeForce GTX 1070 以上 • 環境要件 • 温度:10-25度 • 湿度:8-90%(結露しないこと) Copyright© HoloLab Inc. 2019 All rights reserved 38
  35. Depthセンサー モード 解像度 FOI FPS 有効距離 露光時間 NFOV 2x2 binned

    (SW) 320x288 75°x 65° 0, 5, 15, 30 0.5 - 5.46 m 12.8 ms NFOV unbinned 640x576 75°x 65° 0, 5, 15, 30 0.5 - 3.86 m 12.8 ms WFOV 2x2 binned 512x512 120°x 120° 0, 5, 15, 30 0.25 - 2.88 m 12.8 ms WFOV unbinned 1024x1024 120°x 120° 0, 5, 15 0.25 - 2.21 m 20.3 ms Passive IR 1024x1024 N/A 0, 5, 15, 30 N/A 1.6 ms Copyright© HoloLab Inc. 2019 All rights reserved 39 FOI (Field of Illumination) → (IRの)投射角 FPS 0 → 静止画 Binned → 隣接する素子を組み合わせることで、解像度を犠牲に有効距離を上げる 参考 https://www.baslerweb.com/jp/sales-support/knowledge-base/frequently-asked-questions/what-is-binning/15191/ IR → Microsoft designed 1 Megapixel Time-of-Flight
  36. Depthモード

  37. Depthセンサー これ?

  38. Colorカメラ Colorカメラ解像(H x V) アスペクト比 フォーマット FPS FOV(H x V)

    3840x2160 16:9 MJPEG 0, 5, 15, 30 90x59 2560x1440 16:9 MJPEG 0, 5, 15, 30 90x59 1920x1080 16:9 MJPEG 0, 5, 15, 30 90x59 1280x720 16:9 MJPEG/YUY2/NV12 0, 5, 15, 30 90x59 4096x3072 4:3 MJPEG 0, 5, 15 90x74.3 2048x1536 4:3 MJPEG 0, 5, 15, 30 90x74.3 Copyright© HoloLab Inc. 2019 All rights reserved 42 USB Video class対応
  39. Colorカメラ

  40. モーションセンサー(IMU) • 加速度センサーおよびジャイロセンサーと、温度 Copyright© HoloLab Inc. 2019 All rights reserved

    44 サンプリングレート 1.6 kHz ホストへの更新 208 Hz
  41. マイクアレイ • 7つのマイクが円形に配置されている Copyright© HoloLab Inc. 2019 All rights reserved

    45 感度 -22 dBFS S/N非 65 dB AOP( Acoustic Overload Point) 116 dB
  42. 外部同期(External Sync) Copyright© HoloLab Inc. 2019 All rights reserved 46

    • 複数台のAuzre Kinect DKをオーディオケーブルで接続することで、 データの取得を同期させる。 • 同じタイミングでデータが取得されるので、複数台で同一時間のデー タが取得できる。 • IRおよびDepthのタイムスタンプが一致 するので後処理ができる。
  43. 外部同期(External Sync) Copyright© HoloLab Inc. 2019 All rights reserved 47

    • タイムスタンプが同期している様子 外部同期なし 外部同期あり
  44. 外部同期(External Sync) Copyright© HoloLab Inc. 2019 All rights reserved 48

    https://twitter.com/kaorun55/status/1153526509807685635 • ケーブル接続とケース
  45. Azure KinectとKinect for Windows v2の比較 Copyright© HoloLab Inc. 2019 All

    rights reserved 49
  46. ハードウェア 機能 Azure Kinect SDK Kinect for Windows v2 音声

    円形に配置された7つのマイク 線形に配置された4つのマイク モーションセンサー 3軸加速度 + 3軸ジャイロ 3軸加速度 Colorカメラ 3840 x 2160 px @30 fps 1920 x 1080 px @30 fps Depthカメラ 手法 TOF TOF 解像度 640 x 576 px @30 fps 512 x 424 px @ 30 fps 512 x 512 px @30 fps 1024x1024 px @15 fps 接続性 データ USB3.1 gen 1 Type-C USB 3.1 gen 1 Type-A 電源 外部電源またはUSB-C 外部電源 同期 RGB & Depth & IMU 外部デバイス RGB & Depth 筐体 サイズ 103 x 39 x 126 mm 249 x 66 x 67 mm 重さ 440 g 970 g マウント ¼-20 UNC ¼-20 UNC Copyright© HoloLab Inc. 2019 All rights reserved 50
  47. センサーアクセス 機能 Azure Kinect SDK Kinect for Windows v2 備考

    Depth ✔ ✔ IR ✔ ✔ Color ✔ ✔ カラー画像のフォーマットが異なる Audio (✔) ✔ Azure Kinect DKのマイクは Speech SDK または Windows ネイティブ API でアクセスする IMU ✔ 1軸の加速度のみ (SDKからのアクセス不可) Depth-RGB内部同期 ✔ ✔ キャリブレーション ✔ ✔ OpenCV 互換 外部同期 ✔ 複数アプリからのアクセス ✔ Sensor SDKにサービスは実装されない データの記録と再生 ✔ ✔ Copyright© HoloLab Inc. 2019 All rights reserved 51
  48. 機能 Kinect v2の機能 Kinect v2データ Azure Kinect SDK/Azure サービス センサーアクセスデータ

    DepthFrame Sensor SDK InfraredFrame Sensor SDK ColorFrame Sensor SDK AudioBeamFrame 現状では未サポート ボディートラッキング BodyFrame Body Tracking SDK BodyIndexFrame Body Tracking SDK 座標変換 CoordinateMapper Sensor SDK フェイストラッキング FaceFrame Cognitive Services : Face 音声認識 N/A Cognitive Services : Speech Copyright© HoloLab Inc. 2019 All rights reserved 52
  49. 開発 Copyright© HoloLab Inc. 2019 All rights reserved 53

  50. インストール Copyright© HoloLab Inc. 2019 All rights reserved 54 https://github.com/microsoft/Azure-Kinect-Sensor-SDK

    https://www.microsoft.com/en-us/download/details.aspx?id=58386
  51. Azure Kinect Viewer Copyright© HoloLab Inc. 2019 All rights reserved

    55
  52. k4arecorder Copyright© HoloLab Inc. 2019 All rights reserved 56 例:

    Color 1080p, Depth NFOV BINNED, 30FPS > k4arecorder -c 1080p -d NFOV_2X2BINNED -r 30 " %HOMEPATH%¥Documents ¥nfov_bined.mkv“ ドキュメントフォルダに録画ファイルが作成される
  53. サンプル録画データ Copyright© HoloLab Inc. 2019 All rights reserved 57 https://www.microsoft.com/en-us/download/details.aspx?id=58385

  54. 処理の流れ Copyright© HoloLab Inc. 2019 All rights reserved 58 Kinectを開く

    カメラ(IMU)をスタートする データをキャプチャする Color, IR, Depthの処理/表示をする Kinectからデータを取得する
  55. 処理の流れ Copyright© HoloLab Inc. 2019 All rights reserved 59 Kinectを開く

    カメラ(IMU)をスタートする データをキャプチャする Color, IR, Depthの処理/表示をする プレイバックファイルを開く データをキャプチャする Color, IR, Depthの処理/表示をする Kinectからデータを取得する 録画ファイルからデータを取得する
  56. データの流れ Copyright© HoloLab Inc. 2019 All rights reserved 60 Device/Playback

    Capture Image
  57. カメラの座標系 Copyright© HoloLab Inc. 2019 All rights reserved 61

  58. ColorカメラとDepthカメラの視野角 Copyright© HoloLab Inc. 2019 All rights reserved 62

  59. 座標変換 Copyright© HoloLab Inc. 2019 All rights reserved 63

  60. DepthとColorを合わせる話 Copyright© HoloLab Inc. 2019 All rights reserved 64 Thanks

    @tarukosu Color カメラと Depth カメラの位置が違うので、 Color では観測できるけど、Depth では観測できない点がある(逆も)
  61. ColorをDepthに合わせる Copyright© HoloLab Inc. 2019 All rights reserved 65 Color

    を Depth に合わせると、同じ画像が二重に出てしまう Thanks @tarukosu
  62. DepthをColorに合わせる Copyright© HoloLab Inc. 2019 All rights reserved 66 Depth

    を Color に合わせると影ができる。 基本はこっちを使ったほうが良い。 Thanks @tarukosu
  63. hololab.co.jp