Azure Kinect+Unityで軽率にBody Trackingする

Azure Kinect + Unityで軽率にBody Trackingする第４回バーチャル学生LT にー兄さん(@ninisan_drumath)

にー兄さん@ninisan_drumath 万年外出自粛系大学生筑波大学情報科学類3年(coins18) リアルタイムCG、Humanoid制御、AR/VRとか好き最近はもっぱらUnity開発がメインバーチャル学生LT登壇は初めて(学生LTは4回目くらい？) 久しぶりの5分LTなので自信がない

スライド公開します SNSへの投稿(?)も問題ないです！

agenda Azure Kinect #とは UnityでAzureKinect BodyTracking 触ってみた感想

Azure Kinect #とは

Kinectとは？ ❖ センサーデバイスのこと ❖ 天下のMicrosoft謹製 ❖ RGB画像、深度、人体検出などができる

Kinectとバージョン v1, v2 →Xbox用に作られ、後にWindowsで汎用的に開発できるようになるが、生産終了した v3 →「Hololens」という名称で発売　現在はHololens2が出ている v4 →「Azure
Kinect」という名称で発売　3月には日本での発売も本日は☝のAzure Kinectについて話します

Azure Kinectについてもう少し深く従来のKinectよりも軽量かつ小型化された Azureと接続→高度な ✝AI✝ による認識性能向上 C++とC#のSDKが配布されている価格は47,025円(5/8現在) もちろんBody
Trackingも使えるだがUnity用の公式パッケージがない

UnityでAzureKinect BodyTracking

そもそもUnityで使えるのか...？ (前述のとおり)Unityの公式BodyTrakcingSDKなんてものはないしかし情報を漁ると色々出てくる →たぶんできそう(本日の軽率ポイント)

検証環境 Unity：2018.4.x Azure Kinect SDK：1.4.0 Azure Kinect Body Tracking SDK：1.0.0
これらのセットアップが済んでいることを想定

試したリポジトリ curiosity-inc/azure-kinect-dk-unity →BodyTrackingSDKのバージョン違いなのか　Unityがクラッシュしてしまった satoshi-maemoto/Azure-Kinect-Unity-Body-Tracker →ちゃんと動いた、がコードリーディングで挫折(クソザコ) 　またチャレンジしたいところ microsoft/Azure-Kinect-Samples →よくみたら公式サンプルあるやんけ →普通に動いたしコードも簡単なので採用

実行環境の構築 READMEに書いてある通りプロジェクトをVSで開き、コンソールからnugetパッケージをインストする注意１：ディレクトリ階層が深すぎるとインストールに失敗する注意2：UnityパッケージのNuGetForUnityは使えない

実行環境の構築あとはバッチファイルを実行(dllの移動など)をすれば実行できる！ｺﾛﾝﾋﾞｱ！

プロジェクト概観 main.csをいじればviewerくらい簡単に作れそう UnityEngineとSystem.Numerics にVector3が存在するので相互変換が必要そう Bodyも複数名前空間に存在

実はビルドしたサンプルは正常終了しなくて... ビルドディレクトリにcublas_64.dllとcudart_64.dllを含めると動作するだが終了時にクラッシュするバックグラウンドプロセスを処理できているように見える →実際はプロセスが終了する前にアプリが落ちる →Azure Kinectのコネクションが残る厄介なバグ →Unityエディタでは起こらないのでもっと厄介ビルドしたアプリがクラッシュするDaiGo

触ってみた感想

v2と比べていいと思ったところ • コンパクトで見た目が可愛い(カラバリとかほしい)(諸説あり) • v2のようにトラッキングが外れたときにボーンが破綻しない • 手が体の前にあっても割と認識してくれる →精度向上は微妙、みたいな意見も聞いたことあるけど自分的には • 前後判定ができる→鼻や目の位置が取れる
• ボーンの種類が変わった→数も増えたしchestのボーンがある

要望 Unity用のBodyTrackingパッケージが欲しいレコードデータをアプリに流せる機能が欲しい →v2のときにはKinect Studioで実装されているマウントホルダー的なものが欲しい（すでにある？） →小さいのでディスプレイに着けても負担が軽そう

ご清聴ありがとうございました

Azure Kinect+Unityで軽率にBody Trackingする

Azure Kinect+Unityで軽率にBody Trackingする

にー兄さん

More Decks by にー兄さん

Other Decks in Programming

Featured

Transcript