デモを交えながら知るハンドトラッキング

2021年6⽉11⽇（金）に行われた「トラッキング技術勉強会 #tratech」にて発表させていただいた登壇資料になります。
https://www.youtube.com/watch?v=ySPpJCfAW_Y

Transcript

2. 株式会社バーチャルキャストでVTuberに関 する研究開発を行うエンジニア。 主にVR、モーションキャプチャ、C#を扱う。 活動の傍らOSS活動や勉強会への展示、 発表活動なども行っている。 Unity デザイナーズ・バイブル Unityゲーム プログラミング・ 　　バイブル 2nd Generation 共著者 自己紹介 @karukaru808 @_karukaru_ cifertech.booth.pm karukaru Senior Virtual Reality Specialist
3. 今日話す内容 1, ハンドトラッキングとは 　2, デモ（6機種） 　1, 紹介するデバイス一覧 2, デバイス紹介 この話は、 ・どのデバイスを選択すればいいのかわからない ・デバイスごとのデモをめちゃくちゃ見たい という方向けの内容です。
4. ハンドトラッキングとは
5. ハンドトラッキングとは 手の動きをカメラやセンサなどを使用してトラッキングすること。 今回は広義の意味で話します。 広義では 指の動きを含めて トラッキングすること。 → Finger Tracking と呼ばれる。 狭義では 手の動きのみ をトラッキングすること。 → Hand Detection と呼ばれる。 引用：https://google.github.io/mediapipe/solutions/hands.html 引用：https://google.github.io/mediapipe/solutions/hands.html 引用：https://github.com/victordibia/handtracking 引用：https://github.com/victordibia/handtracking
6. Body Trackingに付随して指までトラッキングできるシステムもある。 Body Trackingされていることが大前提。 Finger Trackingのみできるのは少ない。 今回はこういったBody Trac- king機材の話はしません。 Finger Trackingをメインに 行う機材について話します。 　Azure Kinect DK, Perception Neuron, OptiTrack, VICON, etc... 引用：https://www.aiuto-jp.co.jp/products/product_2939.php 引用：https://www.aiuto-jp.co.jp/products/product_2939.php 引用：https://v22.wiki.optitrack.com/index.php 　　　?title=Baseline_%2B_11_Additional_Markers_%2B_Fingers_(54) 引用：https://v22.wiki.optitrack.com/index.php 　　　?title=Baseline_%2B_11_Additional_Markers_%2B_Fingers_(54) ハンドトラッキングとは
7. デバイス紹介
8. 　3, MANUS Prime Ⅱ 　4, Rokoko SmartGloves 　5, LucidVR glove prototype 　6, exiii EXOS Weist DK2 　7, VRfree Glove 　2, Noitom Hi5 　1, Valve Index Controller 2, センサ式 　3, LeapMotion 　4, MediaPipe Hands pipeline 　5, HoloLens2 　2, Oculus Quest Hand Tracking 　1, VIVE Hand Tracking 1, 光学式 デバイス紹介 ザッとピックアップしただけでも以下のようなデバイスがある。
9. デバイス紹介 　3, MANUS Prime Ⅱ 　4, Rokoko SmartGloves 　5, LucidVR glove prototype 　6, exiii EXOS Weist DK2 　7, VRfree Glove 　2, Noitom Hi5 　1, Valve Index Controller 2, センサ式 　3, LeapMotion 　4, MediaPipe Hands 　5, HoloLens2 　2, Oculus Quest Hand Tracking 　1, VIVE Hand Tracking 1, 光学式 赤字のデバイスについて話します。緑字は知見はあるけど話さないデバイス。
10. デバイス紹介 1, VIVE Hand Tracking 　HTC VIVEが提供するHand Tracking SDK。 　VIVE製品でしか動作しないと思われがちだが、Valve Indexや 　Androidスマートフォンでも動作する。 　ディープラーニングを用いたトラッ 　キング手法。 　手の検出信頼値（Hand Confid- 　ence）が取得できるため、信頼値 　が低い場合は別の手法へ切り替える 　なども可能。 引用：https://www.youtube.com/watch?v=ecndCV1DrPk 引用：https://www.youtube.com/watch?v=ecndCV1DrPk
11. 2, LeapMotion デバイス紹介 　Ultraleapが提供するハンドトラッキングデバイス。 　3個の赤外線LEDと2個の赤外線カメラでトラッキング。 　手のひらサイズ（縦幅80mm x 横幅30mm x 高さ11.3mm）なため 　首からかけて運用することも可能。 　近年ではスペックが向上した後継機 　（Stereo IR 170）が開発者向け 　に販売されている。 引用：https://www.ultraleap.com/product/stereo-ir-170/ 引用：https://www.ultraleap.com/product/stereo-ir-170/ 引用：https://www.ultraleap.com/product/leap-motion-controller/ 引用：https://www.ultraleap.com/product/leap-motion-controller/
12. デバイス紹介 3, HoloLens2 　Microsoftが販売しているMRデバイス。 　Finger Tracking以外にも赤外線カメラによるEye Trackingや 　深度センサによる空間マッピング等が可能。 　オクルージョンにもそこそこ強い。 　普通に次世代の体験ができるので一度は体験してみると良い。 　　今回はHoloLens2を所有している友人にデモ動画撮影してもらいました。 引用：https://www.jbs.co.jp/solution/list/microsofthololens 引用：https://www.jbs.co.jp/solution/list/microsofthololens Thanks! @futanyaha
13. デバイス紹介 4, Valve Index Controller 　Valve社が2019年に発売したVR用コントローラ。 　持ち手の部分に静電容量センサや力覚センサが入っており、指の開閉は 　もちろん力を込めた時の表現も可能。 　各指に対応するセンサ部分が決まっており日本人 　には少し大きすぎる配置。 　指の曲がりを検知する範囲が狭いため細かい表現 　を行うには相当な訓練が必要。 引用：https://degicashop.com/products/valve-index-コントローラ 引用：https://degicashop.com/products/valve-index-コントローラ 引用：https://uploadvr.com/valve-index-price-specs/ 引用：https://uploadvr.com/valve-index-price-specs/
14. デバイス紹介 5, Noitom Hi5 　Perception Neuronシリーズを販売しているNoitomが出した 　Finger Tracking専用デバイス。 　各指先と手の甲にIMUセンサが1個ずつ、計6個搭載。 　専用エディタ等は無いのでUnityやUE4へ直入れしかない。 　1PCに対して1組しか接続できないため、複数台 　運用時は複数台PCを用意しないといけない。 　減磁さえすればそれなりに動く手軽さは良い。 　指がめっちゃ綺麗に動くOSS公開してるので 　みんな使って！ 　　https://github.com/BitStarInc/NoitomHi5InertiaToFingerMuscle 引用：https://www.noitom.com/hi5-vr-glove 引用：https://www.noitom.com/hi5-vr-glove
15. デバイス紹介 6, LucidVR glove prototype 　海外の方が個人で制作を進めているOSSプロダクト。 　22ドルで作成できるということを売りにしている。 　実際に制作してみたら1組当たり2067円かかった。 　ただしパーツの余剰分やフィラメント代、電気代、 　その他は考えてない。 　グローブの指先に付けた紐で可変抵抗を回してAr- 　duinoで値を読み取ってOpenVR Driverへ投げ 　つけるだけ。 　触覚フィードバックを与えられるようにする計画も。 　　パーツ余剰分を考えると3649円、その他諸々を考えると 　　5000円弱くらい？ 引用：https://hackaday.io/project/178243-lucidvr-budget-haptic-glove 引用：https://hackaday.io/project/178243-lucidvr-budget-haptic-glove
16. ご清聴ありがとうございました。