Upgrade to Pro — share decks privately, control downloads, hide ads and more …

デモを交えながら知るハンドトラッキング

 デモを交えながら知るハンドトラッキング

2021年6⽉11⽇(金)に行われた「トラッキング技術勉強会 #tratech」にて発表させていただいた登壇資料になります。
https://www.youtube.com/watch?v=ySPpJCfAW_Y

E51d70dc152cef9d3dafa13aa94b17ed?s=128

karukaru

June 11, 2021
Tweet

Transcript

  1. None
  2. 株式会社バーチャルキャストでVTuberに関 する研究開発を行うエンジニア。 主にVR、モーションキャプチャ、C#を扱う。 活動の傍らOSS活動や勉強会への展示、 発表活動なども行っている。 Unity デザイナーズ・バイブル Unityゲーム プログラミング・   バイブル

    2nd Generation 共著者 自己紹介 @karukaru808 @_karukaru_ cifertech.booth.pm karukaru Senior Virtual Reality Specialist
  3. 今日話す内容 1, ハンドトラッキングとは  2, デモ(6機種)  1, 紹介するデバイス一覧 2, デバイス紹介 この話は、

    ・どのデバイスを選択すればいいのかわからない ・デバイスごとのデモをめちゃくちゃ見たい という方向けの内容です。
  4. ハンドトラッキングとは

  5. ハンドトラッキングとは 手の動きをカメラやセンサなどを使用してトラッキングすること。 今回は広義の意味で話します。 広義では 指の動きを含めて トラッキングすること。 → Finger Tracking と呼ばれる。

    狭義では 手の動きのみ をトラッキングすること。 → Hand Detection と呼ばれる。 引用:https://google.github.io/mediapipe/solutions/hands.html 引用:https://google.github.io/mediapipe/solutions/hands.html 引用:https://github.com/victordibia/handtracking 引用:https://github.com/victordibia/handtracking
  6. Body Trackingに付随して指までトラッキングできるシステムもある。 Body Trackingされていることが大前提。 Finger Trackingのみできるのは少ない。 今回はこういったBody Trac- king機材の話はしません。 Finger

    Trackingをメインに 行う機材について話します。  Azure Kinect DK, Perception Neuron, OptiTrack, VICON, etc... 引用:https://www.aiuto-jp.co.jp/products/product_2939.php 引用:https://www.aiuto-jp.co.jp/products/product_2939.php 引用:https://v22.wiki.optitrack.com/index.php    ?title=Baseline_%2B_11_Additional_Markers_%2B_Fingers_(54) 引用:https://v22.wiki.optitrack.com/index.php    ?title=Baseline_%2B_11_Additional_Markers_%2B_Fingers_(54) ハンドトラッキングとは
  7. デバイス紹介

  8.  3, MANUS Prime Ⅱ  4, Rokoko SmartGloves  5, LucidVR glove

    prototype  6, exiii EXOS Weist DK2  7, VRfree Glove  2, Noitom Hi5  1, Valve Index Controller 2, センサ式  3, LeapMotion  4, MediaPipe Hands pipeline  5, HoloLens2  2, Oculus Quest Hand Tracking  1, VIVE Hand Tracking 1, 光学式 デバイス紹介 ザッとピックアップしただけでも以下のようなデバイスがある。
  9. デバイス紹介  3, MANUS Prime Ⅱ  4, Rokoko SmartGloves  5, LucidVR

    glove prototype  6, exiii EXOS Weist DK2  7, VRfree Glove  2, Noitom Hi5  1, Valve Index Controller 2, センサ式  3, LeapMotion  4, MediaPipe Hands  5, HoloLens2  2, Oculus Quest Hand Tracking  1, VIVE Hand Tracking 1, 光学式 赤字のデバイスについて話します。緑字は知見はあるけど話さないデバイス。
  10. デバイス紹介 1, VIVE Hand Tracking  HTC VIVEが提供するHand Tracking SDK。  VIVE製品でしか動作しないと思われがちだが、Valve

    Indexや  Androidスマートフォンでも動作する。  ディープラーニングを用いたトラッ  キング手法。  手の検出信頼値(Hand Confid-  ence)が取得できるため、信頼値  が低い場合は別の手法へ切り替える  なども可能。 引用:https://www.youtube.com/watch?v=ecndCV1DrPk 引用:https://www.youtube.com/watch?v=ecndCV1DrPk
  11. 2, LeapMotion デバイス紹介  Ultraleapが提供するハンドトラッキングデバイス。  3個の赤外線LEDと2個の赤外線カメラでトラッキング。  手のひらサイズ(縦幅80mm x 横幅30mm x 高さ11.3mm)なため

     首からかけて運用することも可能。  近年ではスペックが向上した後継機  (Stereo IR 170)が開発者向け  に販売されている。 引用:https://www.ultraleap.com/product/stereo-ir-170/ 引用:https://www.ultraleap.com/product/stereo-ir-170/ 引用:https://www.ultraleap.com/product/leap-motion-controller/ 引用:https://www.ultraleap.com/product/leap-motion-controller/
  12. デバイス紹介 3, HoloLens2  Microsoftが販売しているMRデバイス。  Finger Tracking以外にも赤外線カメラによるEye Trackingや  深度センサによる空間マッピング等が可能。  オクルージョンにもそこそこ強い。  普通に次世代の体験ができるので一度は体験してみると良い。

      今回はHoloLens2を所有している友人にデモ動画撮影してもらいました。 引用:https://www.jbs.co.jp/solution/list/microsofthololens 引用:https://www.jbs.co.jp/solution/list/microsofthololens Thanks! @futanyaha
  13. デバイス紹介 4, Valve Index Controller  Valve社が2019年に発売したVR用コントローラ。  持ち手の部分に静電容量センサや力覚センサが入っており、指の開閉は  もちろん力を込めた時の表現も可能。  各指に対応するセンサ部分が決まっており日本人  には少し大きすぎる配置。

     指の曲がりを検知する範囲が狭いため細かい表現  を行うには相当な訓練が必要。 引用:https://degicashop.com/products/valve-index-コントローラ 引用:https://degicashop.com/products/valve-index-コントローラ 引用:https://uploadvr.com/valve-index-price-specs/ 引用:https://uploadvr.com/valve-index-price-specs/
  14. デバイス紹介 5, Noitom Hi5  Perception Neuronシリーズを販売しているNoitomが出した  Finger Tracking専用デバイス。  各指先と手の甲にIMUセンサが1個ずつ、計6個搭載。  専用エディタ等は無いのでUnityやUE4へ直入れしかない。

     1PCに対して1組しか接続できないため、複数台  運用時は複数台PCを用意しないといけない。  減磁さえすればそれなりに動く手軽さは良い。  指がめっちゃ綺麗に動くOSS公開してるので  みんな使って!   https://github.com/BitStarInc/NoitomHi5InertiaToFingerMuscle 引用:https://www.noitom.com/hi5-vr-glove 引用:https://www.noitom.com/hi5-vr-glove
  15. デバイス紹介 6, LucidVR glove prototype  海外の方が個人で制作を進めているOSSプロダクト。  22ドルで作成できるということを売りにしている。  実際に制作してみたら1組当たり2067円かかった。  ただしパーツの余剰分やフィラメント代、電気代、  その他は考えてない。

     グローブの指先に付けた紐で可変抵抗を回してAr-  duinoで値を読み取ってOpenVR Driverへ投げ  つけるだけ。  触覚フィードバックを与えられるようにする計画も。   パーツ余剰分を考えると3649円、その他諸々を考えると   5000円弱くらい? 引用:https://hackaday.io/project/178243-lucidvr-budget-haptic-glove 引用:https://hackaday.io/project/178243-lucidvr-budget-haptic-glove
  16. ご清聴ありがとうございました。