HoloLens2でインタラクティブ壁

 HoloLens2でインタラクティブ壁

Kumamoto HoloLens ミートアップ vol.6の資料です。
https://hololens.connpass.com/event/170659/

9e4ea8b3f81c2acc322cc6ed0db32be9?s=128

Satoshi Gachi Fujimoto

April 06, 2020
Tweet

Transcript

  1. 2020/04/06 Kumamoto HoloLens Meetup Vol.6 HoloLens2でインタラクティブ壁

  2. ⾃⼰紹介 ガチ本 です co-founder KumaMCN ナレッジコミュニケーション R&D戦略チーム AWS ML コンピテンシーパートナー

    Microsoft Mixed Reality Partner CV / SLAM / WHILL / Python satoshi.gachi.fujimoto @sotongshi
  3. 皆さんのお部屋はもうインタラクティブですか︖ ※今回の内容は、こんな⼈向けの情報です • プロジェクタはないけどHoloLens2ならあるという⽅ • 部屋に⼗分な壁がある⽅ • コロナのせいで部屋で暇している⽅

  4. インタラクティブ壁とは • インタラクティブに反応する壁のこと、壁の他に床やテーブルなども挙げられる チームラボ かみさまがすまう森 https://youtu.be/RULLqhgwGvU

  5. インタラクティブ壁とは • 2D LiDARとプロジェクタが⽤いられている ※よく展示物よりもセンサーデバイスを見てしまういけない人

  6. インタラクティブ壁をつくってみた • 会社で • https://twitter.com/sotongshi/status/1209720638878838784?s=20 • あけおめ • https://twitter.com/sotongshi/status/1211976412489404422?s=20 •

    https://twitter.com/sotongshi/status/1211977030201298946?s=20 • えきまえスペースで • https://twitter.com/iwatch924/status/1214851760050692096?s=20 • おうちでYouTube操作、Flappy Bird • https://twitter.com/sotongshi/status/1241706484452347906?s=20 • https://twitter.com/sotongshi/status/1241656251416596480?s=20
  7. ⽤意するもの • ハードウェア • 壁 • RealSense D435 • 突っ張り棒(もし天井設置なら)

    • カメラリグ • プロジェクタ(Anker Nebula Capsule) • プロジェクタ⽤三脚 • プロジェクタの代わりにHoloLens2 • PC • ソフトウェア • Windows 10 • Anaconda • Python 3.6 • RealSense SDK • HoloLens2開発環境 • Unity 2019.1、MRTK 2.3、VS2019など https://qiita.com/SatoshiGachiFujimoto/items/3c335d9dcc7e8cc211ff
  8. 2D スキャン https://www.youtube.com/watch?time_continue=5&v=rGYtxMoNwYQ

  9. クラスタリングして円の表⽰ https://www.youtube.com/watch?v=KsjFgYv2XUE

  10. HoloLens2でインタラクティブ壁 • プロジェクタの代わりにHoloLens2を⽤いた • WebSocketによりタッチ位置をHoloLens2に送信 • 壁と透明なQuadの位置合わせ • 壁を触るとSphereが表⽰される WebSocket

    Server Quad Sphere
  11. デモ https://www.youtube.com/watch?v=LED6Y5JzHlA

  12. まとめ • インタラクティブ壁をつくった • まずは⾃分の部屋から全⾯インタラクティブにしていく • インタラクティブ床 • https://twitter.com/sotongshi/status/1213826832182599682?s=20 •

    コロナに負けるな
  13. 告知 HoloLens ミートアップ @ Cluster vol.1 • 4/22(⽔) 19:00〜21:00 •

    https://hololens.connpass.com/event/172236/ Kumamoto HoloLens ミートアップ vol.7 • 5⽉予定
  14. ご清聴ありがとうございました