HoloLens2でインタラクティブ壁

Transcript

1. 2020/04/06 Kumamoto HoloLens Meetup Vol.6 HoloLens2でインタラクティブ壁

2. ⾃⼰紹介 ガチ本 です co-founder KumaMCN ナレッジコミュニケーション R&D戦略チーム AWS ML コンピテンシーパートナー

   Microsoft Mixed Reality Partner CV / SLAM / WHILL / Python satoshi.gachi.fujimoto @sotongshi

3. 皆さんのお部屋はもうインタラクティブですか︖ ※今回の内容は、こんな⼈向けの情報です • プロジェクタはないけどHoloLens2ならあるという⽅ • 部屋に⼗分な壁がある⽅ • コロナのせいで部屋で暇している⽅

4. インタラクティブ壁とは • インタラクティブに反応する壁のこと、壁の他に床やテーブルなども挙げられる チームラボ かみさまがすまう森 https://youtu.be/RULLqhgwGvU

5. インタラクティブ壁とは • 2D LiDARとプロジェクタが⽤いられている ※よく展示物よりもセンサーデバイスを見てしまういけない人

6. インタラクティブ壁をつくってみた • 会社で • https://twitter.com/sotongshi/status/1209720638878838784?s=20 • あけおめ • https://twitter.com/sotongshi/status/1211976412489404422?s=20 •

   https://twitter.com/sotongshi/status/1211977030201298946?s=20 • えきまえスペースで • https://twitter.com/iwatch924/status/1214851760050692096?s=20 • おうちでYouTube操作、Flappy Bird • https://twitter.com/sotongshi/status/1241706484452347906?s=20 • https://twitter.com/sotongshi/status/1241656251416596480?s=20

7. ⽤意するもの • ハードウェア • 壁 • RealSense D435 • 突っ張り棒（もし天井設置なら）

   • カメラリグ • プロジェクタ（Anker Nebula Capsule） • プロジェクタ⽤三脚 • プロジェクタの代わりにHoloLens2 • PC • ソフトウェア • Windows 10 • Anaconda • Python ３.6 • RealSense SDK • HoloLens2開発環境 • Unity 2019.1、MRTK 2.3、VS2019など https://qiita.com/SatoshiGachiFujimoto/items/3c335d9dcc7e8cc211ff

8. 2D スキャン https://www.youtube.com/watch?time_continue=5&v=rGYtxMoNwYQ

9. クラスタリングして円の表⽰ https://www.youtube.com/watch?v=KsjFgYv2XUE

10. HoloLens2でインタラクティブ壁 • プロジェクタの代わりにHoloLens2を⽤いた • WebSocketによりタッチ位置をHoloLens2に送信 • 壁と透明なQuadの位置合わせ • 壁を触るとSphereが表⽰される WebSocket

    Server Quad Sphere

11. デモ https://www.youtube.com/watch?v=LED6Y5JzHlA

12. まとめ • インタラクティブ壁をつくった • まずは⾃分の部屋から全⾯インタラクティブにしていく • インタラクティブ床 • https://twitter.com/sotongshi/status/1213826832182599682?s=20 •

    コロナに負けるな

13. 告知 HoloLens ミートアップ ＠ Cluster vol.1 • 4/22(⽔) 19:00〜21:00 •

    https://hololens.connpass.com/event/172236/ Kumamoto HoloLens ミートアップ vol.7 • ５⽉予定

14. ご清聴ありがとうございました