HoloLens2でインタラクティブ壁

Kumamoto HoloLens ミートアップ vol.6の資料です。
https://hololens.connpass.com/event/170659/

Transcript

1. 2020/04/06 Kumamoto HoloLens Meetup Vol.6 HoloLens2でインタラクティブ壁
2. ⾃⼰紹介 ガチ本 です co-founder KumaMCN ナレッジコミュニケーション R&D戦略チーム AWS ML コンピテンシーパートナー Microsoft Mixed Reality Partner CV / SLAM / WHILL / Python satoshi.gachi.fujimoto @sotongshi
3. 皆さんのお部屋はもうインタラクティブですか︖ ※今回の内容は、こんな⼈向けの情報です • プロジェクタはないけどHoloLens2ならあるという⽅ • 部屋に⼗分な壁がある⽅ • コロナのせいで部屋で暇している⽅
4. インタラクティブ壁とは • インタラクティブに反応する壁のこと、壁の他に床やテーブルなども挙げられる チームラボ かみさまがすまう森 https://youtu.be/RULLqhgwGvU
5. インタラクティブ壁とは • 2D LiDARとプロジェクタが⽤いられている ※よく展示物よりもセンサーデバイスを見てしまういけない人
6. インタラクティブ壁をつくってみた • 会社で • https://twitter.com/sotongshi/status/1209720638878838784?s=20 • あけおめ • https://twitter.com/sotongshi/status/1211976412489404422?s=20 • https://twitter.com/sotongshi/status/1211977030201298946?s=20 • えきまえスペースで • https://twitter.com/iwatch924/status/1214851760050692096?s=20 • おうちでYouTube操作、Flappy Bird • https://twitter.com/sotongshi/status/1241706484452347906?s=20 • https://twitter.com/sotongshi/status/1241656251416596480?s=20
7. ⽤意するもの • ハードウェア • 壁 • RealSense D435 • 突っ張り棒（もし天井設置なら） • カメラリグ • プロジェクタ（Anker Nebula Capsule） • プロジェクタ⽤三脚 • プロジェクタの代わりにHoloLens2 • PC • ソフトウェア • Windows 10 • Anaconda • Python ３.6 • RealSense SDK • HoloLens2開発環境 • Unity 2019.1、MRTK 2.3、VS2019など https://qiita.com/SatoshiGachiFujimoto/items/3c335d9dcc7e8cc211ff
8. 2D スキャン https://www.youtube.com/watch?time_continue=5&v=rGYtxMoNwYQ
9. クラスタリングして円の表⽰ https://www.youtube.com/watch?v=KsjFgYv2XUE
10. HoloLens2でインタラクティブ壁 • プロジェクタの代わりにHoloLens2を⽤いた • WebSocketによりタッチ位置をHoloLens2に送信 • 壁と透明なQuadの位置合わせ • 壁を触るとSphereが表⽰される WebSocket Server Quad Sphere
11. デモ https://www.youtube.com/watch?v=LED6Y5JzHlA
12. まとめ • インタラクティブ壁をつくった • まずは⾃分の部屋から全⾯インタラクティブにしていく • インタラクティブ床 • https://twitter.com/sotongshi/status/1213826832182599682?s=20 • コロナに負けるな
13. 告知 HoloLens ミートアップ ＠ Cluster vol.1 • 4/22(⽔) 19:00〜21:00 • https://hololens.connpass.com/event/172236/ Kumamoto HoloLens ミートアップ vol.7 • ５⽉予定
14. ご清聴ありがとうございました