2020/04/06 Kumamoto HoloLens Meetup Vol.6 HoloLens2でインタラクティブ壁

⾃⼰紹介 ガチ本 です co-founder KumaMCN ナレッジコミュニケーション R&D戦略チーム AWS ML コンピテンシーパートナー Microsoft Mixed Reality Partner CV / SLAM / WHILL / Python satoshi.gachi.fujimoto @sotongshi

皆さんのお部屋はもうインタラクティブですか︖ ※今回の内容は、こんな⼈向けの情報です • プロジェクタはないけどHoloLens2ならあるという⽅ • 部屋に⼗分な壁がある⽅ • コロナのせいで部屋で暇している⽅

インタラクティブ壁とは • インタラクティブに反応する壁のこと、壁の他に床やテーブルなども挙げられる チームラボ かみさまがすまう森 https://youtu.be/RULLqhgwGvU

インタラクティブ壁とは • 2D LiDARとプロジェクタが⽤いられている ※よく展示物よりもセンサーデバイスを見てしまういけない人

インタラクティブ壁をつくってみた • 会社で • https://twitter.com/sotongshi/status/1209720638878838784?s=20 • あけおめ • https://twitter.com/sotongshi/status/1211976412489404422?s=20 • https://twitter.com/sotongshi/status/1211977030201298946?s=20 • えきまえスペースで • https://twitter.com/iwatch924/status/1214851760050692096?s=20 • おうちでYouTube操作、Flappy Bird • https://twitter.com/sotongshi/status/1241706484452347906?s=20 • https://twitter.com/sotongshi/status/1241656251416596480?s=20

⽤意するもの • ハードウェア • 壁 • RealSense D435 • 突っ張り棒（もし天井設置なら） • カメラリグ • プロジェクタ（Anker Nebula Capsule） • プロジェクタ⽤三脚 • プロジェクタの代わりにHoloLens2 • PC • ソフトウェア • Windows 10 • Anaconda • Python ３.6 • RealSense SDK • HoloLens2開発環境 • Unity 2019.1、MRTK 2.3、VS2019など https://qiita.com/SatoshiGachiFujimoto/items/3c335d9dcc7e8cc211ff

2D スキャン https://www.youtube.com/watch?time_continue=5&v=rGYtxMoNwYQ

クラスタリングして円の表⽰ https://www.youtube.com/watch?v=KsjFgYv2XUE

HoloLens2でインタラクティブ壁 • プロジェクタの代わりにHoloLens2を⽤いた • WebSocketによりタッチ位置をHoloLens2に送信 • 壁と透明なQuadの位置合わせ • 壁を触るとSphereが表⽰される WebSocket Server Quad Sphere

デモ https://www.youtube.com/watch?v=LED6Y5JzHlA

まとめ • インタラクティブ壁をつくった • まずは⾃分の部屋から全⾯インタラクティブにしていく • インタラクティブ床 • https://twitter.com/sotongshi/status/1213826832182599682?s=20 • コロナに負けるな

告知 HoloLens ミートアップ ＠ Cluster vol.1 • 4/22(⽔) 19:00〜21:00 • https://hololens.connpass.com/event/172236/ Kumamoto HoloLens ミートアップ vol.7 • ５⽉予定

ご清聴ありがとうございました