HoloLensで変わる行動のカタチ / Tech-on MeetUp Online 7

Transcript

1. HoloLensで変わる行動のカタチ 2021年11月29日@Tech-on MeetUp Online#07 株式会社ホロラボ 中村 薫

2. 株式会社ホロラボ 事業内容 HoloLensやWindows MRなどxR技術やセンサー技術に関する ・システム/アプリケーションの企画開発 ・調査研究 ・普及啓発活動 設立 2017/01/18 住所

   東京都品川区西五反田2-25-1 インテックス五反田ビル3F 資本金 96,940,000円 取締役 5名 従業員 45名 Web https://hololab.co.jp/ 会社概要 Copyright© HoloLab Inc. All rights reserved

3. 自己紹介 Copyright© HoloLab Inc. All rights reserved ・株式会社ホロラボ 代表取締役 CEO

   (2017 - ) ・XRコンソーシアム理事 (2020 - ) ・Microsoft Regional Director (2020 - 2022) ・Microsoft MVP for Windows Development(2016 - 2022) ・Microsoft MVP for Kinect for Windows (2014 - 2016) ・Microsoft MVP for Visual Studio ALM(2012 - 2014) 著作 ・HoloLens 2 入門 (2020 日経BP) ・Kinect for Windows SDKプログラミング V2センサー対応版 (2015 秀和システム) など 来歴 ・Windowsアプリおよび組み込み系ソフトウェア開発会社勤務時に Microsoft社の開発した3Dセンサー「Kinect」の魅力に出会い独立。 センサー関連の開発から、執筆、登壇活動などを個人事業として取り組む。 ・技術コミュニティTMCNの立ち上げに参加し、その場での出会いから 2017年、ホロラボの設立に至る。

4. ちょっとしたご紹介です😁 Copyright© HoloLab Inc. All rights reserved

5. 経緯 Copyright© HoloLab Inc. All rights reserved

6. 行動変容のステージモデル Copyright© HoloLab Inc. All rights reserved • 現状のHoloLens/TechniCaptureは、無関心期～準備期にあたると考えている https://www.e-healthnet.mhlw.go.jp/information/exercise/s-07-001.html

7. MR(Mixed Reality) Copyright© HoloLab Inc. All rights reserved

8. こういうことやってます Copyright© HoloLab Inc. 2020 All rights reserved 8

9. 今回の話題 Copyright© HoloLab Inc. All rights reserved

10. MR(Mixed Reality)とは • MRとはMixed Realityの略で、複合現実感と訳される • AR(拡張現実感)とVR(実質現実、人工現実感)を含む Copyright© HoloLab Inc.

    All rights reserved https://en.wikipedia.org/wiki/Mixed_reality

11. Mixed Reality: 混ぜ具合 Copyright© HoloLab Inc. All rights reserved https://www.youtube.com/watch?v=uY0ZIDSCyy8

12. BIMとMR Copyright© HoloLab Inc. 2020 All rights reserved 12

13. 開発支援事例のご紹介 Copyright© HoloLab Inc. All rights reserved

14. コンシューマー向けARクラウドの試行 • 森ビル株式会社のヴィーナスフォートでARクラウドの実証実験 • 広大なエリアにおいて数cm単位での位置合わせ精度のマーカレスAR体験 • コンテンツは独自開発のオーサリングツールを利用し、多層的なAR空間レイヤーを設定 可能で、ヴィーナスフォートを訪れるユーザー属性に応じてパーソナライズされた情報・ 広告・コンテンツの提供が可能 •

    ARにより拡張されたショッピング体験を共有、共体験の実現を目指す Copyright© HoloLab Inc. All rights reserved PoC

15. パーソナライズされた広告 Copyright© HoloLab Inc. All rights reserved PoC

16. 複数人でのARゲーム Copyright© HoloLab Inc. All rights reserved PoC

17. ホロラボ開発アプリのご紹介 Copyright© HoloLab Inc. All rights reserved

18. ホロラボのMRパッケージシリーズ 名称 mixpace (リンク) toMap HOLO- COMMUNICATION (リンク) TechniCapture (リンク)

    手放しマニュアル (リンク) HoloRemote イメージ 概要 ・3Dデータ活用支援 ・デジタルツイン基盤 ・PLATEAU互換 ・3Dコミュニケーション ・技能継承支援 ・手指、視線、音声の記録 ・オフライン動作 ・現場作業支援 ・マニュアルのAR化 ・オフライン動作 ・リアルタイムコミュニケー ション ・映像と音声と空間指示 シナリオ ・シミュレーション ・デザイン&試作 ・販売支援 ・データ重畳 ・3D可視化 ・GIS対応 ・各種シミュレーション ・リッチなコミュニケーション ・リモート支援 (空間伝送) ・ガイド&タスクマネジメント ・トレーニング ・ガイド&タスクマネジメント ・トレーニング ・遠隔支援、遠隔臨場 価格 (税別) 1,164,000円／年間 (SB C&S様より販売) 未定 (開発中、デモ可能) ・システム利用ライセンス ・開発ライセンス ９００，０００円／ワンタイム ※5台まで 900，000円／ワンタイム ※10台まで 900，000円／年間 Copyright© HoloLab Inc. All rights reserved https://hololab.co.jp/service/

19. TechniCapture ～ 技術継承 Copyright© HoloLab Inc. All rights reserved

20. TechniCapture ～ 技術継承 • 作業者の手、指、頭の動きと、視線、音声を空間記録して再生します Copyright© HoloLab Inc. All rights

    reserved ・HoloLens 2着用者の 手・指・頭の動き、 目線を3Dで空間記録 ・記録したモーション、 目線や音声は空間で再生 ・記録する空間の 基準点を設定可能 https://youtu.be/vy3tgmOvnVI

21. TechniDataVisualizer(PCアプリでの動作閲覧・比較) • TechniCaptureで記録した動きをPCアプリにて取り込み閲覧が可能です • 2人のデータを取り込むことで比較閲覧が可能です • 初学者とベテラン • 初学者のトレーニング開始と終了時 •

    など Copyright© HoloLab Inc. All rights reserved

22. データフローとワークフロー Copyright© HoloLab Inc. All rights reserved TechniCapture で記録 TechniCapture

    PCアプリ で比較 TechniCaptureで 記録したCSVを分析 (お客様内) 計画立案 計画 → 実施 → 比較 での業務改善サイクルを実施 ▪ データフロー ▪ ワークフロー

23. 手放しマニュアル ～MR手順書 Copyright© HoloLab Inc. All rights reserved

24. 手放しマニュアル ～MR手順書 • マニュアルを空間に表示して、MRデバイス着用者の作業支援 Copyright© HoloLab Inc. All rights reserved

    ・HoloLens 2着用者の周辺に マニュアルをMR表示 ・テキスト・画像・動画に対応 ・目線操作により進行 完全フリーハンド ・Excelによるオーサリング ・ユーザーログの出力 https://youtu.be/4rByM20iNLM

25. 手放しエディター for HoloLens/PC • 手放しマニュアルのマニュアルをHoloLensで作成する Copyright© HoloLab Inc. All rights

    reserved

26. データフローとワークフロー Copyright© HoloLab Inc. All rights reserved 手放しマニュアル で業務 ユーザーログ

    で作業分析 計画立案 計画 → 実施 → 分析 での業務改善サイクルを実施 手放しエディターで マニュアル整備 ▪ データフロー ▪ ワークフロー

27. TechniCaptureでの行動変容 Copyright© HoloLab Inc. All rights reserved

28. さまざまな動作分析 • 動画 • モーションキャプチャー • HoloLens Copyright© HoloLab Inc.

    All rights reserved https://github.com/CMU-Perceptual-Computing-Lab/openpose https://mocap.jp/about-mocap/

29. さまざまな動作分析 動画 モーションキャプチャ HoloLens 長所 ・ハードウェアが安価 ・録画済みの動画を活用できる ・精度が高い ・広い移動が記録可能 短所

    ・カメラの範囲のみ記録 ・ハードウェアがとても高価 ・センサーの範囲内のみ記録 ・ハードウェアが高価 ・上半身、カメラ範囲のみ記録 Copyright© HoloLab Inc. All rights reserved

30. 行動の計測 Copyright© HoloLab Inc. All rights reserved

31. 移動の計測 Copyright© HoloLab Inc. All rights reserved https://www.mirai-lab.co.jp/all/6348

32. 移動の計測 • TechniCaptureでの移動計測 Copyright© HoloLab Inc. All rights reserved

33. 行動の可視化、比較 Copyright© HoloLab Inc. All rights reserved

34. 行動変容のステージモデル Copyright© HoloLab Inc. All rights reserved • 現状のHoloLens/TechniCaptureは、無関心期～準備期にあたると考えている https://www.e-healthnet.mhlw.go.jp/information/exercise/s-07-001.html

35. ホロラボのパッケージサービスの別の側面 Copyright© HoloLab Inc. 2020 All rights reserved 35 •

    別の側面として暗黙知の形式知化(表出化)

36. アジャイルとScrum • アジャイル • 変化への適応 • 自律 • Scrum •

    検査と適応 • 透明性 Copyright© HoloLab Inc. All rights reserved 36 https://www.amazon.co.jp/dp/4798167460

37. ワイズカンパニー • 形式知は氷山の一角 Copyright© HoloLab Inc. All rights reserved 37

    https://www.amazon.co.jp/dp/4492522301

38. ワイズカンパニー Copyright© HoloLab Inc. All rights reserved 38

39. https://hololab.co.jp/#contact