Upgrade to Pro — share decks privately, control downloads, hide ads and more …

de:code 2018 AC10 HoloLens の業務利用と開発事例

de:code 2018 AC10 HoloLens の業務利用と開発事例

de:code 2018での講演スライドです

詳しくはこちらをご覧ください
http://blog.hololab.co.jp/entry/2018/06/01/193259

A645e7c3a6635ead8fa323c583769591?s=128

HoloLab

June 01, 2018
Tweet

Transcript

  1. HoloLens の業務利用と開発事例 AC10

  2. セッションアンケートにご協力くださ い。 Twitter のご案内

  3. Ask the Speaker のご案内 ブレイクアウトセッション終了後の休憩時間に、 登壇したスピーカーに直接ご質問いただける コーナーを 「Ask The Speakers」

    Room に 用意しております。セッション内容のより深い 理解のため、ぜひお役立てください。 「Ask The Speakers」
  4. 自己紹介

  5. 会社紹介 http://hololab.co.jp/

  6. 業務内容

  7. メンバー内訳 役割 人数 HoloLensアプリ開発エンジニア 10人 3D CG/CADエンジニア 2人 UI/UX デザイナー

    1人 マネージャー/ディレクター 4人 このほかにパートナー企業の開発エンジニア6名
  8. 本セッションのゴール

  9. アジェンダ

  10. ホロラボにおけるHoloLens案件の 概要と特長

  11. Mixed Realityの広がり https://www.youtube.com/watch?v=JnX9nhoPXTY

  12. ホロラボ開発事例 医療 建設 文教 放送 ドローン コミュニケーション

  13. ホロラボ開発事例 https://www.youtube.com/watch?v=KK42C6OqJvQ

  14. ホロラボ開発事例

  15. None
  16. ホロラボ開発事例 ③ AR/VRデバイス にダウンロード ② AR CAD Cloudで 自動最適化変換 ①

    CAD/BIMデータを アップロード https://www.youtube.com/watch?v=A3sGW0ftA20
  17. ホロラボ開発事例 https://www.youtube.com/watch?v=QcHtHYIboR4

  18. ホロラボ開発事例

  19. ホロラボ開発事例 http://blog.hololab.co.jp/entry/2018/05/19/192634

  20. ホロラボ開発事例 https://www.youtube.com/watch?v=9nZ7Q-i5t0Q

  21. HoloLensの業務への適用について

  22. HoloLensを適用しやすい分野

  23. HoloLensのおさらい

  24. HoloLensのおさらい

  25. いまのお客様

  26. HoloLensアプリ開発

  27. HoloLensアプリ開発

  28. HoloLensアプリ開発

  29. HoloLensを適用するシナリオの考え方

  30. HoloLensを適用するシナリオの考え方 https://www.youtube.com/watch?v=JnX9nhoPXTY

  31. HoloLensを適用するシナリオの考え方 https://www.youtube.com/watch?v=JnX9nhoPXTY

  32. HoloLensを適用するシナリオの考え方 設計 建設 点検

  33. HoloLensを適用するシナリオの考え方 設計 建設 点検

  34. HoloLensを適用するシナリオの考え方 設計 建設 点検

  35. HoloLensアプリ開発時のフロー

  36. HoloLensアプリ開発時に よくある要件

  37. よくある要件

  38. HoloLensアプリ開発時の注意事項

  39. よくある要件

  40. CAD/BIMの使用

  41. よくある要件

  42. 位置合わせ https://www.youtube.com/watch?v=WZQ_DQD7F3U

  43. 位置合わせ https://www.youtube.com/watch?v=BFTxLM5_2S8

  44. よくある要件

  45. Sharing

  46. Sharing

  47. よくある要件

  48. 遠隔コミュニケーション

  49. 参考:遠隔コミュニケーション https://mspoweruser.com/microsofts-new-mixed-reality-layout-and-remote-assist-app-leaks-in-the-store/

  50. よくある要件

  51. モデルの安定化

  52. モデルの安定化

  53. モデルの安定化 https://www.youtube.com/watch?v=6Cs2sGq1y-A

  54. モデルの安定化 https://www.youtube.com/watch?v=y1iakcsYHhc

  55. モデルの安定化

  56. モデルの安定化

  57. モデルの安定化

  58. モデルの安定化 https://www.youtube.com/watch?v=XOxwJ2-lZEo

  59. モデルの安定化

  60. モデルの安定化 https://www.youtube.com/watch?v=Zkm4DYBhSXs

  61. モデルの安定化

  62. モデルの安定化 https://www.youtube.com/watch?v=_4thE_O5OKQ

  63. モデルの安定化 https://www.youtube.com/watch?v=TfadZ31wD1M

  64. よくある要件

  65. 精度

  66. 精度 https://www.youtube.com/watch?v=HZNHAP0KhJw

  67. 精度

  68. 精度 https://www.youtube.com/watch?v=IgtHnCJJUMU

  69. よくある要件

  70. 屋外使用

  71. 屋外使用

  72. 屋外使用

  73. Auzreとの連携

  74. Academy 300 https://docs.microsoft.com/en-us/windows/mixed-reality/academy

  75. ① CADデータを アップロード ③ AR/VRデバイス にダウンロード CADソフト/ブラウザ ※対応フォーマット:IGES/STEP/STL ... ②

    クラウド上で 自動最適化処理 AR CAD Cloud
  76. 課題

  77. 取り組み

  78. 音声検索用のデータ作成のフロー ・モデルデータ ・サムネイル画像 Azure Cosmos DB Azure Blob Storage Computer

    Vision API 1. 物体認識 2. 類義語 3. Cosmos DB登録 ・CADなどの モデルデータ Azure Functions (HTTP Trigger) Azure Functions (Blob Trigger) WordNet(英語の概念辞書) 1. 物体認識 2. 類義語 3. Cosmos DB登録 ・サムネイル画像 ・タグのテキスト ・類義語テキスト ・モデルデータID NEW!! • Azure Functionsからの各機能呼び出しで既存システムへの依存、影響がない • Computer Vision API でのタグ付けは全て自動的に行われる Azure VM
  79. 音声検索用のデータ作成のフロー

  80. HoloLens モデルデータ音声検索のフロー Azure Cosmos DB Azure Blob Storage 1. 音声認識

    2. 処理判定 3. 検索 ・音声データ →“机を検索”.wav ・音声のテキスト →“机を検索” language understanding intelligent service (LUIS) Azure Search Bing Speech API 机を検索 NEW!! ・検索対象のテキスト →“机” ・モデルデータ ID ・モデルデー タ 選択 ・モデルデータIDのリスト ・モデルデータのサムネイル画 像
  81. https://github.com/deadlyfingers/UnityWav HoloLens モデルデータ音声検索のフロー

  82. さまざまな機器との連携

  83. さまざまな機器との連携

  84. さまざまな機器との連携

  85. さまざまな機器との連携

  86. 次のステップに向けて

  87. HoloLens RS4

  88. HoloLens RS4 http://akihiro-document.azurewebsites.net/post/hololens_researchmode1/

  89. MR+AI https://www.youtube.com/watch?v=JnX9nhoPXTY

  90. MR+AI https://www.youtube.com/watch?v=JnX9nhoPXTY

  91. MR+AI HoloLab Inc. https://www.youtube.com/watch?v=2SVJkzBXSIg

  92. MR+AI HoloLab Inc. https://www.youtube.com/watch?v=ecaRlO-SSCc

  93. MR+AI https://www.youtube.com/watch?v=2lZC90vrjKk

  94. 詳しくは http://blog.hololab.co.jp/entry/2018/04/18/000000

  95. まとめ

  96. まとめ

  97. Ask the Speaker のご案内 ブレイクアウトセッション終了後の休憩時間に、 登壇したスピーカーに直接ご質問いただける コーナーを 「Ask The Speakers」

    Room に 用意しております。セッション内容のより深い 理解のため、ぜひお役立てください。 「Ask The Speakers」
  98. © 2018 Microsoft Corporation. All rights reserved. 本情報の内容(添付文書、リンク先などを含む)は、作成日時点でのものであり、予告なく変更される場合があります。