de:code 2018 AC10 HoloLens の業務利用と開発事例

Transcript

1. HoloLens の業務利用と開発事例 AC10

2. セッションアンケートにご協力くださ い。 Twitter のご案内

3. Ask the Speaker のご案内 ブレイクアウトセッション終了後の休憩時間に、 登壇したスピーカーに直接ご質問いただける コーナーを 「Ask The Speakers」

   Room に 用意しております。セッション内容のより深い 理解のため、ぜひお役立てください。 「Ask The Speakers」

4. 自己紹介

5. 会社紹介 http://hololab.co.jp/

6. 業務内容

7. メンバー内訳 役割 人数 HoloLensアプリ開発エンジニア 10人 3D CG/CADエンジニア 2人 UI/UX デザイナー

   1人 マネージャー/ディレクター 4人 このほかにパートナー企業の開発エンジニア6名

8. 本セッションのゴール

9. アジェンダ

10. ホロラボにおけるHoloLens案件の 概要と特長

11. Mixed Realityの広がり https://www.youtube.com/watch?v=JnX9nhoPXTY

12. ホロラボ開発事例 医療 建設 文教 放送 ドローン コミュニケーション

13. ホロラボ開発事例 https://www.youtube.com/watch?v=KK42C6OqJvQ

14. ホロラボ開発事例

15. None

16. ホロラボ開発事例 ③ AR/VRデバイス にダウンロード ② AR CAD Cloudで 自動最適化変換 ①

    CAD/BIMデータを アップロード https://www.youtube.com/watch?v=A3sGW0ftA20

17. ホロラボ開発事例 https://www.youtube.com/watch?v=QcHtHYIboR4

18. ホロラボ開発事例

19. ホロラボ開発事例 http://blog.hololab.co.jp/entry/2018/05/19/192634

20. ホロラボ開発事例 https://www.youtube.com/watch?v=9nZ7Q-i5t0Q

21. HoloLensの業務への適用について

22. HoloLensを適用しやすい分野

23. HoloLensのおさらい

24. HoloLensのおさらい

25. いまのお客様

26. HoloLensアプリ開発

27. HoloLensアプリ開発

28. HoloLensアプリ開発

29. HoloLensを適用するシナリオの考え方

30. HoloLensを適用するシナリオの考え方 https://www.youtube.com/watch?v=JnX9nhoPXTY

31. HoloLensを適用するシナリオの考え方 https://www.youtube.com/watch?v=JnX9nhoPXTY

32. HoloLensを適用するシナリオの考え方 設計 建設 点検

33. HoloLensを適用するシナリオの考え方 設計 建設 点検

34. HoloLensを適用するシナリオの考え方 設計 建設 点検

35. HoloLensアプリ開発時のフロー

36. HoloLensアプリ開発時に よくある要件

37. よくある要件

38. HoloLensアプリ開発時の注意事項

39. よくある要件

40. CAD/BIMの使用

41. よくある要件

42. 位置合わせ https://www.youtube.com/watch?v=WZQ_DQD7F3U

43. 位置合わせ https://www.youtube.com/watch?v=BFTxLM5_2S8

44. よくある要件

45. Sharing

46. Sharing

47. よくある要件

48. 遠隔コミュニケーション

49. 参考：遠隔コミュニケーション https://mspoweruser.com/microsofts-new-mixed-reality-layout-and-remote-assist-app-leaks-in-the-store/

50. よくある要件

51. モデルの安定化

52. モデルの安定化

53. モデルの安定化 https://www.youtube.com/watch?v=6Cs2sGq1y-A

54. モデルの安定化 https://www.youtube.com/watch?v=y1iakcsYHhc

55. モデルの安定化

56. モデルの安定化

57. モデルの安定化

58. モデルの安定化 https://www.youtube.com/watch?v=XOxwJ2-lZEo

59. モデルの安定化

60. モデルの安定化 https://www.youtube.com/watch?v=Zkm4DYBhSXs

61. モデルの安定化

62. モデルの安定化 https://www.youtube.com/watch?v=_4thE_O5OKQ

63. モデルの安定化 https://www.youtube.com/watch?v=TfadZ31wD1M

64. よくある要件

65. 精度

66. 精度 https://www.youtube.com/watch?v=HZNHAP0KhJw

67. 精度

68. 精度 https://www.youtube.com/watch?v=IgtHnCJJUMU

69. よくある要件

70. 屋外使用

71. 屋外使用

72. 屋外使用

73. Auzreとの連携

74. Academy 300 https://docs.microsoft.com/en-us/windows/mixed-reality/academy

75. ① CADデータを アップロード ③ AR/VRデバイス にダウンロード CADソフト/ブラウザ ※対応フォーマット：IGES/STEP/STL ... ②

    クラウド上で 自動最適化処理 AR CAD Cloud

76. 課題

77. 取り組み

78. 音声検索用のデータ作成のフロー ・モデルデータ ・サムネイル画像 Azure Cosmos DB Azure Blob Storage Computer

    Vision API 1. 物体認識 2. 類義語 3. Cosmos DB登録 ・CADなどの モデルデータ Azure Functions (HTTP Trigger) Azure Functions (Blob Trigger) WordNet(英語の概念辞書) 1. 物体認識 2. 類義語 3. Cosmos DB登録 ・サムネイル画像 ・タグのテキスト ・類義語テキスト ・モデルデータID NEW!! • Azure Functionsからの各機能呼び出しで既存システムへの依存、影響がない • Computer Vision API でのタグ付けは全て自動的に行われる Azure VM

79. 音声検索用のデータ作成のフロー

80. HoloLens モデルデータ音声検索のフロー Azure Cosmos DB Azure Blob Storage 1. 音声認識

    2. 処理判定 3. 検索 ・音声データ →“机を検索”.wav ・音声のテキスト →“机を検索” language understanding intelligent service (LUIS) Azure Search Bing Speech API 机を検索 NEW!! ・検索対象のテキスト →“机” ・モデルデータ ID ・モデルデー タ 選択 ・モデルデータIDのリスト ・モデルデータのサムネイル画 像

81. https://github.com/deadlyfingers/UnityWav HoloLens モデルデータ音声検索のフロー

82. さまざまな機器との連携

83. さまざまな機器との連携

84. さまざまな機器との連携

85. さまざまな機器との連携

86. 次のステップに向けて

87. HoloLens RS4

88. HoloLens RS4 http://akihiro-document.azurewebsites.net/post/hololens_researchmode1/

89. MR+AI https://www.youtube.com/watch?v=JnX9nhoPXTY

90. MR+AI https://www.youtube.com/watch?v=JnX9nhoPXTY

91. MR+AI HoloLab Inc. https://www.youtube.com/watch?v=2SVJkzBXSIg

92. MR+AI HoloLab Inc. https://www.youtube.com/watch?v=ecaRlO-SSCc

93. MR+AI https://www.youtube.com/watch?v=2lZC90vrjKk

94. 詳しくは http://blog.hololab.co.jp/entry/2018/04/18/000000

95. まとめ

96. まとめ

97. Ask the Speaker のご案内 ブレイクアウトセッション終了後の休憩時間に、 登壇したスピーカーに直接ご質問いただける コーナーを 「Ask The Speakers」

    Room に 用意しております。セッション内容のより深い 理解のため、ぜひお役立てください。 「Ask The Speakers」

98. © 2018 Microsoft Corporation. All rights reserved. 本情報の内容（添付文書、リンク先などを含む）は、作成日時点でのものであり、予告なく変更される場合があります。