さまざまな業種で活用が進む HoloLens 2 と mixpace について / HoloLab and mixpace

Transcript

1. さまざまな業種で活用が進む HoloLens 2 と mixpace について 2020/10/09 株式会社ホロラボ 中村 薫
2. スライドについて このスライドは下記よりダウンロードできます Copyright© HoloLab Inc. 2020 All rights reserved 2 https://speakerdeck.com/hololab/hololab-and-mixpace
3. 株式会社ホロラボ 事業内容 HoloLensやWindows MRなどxR技術やセンサー技術に関する ・システム/アプリケーションの企画開発 ・調査研究 ・普及啓発活動 設立 2017/01/18 住所 東京都品川区西五反田2-25-1 インテックス五反田ビル3F 資本金 96,940,000円 取締役 5名 従業員 26名 Web https://hololab.co.jp/ 会社概要 Copyright© HoloLab Inc. 2020 All rights reserved 3
4. 2020.5 HOLO-COMMUNICATION 手放しマニュアル TechniCapture 3サービスをリリース HoloLensの黎明期より専業としている Copyright© HoloLab Inc. 2020 All rights reserved 4 2017 2018 2019 2017.1 創業 2018.7 資金調達 2019.8 資金調達 2017.11 Microsoft Mixed Reality Partner 認定 2018.11 JR東日本様 2018.3 NHK様 2019.2 mixpace リリース 2019.3 docomo様 2019.5 トヨタ自動車様 OEMプロジェクト 自社サービス ニュース 2020
5. 代表取締役CEO 中村 薫 Copyright© HoloLab Inc. 2020 All rights reserved 5 肩書 ・XRコンソーシアム理事 (2020 - ) ・Microsoft Regional Director (2020 - 2022) ・Microsoft MVP for Windows Development(Apr 2016 - Mar 2021) ・Microsoft MVP for Kinect for Windows (Apr 2014 - Mar 2016) ・Microsoft MVP for Visual Studio ALM (Apr 2012 - Mar 2014) 著作 ・HoloLens 2 入門 (2020 日経BP) ・Kinect for Windows SDKプログラミング V2センサー対応版 (2015 秀和システム) など 来歴 ・Windowsアプリおよび組み込み系ソフトウェア開発会社勤務時に Microsoft社の開発した3Dセンサー「Kinect」の魅力に出会い独立。 センサー関連の開発から、執筆、登壇活動などを個人事業として取り組む。 ・技術コミュニティTMCNの立ち上げに参加し、その場での出会いから 2017年、ホロラボの設立に至る。
6. Microsoft社に認められた優れた技術者集団 • 会社として：MRPP Gold認定取得 (2020/9時点) • Microsoft Mixed Reality Partner Program • 認定パートナーは、日本マイクロソフトおよびマイクロソフト コーポレーションが提供している Microsoft Mixed Reality パートナー プログラムを通してスキルを高め、お客様のニーズに 合わせ確かな開発スキルや知識に基づいて Mixed Reality の最高峰のソリューションを 提供いたします。 https://www.microsoft.com/ja-jp/biz/hololens/partners.aspx • 個人として: Microsoft MVPアワード受賞者8名在籍 (2020/7時点) • Most Valuable Professionals • Microsoft MVP (以下 MVP) はマイクロソフトの製品やテクノロジに関し オンライン、オフラインで顕著な活動をされている個人を表彰する プログラムです。 世界中でおよそ4,000 名、日本では約 250 名の MVP が多くのユーザー とともに活動しています。 https://mvp.microsoft.com/ja-jp/ • 個人として: Microsoft RD 1名在籍 (2020/7時点) • Regional Director • RDプログラムは世界トップのテクノロジービジョナリーを、クロスプラットフォームな技術力、 コミュニティにおけるリーダーシップ、ビジネスアウトプットへのコミットの各方面で評価し、 認定します。RDに認定される人物は、例えば業界イベントのキーノートに登壇したり、 コミュニティーグループや地域メンバーをリードしたり、技術特化型の企業を経営したり、 多国籍企業において最新のブレイクスルーをコンサルティングや導入していたりします。 世界中でおよそ200人、日本では4人のRDが活動しています。 https://rd.microsoft.com/en-us/about Copyright© HoloLab Inc. 2020 All rights reserved 6
7. ホロラボのサービス Copyright© HoloLab Inc. 2020 All rights reserved 7
8. ホロラボが提供しているサービス 受託開発 • アプリの利用を目的 • アプリの開発をすべてホ ロラボ内で行う • コスト、時間: 中 開発支援 • アプリの利用と顧客開発 者の育成を目的 • 顧客企業の開発者の方 と一緒に開発 • 各種トレーニング • コスト、時間: 高 パッケージ提供 • 既存のパッケージを提供 • コスト、時間: 低 Copyright© HoloLab Inc. 2020 All rights reserved 8
9. ホロラボが提供しているサービス • 新しい技術は顧客それぞれに実現したいことがある • 受託開発にて進める • 顧客ヒアリングを兼ねる • 共通的なニーズはパッケージサービスとしてリリース Copyright© HoloLab Inc. 2020 All rights reserved 9 受託開発 サービス
10. ホロラボの顧客業種の割合 Copyright© HoloLab Inc. 2020 All rights reserved 11 2019年度 のべ73案件 10件(13.7%) 11件(15.1%) 8件(11%) 11件(15.7%) 33件(45.2%)
11. HoloLensの導入フェーズ Copyright© HoloLab Inc. 2020 All rights reserved 12 Envisioning PoC Pilot Deploy Rollout 学ぶ機会 概念実証 社内サービス との連携 実導入 PCのように 自由に使える状態
12. HoloLensの導入フェーズ • 多様な案件があり、Pilotの案件も増えてきた • 業界や顧客の成長と、自社の成長 Copyright© HoloLab Inc. 2020 All rights reserved 13 Envisioning PoC Pilot Deploy Rollout 学ぶ機会 概念実証 社内サービス との連携 実導入 PCのように 自由に使える状態
13. Microsoftが考えるHoloLensビジネス トレーニング & シミュレーション ガイド & タスク マネジメント リモート支援 販売支援 データ重畳 デザイン & 試作 「実践から学ぶ」ことで、 新入社員のトレーニング をこれまで以上に迅速に 行うことができます。 シナリオをシミュレーショ ンすることで、従業員が 特定の状況でどのように 対応するかを練習するこ とができます。 これまで以上に早く、正 確にタスクを完了できる ように、ガイド付きの体験 を通して従業員を指導し ます。 従業員が必要なときにい つでもエキスパートにリ モートインできるようにし ます。 MRを使用することで、エ キスパートは従業員と同 じ環境を見て、あたかもそ の場にいるかのように対 話することができます。 CADやBIMファイルをデ ジタルツインに変換し、新 しい製品設計を素早く繰 り返して共同作業を行い ます。 MRを使用して、任意の 設定やカスタマイズを顧 客に披露することで、在 庫を減らし、商談をより早 く完了させることができま す。 必要な時に必要な場所 で、適切なデータをリアル タイムで利用できるように することで、従業員はより 良い、より迅速な、より多 くの情報に基づいた意思 決定を行うことができま す。 Microsoftが考える、価値を生み出すまでの時間が早く、投資収益率が実証されている分野 Copyright© HoloLab Inc. 2020 All rights reserved 14 https://channel9.msdn.com/Shows/Docs-Mixed-Reality/The-State-of-Mixed-Reality-Where-Companies-are-finding-Success
14. ホロラボのパッケージサービス 名称 mixpace (ミクスペース) HOLO-COMMUNICATION (ホロコミュニケーション) TechniCapture (テクニキャプチャ) 手放しマニュアル イメージ 概要 • 3Dデータ活用支援 • 3Dコミュニケーション • 技能継承支援 • 手指、視線、音声の記録 • オフライン動作 • 現場作業支援 • マニュアルのAR化 • オフライン動作 シナリオ • シミュレーション • デザイン&試作 • 販売支援 • データ重畳 • リモート支援 • ガイド&タスクマネジメント • トレーニング • ガイド&タスクマネジメント • トレーニング Copyright© HoloLab Inc. 2020 All rights reserved 16 https://hololab.co.jp/service/
15. 新しい技術の調査と適用 Azure Remote Rendering(Preview) • 大容量3DモデルをHoloLensで表示 Copyright© HoloLab Inc. 2020 All rights reserved 17 Vuforia Area Target • 現実空間をマーカーレスで位置合わせ https://blog.hololab.co.jp/entry/2020/09/14/071615 https://blog.hololab.co.jp/entry/2020/05/01/103026
16. 事例紹介 Copyright© HoloLab Inc. 2020 All rights reserved 18
17. トヨタ自動車株式会社 Copyright© HoloLab Inc. 2020 All rights reserved 19
18. 目的 • HoloLens 2への早期移植検討、MR x AIの実効性検証などトヨタ自動車の 試行を先進的な技術開発力で支援する • Unity社のブログにも掲載 Copyright© HoloLab Inc. 2020 All rights reserved 20 https://blogs.unity3d.com/jp/category/manufacturing/
19. 作業確認モレ防止(MR x AI) Copyright© HoloLab Inc. 2020 All rights reserved 21 試行中 動画提供:トヨタ自動車株式会社
20. 課題 人間の目では多くの部品を一目で確認できないため、思い込み、見落としが発 生する →作業確認のモレを防ぎたい Copyright© HoloLab Inc. 2020 All rights reserved 22 OK Error 試行中 動画提供:トヨタ自動車株式会社
21. 機械学習モデルを作成してのエラー推定 Copyright© HoloLab Inc. 2020 All rights reserved 23 動画提供:トヨタ自動車株式会社 試行中
22. 東急建設株式会社 Copyright© HoloLab Inc. 2020 All rights reserved 24
23. BIMデータの活用 Copyright© HoloLab Inc. 2020 All rights reserved 25 試行中
24. 目的 • BIMを活用した施工や検査の効率化 • BIMの設計データを現実に重ねることで差異を見つけやすくする • BIMデータのプロパティを活用することで情報を素早く得る Copyright© HoloLab Inc. 2020 All rights reserved 26
25. BIMデータの活用 Copyright© HoloLab Inc. 2020 All rights reserved 27 試行中
26. © 2020 HoloLab Inc. 28
27. © 2020 HoloLab Inc. 29 mixpaceの概要
28. © 2020 HoloLab Inc. 31 mixpace とは 3Dデータを現実空間に表示して 確認できる「気付かせツール」 見たい3DデータをMR/ARに即変換 「１ストップ変換サービス」 位置合わせ時の操作性を意識した 「ユーザーインターフェース」 mixpace は「課題発見・確認ソリューション」 デザインレビュー 施工検証・施工支援 プレゼンテーション
29. © 2020 HoloLab Inc. 32 mixpaceのご紹介 https://youtu.be/I0sMrDdCUM4
30. © 2020 HoloLab Inc. 33 mixpaceソリューション全体イメージ Web ブラウザ Azure ADで管理された ID・パスワードで ログイン クラウド 3DCAD/BIMデータ変換 変換済3Dデータ管理 mixpaceアプリ HoloLens 2 iPad 3DCAD/BIMデータ アップロード 変換済3Dモデル ダウンロード
31. © 2020 HoloLab Inc. 34 mixpaceソリューション全体イメージ
32. © 2020 HoloLab Inc. 【注意】HoloLens 1はサービス対象外となっております。 35 mixpace対応デバイス HoloLens 2 アプリ • Microsoft Storeより無料で入手可能 • 無料で利用できるデモコンテンツ付き iPadアプリ • AppleのApp Storeより無料で入手可能 • 無料で利用できるデモコンテンツ付き 【注意】Apple ARKitに対応したiPadシリーズでのみご利用いただけます iPad Pro 9.7インチ・10.5インチ・11インチ・12.9インチ（第1～3世代） iPad Air（第3世代） iPad mini（第5世代） iPad （第5世代以降） https://www.microsoft.com/store/apps/9PH50TF4JVLV https://apps.apple.com/jp/app/mixpace/id1477484189?mt=8
33. © 2020 HoloLab Inc. mixpace対応3Dファイル 36 拡張子 ソフトウェア/用途 rvt Revit(ファミリは未対応) dxf, dwg AutoCAD(3Dのみ) max 3ds Max f3d Fusion 360 CATPart CATIA V4/V5(CATProductは未対応) vue SmartPlant 3D 3ds 3D Studio ifc BIM用汎用フォーマット iges/igs step/stp jt CAD用汎用フォーマット fbx, obj CG用汎用フォーマット その他のファイルの対応についてはお問い合わせください
34. © 2020 HoloLab Inc. 37 mixpaceの機能
35. © 2020 HoloLab Inc. mixpaceの機能(Webサービス) 38 機能 3DCAD/BIMファイルの変換 変換済み3Dモデルファイルのフォルダ間コピー/移動 フォルダのアクセス権限設定 変換済み3Dモデルファイルのダウンロード https://mixpace.jp/howto/
36. © 2020 HoloLab Inc. mixpaceの機能(HoloLens 2 / iPadクライアントアプリ) 39 機能 HoloLens 2 iPad 変換済み3Dモデルのダウンロード 〇 〇 変換済み3Dモデルのオフライン利用 〇 〇 移動、回転操作 〇 〇 拡大縮小操作 〇 〇 ARマーカーを使用した位置指定 〇 〇 3Dモデルの表示/非表示切り替え 〇 〇 バーチャルコントローラー 〇 平面検知 〇 属性情報の一覧表示 〇 透過表示 〇 ドロップシャドー 〇
37. © 2020 HoloLab Inc. 40 継続的なアップデートと機能強化 2020年3月： • Webアプリの3DCAD/BIMデータ変換の高速化 • HoloLens 2 対応（HoloLens 1のサポート終了） 2020年5月： • ARマーカーを使った位置合わせ機能追加（HoloLens 2、iPad) • Webアプリからデータ変換した3Dモデルデータの 単体ダウンロード機能を追加（GLB形式、USDZ形式） https://mixpace.jp/blog/
38. © 2020 HoloLab Inc. 41 ARマーカー機能 ARマーカー • HoloLens 2・iPad共用 • 水平または垂直に配置 • 3Dモデルロード時に認識 • 表示中3Dモデルの再調整 位置合わせ基準点の切替 • 3Dモデルの底面中心 • 設計原点(0,0,0) • 回転・拡大縮小のピボット https://youtu.be/PKuWaRr9yos
39. © 2020 HoloLab Inc. 42 変換済3Dデータのダウンロード機能 2020年5月にmixpaceクラウドサービスで変換した3Dデータを直接ダウンロードして活用できる機能を 追加しました。 これによりmixpaceクライアントアプリ以外のアプリケーションやmixpaceアプリをサポートしていない デバイスでも、mixpace Webサービスで変換した3Dモデルを直接ご利用いただけます。 GLB形式 主にWindows系アプリケーション、 3DCGソフトウェアで活用可能 iPhone・iPadのAR Quick Look （一部制限あり）やMacで活用可能 USDZ形式（ベータ提供） https://mixpace.jp/blog/20200501/
40. © 2020 HoloLab Inc. 43 mixpaceで直接サポートしていない、遠隔の画面共有について、Dynamics 365 Remote Assistを併用することで実現 Tips: Dynamics 365 Remote Assistを活用した遠隔共有 https://mixpace.jp/blog/20200713/
41. © 2020 HoloLab Inc. 44 mixpaceで直接変換対応をしていないRevitファミリ(rfa)ファイルを、rvt経由でmixpaceで変換、利用する Tips: Revitファミリ(rfa)ファイルをmixpaceで活用する https://mixpace.jp/blog/20200720/
42. © 2020 HoloLab Inc. 45 mixpaceのご利用方法やご活用方法について、動画でご紹介しています。 mixpaceご利用方法紹介動画 https://www.youtube.com/channel/UCo7gFdIvWiRZGwfzjAS8QEA
43. © 2020 HoloLab Inc. 46 mixpaceご利用方法紹介動画 https://youtu.be/PKuWaRr9yos https://youtu.be/igQjHyL3aIM https://youtu.be/e5adMoHyK0w ARマーカー機能の使い方 mixpace HoloLens 2 アプリ mixpace iPad アプリ
44. © 2020 HoloLab Inc. 47 mixpaceご利用方法紹介動画 https://youtu.be/Jw-S-FARtUg https://youtu.be/Otvn2wx0wK8 iPadアプリで現実オブジェクト との前後関係表示のテクニック iPadアプリで施工現場での 活用例とテクニック MR/ARで説得力のある絵作りには少々のテクニックが必要です • MR/ARのアウトプットは、「現実＋3DCGモデル」 • 現実と3DCGを重ね合わせた絵に説得力を持たせるためのテクニックを動画でご提供 （継続して追加予定）
45. © 2020 HoloLab Inc. 50 mixpaceの主な対象ユーザーと活用シナリオ
46. © 2020 HoloLab Inc. 51 mixpaceの主な対象ユーザー 建 設 製 造
47. © 2020 HoloLab Inc. １）業務でのMR/AR導入 52 mixpaceが解決するビジネス課題 3Dデータ変換、データ管理、表示用アプリと いった異なった技術領域の知識が必要 １つのサービスとして提供しMR/AR導入の敷居 を大幅に下げる 課 題 解 決 ２）理解の違いや見落としの軽減 図面と完成品の確認作業は習熟度の差や思い込 みによる誤差が生じやすい 誰でも設計デザインデータを現実空間や現物に 立体的に重ねたり並べたりして比較が可能 課 題 解 決 ３）社内／社外との完成イメージの共有 外部メンバーや顧客など、社外の方へ共有する 際の使用ソフトウェアやセキュリティの課題 クラウド上に保存された3Dデータにどこからで も直接アクセスし3Dで確認可能 課 題 解 決 ４）3DCAD・BIMデータの有効活用 3DCADやBIMソフトウェアは活用促進や再利用 など高い投資対効果（ROI）が求められる 変換した3Dデータを、広く導入が進んでいる iPadやWindows PCでも利用可能 課 題 解 決 １ ２ ３ ４
48. © 2020 HoloLab Inc. 53 活用シナリオ 業種 シナリオ 対象CADファイル形式（一例） 対象３Dデータ内容 利用するmixpaceの機能 建築 設計レビュー Revit（Revitファミリー除く）、IFC、 DXF、DWG 構造・内装・外装 実寸表示・縮小表示 施主への確認 Revit（マテリアル・テクスチャ）、 FBX 外観・内装 実寸表示・縮小表示 現地確認 Revit、IFC、DXF、DWG 建物の構造・内装・外装 実寸表示・位置合わせ（ARマーカー） 施工確認 Revit、IFC、DXF、DWG 部材、配筋、穴 実寸表示・位置合わせ（ARマーカー） 製造 設計レビュー iges/igs、step/stp、 CATPart 構造・内装・外装 実寸表示・拡大縮小表示、リモート デザインレビュー FBX（マテリアル・テクスチャ）、 iges/igs、step/stp 外観・内装 実寸表示・縮小表示 配置シミュレーション iges/igs、step/stp、FBX 外観 実寸表示、位置合わせ（ARマーカー）
49. © 2020 HoloLab Inc. 54 建築：設計レビュー 用途・使い方 • 意匠設計、構造設計、設備設計の確認 • 縮小表示して白模型の代わりに • 実寸表示して構造やディテールの確認 建築士 BIM担当者 施工業者 施主 典型的なファイル形式 • Revit（Revitファミリー除く） • IFC • DXF・DWG mixpace 利用者
50. © 2020 HoloLab Inc. 55 建築：施主への確認 用途・使い方 • 施主と設計内容についての合意形成 • 内装や外観デザインや構成を立体的な映 像で説明 • 模型サイズ・原寸サイズで表示 建築士 営業担当者 施主 典型的なファイル形式 • Revit（マテリアル・テクスチャ） • FBX mixpace 利用者
51. © 2020 HoloLab Inc. 56 建築：現地確認 用途・使い方 • 現地で実寸表示した完成イメージを確認 • 図面との整合性 • クレーンなど機材のクリアランス確認 建築士 典型的なファイル形式 • Revit • IFC • DWG・DXF mixpace 利用者 施工業者 施主
52. © 2020 HoloLab Inc. 57 建築：施工確認 用途・使い方 • 施工作業開始前に図面3Dデータを現実空間 に重ねて表示し、完成イメージを確認 • 施工作業後に図面3Dデータを現実空間に重 ねて表示し、ミスや漏れを確認 建築士 施工業者 典型的なファイル形式 • Revit • IFC • DWG・DXF mixpace 利用者
53. © 2020 HoloLab Inc. 58 製造：設計レビュー 用途・使い方 • 意匠設計、3D図面の確認 • 縮小表示して白模型の代わりに • 実寸表示して構造やディテールの確認 設計者 典型的なファイル形式 • iges/igs • step/stp • CATPart mixpace 利用者 製造担当
54. © 2020 HoloLab Inc. 59 製造：デザインレビュー 用途・使い方 • デザインを立体的に360度から見て確認 • 複数デザインを並べて表示して比較 • 配置感やサイズ感の確認 典型的なファイル形式 • FBX（マテリアル・テクスチャ） • iges/igs、step/stp mixpace 利用者 デザイナー 承認者
55. © 2020 HoloLab Inc. 60 製造：配置シミュレーション 用途・使い方 • 現実空間に3Dモデルを表示して配置感や サイズ感の確認 • 複数の3Dモデルを表示して干渉するかど うかを事前にシミュレーション 典型的なファイル形式 • iges/igs • step/stp • FBX mixpace 利用者 デザイナー 承認者 設計者 製造担当
56. © 2020 HoloLab Inc. 61 ご要望・お問い合わせが多いがマッチングが難しい業種 １．土木 難しい理由 • mixpace非対応の点群データ、Navisworks データが多い • ファイルサイズが大きく、HoloLens 2, iPadでは表示できない場合が多い • 3Dモデルの表示サイズが大きく全体を表示 することができず立体感が出ない ２．設備・プラント 難しい理由 • mixpace非対応のNavisworksデータが多い • ファイルサイズが大きく、HoloLens 2, iPadでは表示できない場合が多い • パイプのような円筒形状はポリゴン化した 際データ量が極端に大きくなる • パーツ点数が多く表示負荷が大きい 個別の受託案件で対応可能な場合もありますので、ぜひお問い合わせください
57. © 2020 HoloLab Inc. 62 mixpaceのサービスプラン
58. © 2020 HoloLab Inc. 63 mixpaceサービスプラン 50回/月
59. © 2020 HoloLab Inc. 64 mixpace利用申し込みの流れ お申し込み 3DCAD/BIMデータ 事前検証 正式発注 納 品 ご利用予定の3DCAD/BIM・3DCGデータをmixpaceで安心して ご活用いただくことを目的とし、 サービスご契約前に実際のサービスを利用したデータ変換、 HoloLens 2やiPad実機での事前検証を実施しています お申し込みは販売パートナーのSB C&S株式会社へご連絡ください https://biz.cas.softbank.jp/mixpace/
60. © 2020 HoloLab Inc. 74 mixpaceの最新情報を受け取れるメールマガジンにぜひご登録ください https://willap.jp/p/acc_3503/mixpacemailmagazine/
61. https://hololab.co.jp/#contact