$30 off During Our Annual Pro Sale. View Details »
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Kumamoto HoloLens ミートアップ v7 / KumamotoHoloLensM...
Search
shota-yano
July 16, 2022
Technology
0
240
Kumamoto HoloLens ミートアップ v7 / KumamotoHoloLensMeetupv7
2022/7/16 Kuamoto HoloLens ミートアップ登壇資料
shota-yano
July 16, 2022
Tweet
Share
More Decks by shota-yano
See All by shota-yano
PowerAppsハンズオン準備 / 20220527_PowerApps_Preparation
shotayano
0
90
PowerAppsハンズオン / 20220527_PowerApps_Handson
shotayano
0
250
Power Automate Desktop ハンズオン / powerautomatedesktophandson
shotayano
0
150
PowerAutomateDesktopハンズオン準備 / PowerAutomateDesktopSetup
shotayano
0
130
Unityt超入門解説編1 / Unity_introduction_about_getcomponent
shotayano
0
110
HoloLens2ハンズオン(MRTKを触ってみる) / hololens2_and_mrtk_demo_handson
shotayano
1
350
HoloLens2開発環境構築 / dev-env-construction-for-hololens2
shotayano
0
220
Spatial Anchorsを活用した経路探索の検討
shotayano
0
1.1k
Azure CustomVision ハンズオン
shotayano
0
160
Other Decks in Technology
See All in Technology
振る舞い駆動開発(BDD)における、テスト自動化の前に大切にしていること #stac2024 / BDD formulation
nihonbuson
2
280
Advancing the 3D Geospatial Ecosystem in Japan via Global Collaborations
osgeojp
0
130
「今までで一番学びになった瞬間」発表 LT - Shinjuku.rb #96
kozy4324
0
140
Bytebaseで実現する データベース管理の効率化
shogo452
2
360
2000年てづくりキーボードの旅
tagomoris
1
130
【CNDW2024】SIerで200人クラウドネイティブのファンを増やした話
yuta1979
1
320
GeminiとUnityで実現するインタラクティブアート
hokkey621
0
540
2024/11/29_失敗談から学ぶ! エンジニア向けre:Invent攻略アンチパターン集
hiashisan
0
410
品質管理チームのEMとして大事にしていること / QA EM
nihonbuson
0
430
ポストモーテムレビューをブレームレスに運営し有効な改善アクションを引き出すために必要だったこと / What is needed to operate postmortem blamelessly and elicit improvement actions
yamaguchitk333
0
180
Explain EXPLAIN
keiko713
9
2.3k
プロダクトマネージャーは 事業責任者の夢をみるのか pmconf2024
gimupop
1
6.7k
Featured
See All Featured
Six Lessons from altMBA
skipperchong
27
3.5k
Making Projects Easy
brettharned
116
5.9k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
365
24k
Why You Should Never Use an ORM
jnunemaker
PRO
54
9.1k
How to Think Like a Performance Engineer
csswizardry
21
1.2k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
169
50k
We Have a Design System, Now What?
morganepeng
51
7.3k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
31
2.7k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
27
2.1k
Producing Creativity
orderedlist
PRO
341
39k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
8
1.2k
Agile that works and the tools we love
rasmusluckow
328
21k
Transcript
Kumamoto HoloLens ミートアップ
矢野 翔大 【会社】 • 株式会社KIS • エンジニア • 生産管理システム構築 【コミュニティ】
• KumaMCN 【最近やってること】 • 飯グラメトリ • リアルアバターで遊ぶ WIDAR リアルアバター
生産管理システムに MR機能を雑にくっつけてみた
HoloLensの活用幅広がってきてる • メタ―バース • デジタルツインとか
HoloLensのいいところ • 両手フリー • 製造業と相性いい
ただ一方では • Unity等でフルスクラッチが多い • どうしてもリッチなコンテンツ作りたい場合はUnity等が必要 • 既存のパッケージアプリとの分断 • 分断そのものが悪いわけではない •
既存パッケージアプリのリソースが使いにくい
理想 • パッケージ製品側でMRのモジュールを内包してくれること • これからの時代はMR必要だよねって組み込んでくれる パッケージの領域 MRの モジュール
現実 • MR機能なんて必要条件でもなんでもない • 別になくてもなんら困らない パッケージの領域 MRの モジュール 超 え
る の が 大 変 な 壁
どうにかして理想に近づけたい • ほんのちょっとでも近づけたい パッケージの領域 MRの モジュール 超 え る の
が 大 変 な 壁
なので試してみた • 既存の生産管理システムにどうにかしてMR機能くっつけたい • どうにかこれくらいにならないか パッケージの領域 MRの モジュール
生産管理システム • 計画、生産、在庫、品質などを統合的に管理するシステム • 今回は製造業向けの生産管理を想定 • DELMIA Aprisoを使用 • ダッソー・システムズが開発してるパッケージ
• 生産管理だけでなくいろいろやれる • Webアプリ側として使用 • MR機能は当然ない Apriso
まずは簡単なとこからちょっとずつ試していく • Step1:PC画面の単純な置き換え • Step2:Unityから画面を呼び出してみる • Step3:モバイルの業務を置き換えてみる • Step4:ピッキングの業務にMR機能をくっつけてみる
Step1:PC画面の単純な置き換え • HoloLensのブラウザ(Edge)でWebアプリにアクセスするだけ • 単にWebアプリが動くかどうかの動作確認 • Aprisoパッケージの動作サポート対象 • Windows 10
⇒ サポート対象 • Windows Holographic ⇒ サポート対象外 • Windows10をベースにしたHololens 専用エディション
Step1デモ
Step1:結果 • 単純な機能だけなら特に問題なさそう • WEBブラウザで表示できる範囲内であれば
Step2: Unityから画面を呼び出してみる • QRコードを使ってStep1で表示した画面を呼び出す • QRコードは1.5cmのものを用意 • HoloLens2標準では5cm未満のQRは読めない • QRコードリーダを使う
• 両手フリーを保つため指輪型を使う
Step2デモ
Step2: 結果 • QRリーダーから1文字ずつ送信されるので注意が必要 • キーボードと同じ扱い • 全ての文字が送信完了する前に次の処理をやるとエラーになる • URLが不完全なままブラウザでアクセスしようとするため
• 読み取ったURLは表示していなかったがエラーになるので表示させたら発覚した • 処理の途中でブラウザ開こうとしていた • 画面表示自体は問題ない • 設備にQR貼って現場で設備の稼働状況を見たりもできそう(Iot的なやつ)
Step3:モバイルの業務を置き換えてみる • 入荷業務を試す • QRから入荷業務に使用する画面を呼び出す • バーコードを読ませて入荷報告を行う
Step3デモ
Step3:結果 • 特に問題なく使えそう • バーコード読み取るスピードも速いので極端に効率が落ちることもない • QRリーダーがバーコードも読めるので1台2役可能 • Hololens2には標準でバーコードを読む機能はない
Step4:ピッキングの業務にMR機能をくっつけてみる • 画面はWebアプリをそのまま利用 • 保管場所の道案内をMRでやる • Azure Spatial Anchorを使用 •
空間認識を使って在庫を保管している棚までの道を表示 • 2年前のKumamoto HoloLensミートアップでやったやつの改良版
ピッキング作業とは • 何か作るときに必要な物を倉庫から取ってくる作業 • 作るものによって必要なものも数も変わる • 作業者は紙とかタブレットとか使って指示情報を見ながら作業する
Azure Spatial Anchorsとは • 現実空間の特徴点を使ってアセットの配置を行う • 特徴点情報とアセットをセットでクラウド管理する
構成イメージ • 必要な情報はブラウザで見つつ、MRで道順を出す Webブラウザ ピッキングの 情報を表示 DB Aprisoのパッケージの領域 Azure Spatial
Anchors ・アンカーのID ・棚番の情報 ・現在の位置 など MRの領域 ※道順の表示
マップは事前に作成する • 棚と通路の要所にアンカーを設置 • QRとその周辺の空間の特徴点を記録 • アンカーIDはDBに格納 • 保管場所データと紐づけ •
現在地を知る方法 • 近くの空間を見て検索 • 近くのQRを読む • 目的地を知る方法 • ピッキング指示から取得 L1 L2 L3 L4 L5 L6 L7 L8 L9 L10 L11 L12 L13 L14 L15 L16 保管場所 (ロケーション)
Step4
Step4:課題 • 同じ情報を見せるための同期方法 Webブラウザ ピッキングの 情報を表示 DB Aprisoのパッケージの領域 Azure Spatial
Anchors ・アンカーのID ・棚番の情報 ・現在の位置 など MRの領域 ※道順の表示 ・アンカーID ・アセット
Step4:結果 • 同じ情報を見せるための同期方法が課題 Webブラウザ ピッキングの 情報を表示 DB Aprisoのパッケージの領域 Azure Spatial
Anchors ・アンカーのID ・棚番の情報 ・現在の位置 など MRの領域 ※道順の表示 画面操作(更新処理) ⇒次のデータを表示 更新されない ⇒前のデータのまま ・アンカーID ・アセット
Step4:結果 • 同じ情報を見せるための同期方法 • 単純にそれぞれでボタン操作するか • 一定時間でDBアクセスしてデータの変更検知して自動で表示更新するか • パッケージ側からプッシュするものを独自に作るか などちょっと考えないといけない
まとめ • Webアプリであればうまいこと組み合わせて使うことは出来そう • UXの設計はこれから • Unityで作らなくていいところは極力作らない • リソースをうまく利用して時間を削減 •
MR機能の部分に注力する • 生産管理のDBアクセスは可能ならAPI化しておく • パッケージの領域なのでUnity側で直接書くよりAPI化しておいた方が良い • 事前にSpatial Anchorsのマップ情報作るのが大変 • 現場ごとに作っていく必要がある
【余談】ふと思ったこと • そもそもSpatial Anchorsを使うのがいいのか? • 倉庫内の棚は基本的に動かない • 保管するものは変わっても棚そのものは動かない • 保管場所ごとにQRを1つつけた時点で平面座標と向きが決まる
• QRリーダーではなくHololens2標準機能を使うという選択肢 • HoloLens2 の場合QRの正面を向き、かつ近づかないと小さいQRは検出が難しい • このデメリットを逆に考えるならQRに対するHoloLensの相対値がほぼ決まる(はず) • QRの座標と向きとHoloLens2 の相対位置が決まれば平面座標の特定は可能 • QRの位置も3次元的に持てば理論上3次元マップの作れる • Spatial Anchors使わず論理マップだけで道案内できるのでは? • 検証してみる価値はありそう L1 Hololens2QR検出 距離:0.15~0.5M 角度:±45度
END