Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Kumamoto HoloLens ミートアップ v7 / KumamotoHoloLensM...
Search
shota-yano
July 16, 2022
Technology
0
280
Kumamoto HoloLens ミートアップ v7 / KumamotoHoloLensMeetupv7
2022/7/16 Kuamoto HoloLens ミートアップ登壇資料
shota-yano
July 16, 2022
Tweet
Share
More Decks by shota-yano
See All by shota-yano
PowerAppsハンズオン準備 / 20220527_PowerApps_Preparation
shotayano
0
97
PowerAppsハンズオン / 20220527_PowerApps_Handson
shotayano
1
310
Power Automate Desktop ハンズオン / powerautomatedesktophandson
shotayano
0
160
PowerAutomateDesktopハンズオン準備 / PowerAutomateDesktopSetup
shotayano
0
130
Unityt超入門解説編1 / Unity_introduction_about_getcomponent
shotayano
0
120
HoloLens2ハンズオン(MRTKを触ってみる) / hololens2_and_mrtk_demo_handson
shotayano
1
360
HoloLens2開発環境構築 / dev-env-construction-for-hololens2
shotayano
0
230
Spatial Anchorsを活用した経路探索の検討
shotayano
0
1.1k
Azure CustomVision ハンズオン
shotayano
0
160
Other Decks in Technology
See All in Technology
PHPでResult型やってみよう
higaki_program
0
200
AI エンジニアの立場からみた、AI コーディング時代の開発の品質向上の取り組みと妄想
soh9834
7
470
東京海上日動におけるセキュアな開発プロセスの取り組み
miyabit
0
160
FAST導入1年間のふりかえり〜現実を直視し、さらなる進化を求めて〜 / Review of the first year of FAST implementation
wooootack
1
140
PHPからはじめるコンピュータアーキテクチャ / From Scripts to Silicon: A Journey Through the Layers of Computing
tomzoh
2
390
生成AIによる情報システムへのインパクト
taka_aki
1
170
OTel 公式ドキュメント翻訳 PJ から始めるコミュニティ活動/Community activities starting with the OTel official document translation project
msksgm
0
270
Tiptapで実現する堅牢で柔軟なエディター開発
kirik
1
110
robocopy の怖い話/scary-story-about-robocopy
emiki
0
210
20250718_ITSurf_“Bet AI”を支える文化とコストマネジメント
helosshi
1
220
The Madness of Multiple Gemini CLIs Developing Simultaneously with Jujutsu
gunta
1
2.6k
BEYOND THE RAG🚀 ~とりあえずRAG?を超えていけ! 本当に使えるAIエージェント&生成AIプロダクトを目指して~ / BEYOND-THE-RAG-Toward Practical-GenerativeAI-Products-AOAI-DevDay-2025
jnymyk
4
520
Featured
See All Featured
Designing for Performance
lara
610
69k
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
656
60k
Why Our Code Smells
bkeepers
PRO
337
57k
We Have a Design System, Now What?
morganepeng
53
7.7k
Reflections from 52 weeks, 52 projects
jeffersonlam
351
21k
Side Projects
sachag
455
43k
Large-scale JavaScript Application Architecture
addyosmani
512
110k
Building Adaptive Systems
keathley
43
2.7k
How to Ace a Technical Interview
jacobian
278
23k
Being A Developer After 40
akosma
90
590k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
15
1.6k
Connecting the Dots Between Site Speed, User Experience & Your Business [WebExpo 2025]
tammyeverts
8
370
Transcript
Kumamoto HoloLens ミートアップ
矢野 翔大 【会社】 • 株式会社KIS • エンジニア • 生産管理システム構築 【コミュニティ】
• KumaMCN 【最近やってること】 • 飯グラメトリ • リアルアバターで遊ぶ WIDAR リアルアバター
生産管理システムに MR機能を雑にくっつけてみた
HoloLensの活用幅広がってきてる • メタ―バース • デジタルツインとか
HoloLensのいいところ • 両手フリー • 製造業と相性いい
ただ一方では • Unity等でフルスクラッチが多い • どうしてもリッチなコンテンツ作りたい場合はUnity等が必要 • 既存のパッケージアプリとの分断 • 分断そのものが悪いわけではない •
既存パッケージアプリのリソースが使いにくい
理想 • パッケージ製品側でMRのモジュールを内包してくれること • これからの時代はMR必要だよねって組み込んでくれる パッケージの領域 MRの モジュール
現実 • MR機能なんて必要条件でもなんでもない • 別になくてもなんら困らない パッケージの領域 MRの モジュール 超 え
る の が 大 変 な 壁
どうにかして理想に近づけたい • ほんのちょっとでも近づけたい パッケージの領域 MRの モジュール 超 え る の
が 大 変 な 壁
なので試してみた • 既存の生産管理システムにどうにかしてMR機能くっつけたい • どうにかこれくらいにならないか パッケージの領域 MRの モジュール
生産管理システム • 計画、生産、在庫、品質などを統合的に管理するシステム • 今回は製造業向けの生産管理を想定 • DELMIA Aprisoを使用 • ダッソー・システムズが開発してるパッケージ
• 生産管理だけでなくいろいろやれる • Webアプリ側として使用 • MR機能は当然ない Apriso
まずは簡単なとこからちょっとずつ試していく • Step1:PC画面の単純な置き換え • Step2:Unityから画面を呼び出してみる • Step3:モバイルの業務を置き換えてみる • Step4:ピッキングの業務にMR機能をくっつけてみる
Step1:PC画面の単純な置き換え • HoloLensのブラウザ(Edge)でWebアプリにアクセスするだけ • 単にWebアプリが動くかどうかの動作確認 • Aprisoパッケージの動作サポート対象 • Windows 10
⇒ サポート対象 • Windows Holographic ⇒ サポート対象外 • Windows10をベースにしたHololens 専用エディション
Step1デモ
Step1:結果 • 単純な機能だけなら特に問題なさそう • WEBブラウザで表示できる範囲内であれば
Step2: Unityから画面を呼び出してみる • QRコードを使ってStep1で表示した画面を呼び出す • QRコードは1.5cmのものを用意 • HoloLens2標準では5cm未満のQRは読めない • QRコードリーダを使う
• 両手フリーを保つため指輪型を使う
Step2デモ
Step2: 結果 • QRリーダーから1文字ずつ送信されるので注意が必要 • キーボードと同じ扱い • 全ての文字が送信完了する前に次の処理をやるとエラーになる • URLが不完全なままブラウザでアクセスしようとするため
• 読み取ったURLは表示していなかったがエラーになるので表示させたら発覚した • 処理の途中でブラウザ開こうとしていた • 画面表示自体は問題ない • 設備にQR貼って現場で設備の稼働状況を見たりもできそう(Iot的なやつ)
Step3:モバイルの業務を置き換えてみる • 入荷業務を試す • QRから入荷業務に使用する画面を呼び出す • バーコードを読ませて入荷報告を行う
Step3デモ
Step3:結果 • 特に問題なく使えそう • バーコード読み取るスピードも速いので極端に効率が落ちることもない • QRリーダーがバーコードも読めるので1台2役可能 • Hololens2には標準でバーコードを読む機能はない
Step4:ピッキングの業務にMR機能をくっつけてみる • 画面はWebアプリをそのまま利用 • 保管場所の道案内をMRでやる • Azure Spatial Anchorを使用 •
空間認識を使って在庫を保管している棚までの道を表示 • 2年前のKumamoto HoloLensミートアップでやったやつの改良版
ピッキング作業とは • 何か作るときに必要な物を倉庫から取ってくる作業 • 作るものによって必要なものも数も変わる • 作業者は紙とかタブレットとか使って指示情報を見ながら作業する
Azure Spatial Anchorsとは • 現実空間の特徴点を使ってアセットの配置を行う • 特徴点情報とアセットをセットでクラウド管理する
構成イメージ • 必要な情報はブラウザで見つつ、MRで道順を出す Webブラウザ ピッキングの 情報を表示 DB Aprisoのパッケージの領域 Azure Spatial
Anchors ・アンカーのID ・棚番の情報 ・現在の位置 など MRの領域 ※道順の表示
マップは事前に作成する • 棚と通路の要所にアンカーを設置 • QRとその周辺の空間の特徴点を記録 • アンカーIDはDBに格納 • 保管場所データと紐づけ •
現在地を知る方法 • 近くの空間を見て検索 • 近くのQRを読む • 目的地を知る方法 • ピッキング指示から取得 L1 L2 L3 L4 L5 L6 L7 L8 L9 L10 L11 L12 L13 L14 L15 L16 保管場所 (ロケーション)
Step4
Step4:課題 • 同じ情報を見せるための同期方法 Webブラウザ ピッキングの 情報を表示 DB Aprisoのパッケージの領域 Azure Spatial
Anchors ・アンカーのID ・棚番の情報 ・現在の位置 など MRの領域 ※道順の表示 ・アンカーID ・アセット
Step4:結果 • 同じ情報を見せるための同期方法が課題 Webブラウザ ピッキングの 情報を表示 DB Aprisoのパッケージの領域 Azure Spatial
Anchors ・アンカーのID ・棚番の情報 ・現在の位置 など MRの領域 ※道順の表示 画面操作(更新処理) ⇒次のデータを表示 更新されない ⇒前のデータのまま ・アンカーID ・アセット
Step4:結果 • 同じ情報を見せるための同期方法 • 単純にそれぞれでボタン操作するか • 一定時間でDBアクセスしてデータの変更検知して自動で表示更新するか • パッケージ側からプッシュするものを独自に作るか などちょっと考えないといけない
まとめ • Webアプリであればうまいこと組み合わせて使うことは出来そう • UXの設計はこれから • Unityで作らなくていいところは極力作らない • リソースをうまく利用して時間を削減 •
MR機能の部分に注力する • 生産管理のDBアクセスは可能ならAPI化しておく • パッケージの領域なのでUnity側で直接書くよりAPI化しておいた方が良い • 事前にSpatial Anchorsのマップ情報作るのが大変 • 現場ごとに作っていく必要がある
【余談】ふと思ったこと • そもそもSpatial Anchorsを使うのがいいのか? • 倉庫内の棚は基本的に動かない • 保管するものは変わっても棚そのものは動かない • 保管場所ごとにQRを1つつけた時点で平面座標と向きが決まる
• QRリーダーではなくHololens2標準機能を使うという選択肢 • HoloLens2 の場合QRの正面を向き、かつ近づかないと小さいQRは検出が難しい • このデメリットを逆に考えるならQRに対するHoloLensの相対値がほぼ決まる(はず) • QRの座標と向きとHoloLens2 の相対位置が決まれば平面座標の特定は可能 • QRの位置も3次元的に持てば理論上3次元マップの作れる • Spatial Anchors使わず論理マップだけで道案内できるのでは? • 検証してみる価値はありそう L1 Hololens2QR検出 距離:0.15~0.5M 角度:±45度
END