Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Kumamoto HoloLens ミートアップ v7 / KumamotoHoloLensM...
Search
shota-yano
July 16, 2022
Technology
0
280
Kumamoto HoloLens ミートアップ v7 / KumamotoHoloLensMeetupv7
2022/7/16 Kuamoto HoloLens ミートアップ登壇資料
shota-yano
July 16, 2022
Tweet
Share
More Decks by shota-yano
See All by shota-yano
PowerAppsハンズオン準備 / 20220527_PowerApps_Preparation
shotayano
0
96
PowerAppsハンズオン / 20220527_PowerApps_Handson
shotayano
1
300
Power Automate Desktop ハンズオン / powerautomatedesktophandson
shotayano
0
160
PowerAutomateDesktopハンズオン準備 / PowerAutomateDesktopSetup
shotayano
0
130
Unityt超入門解説編1 / Unity_introduction_about_getcomponent
shotayano
0
120
HoloLens2ハンズオン(MRTKを触ってみる) / hololens2_and_mrtk_demo_handson
shotayano
1
360
HoloLens2開発環境構築 / dev-env-construction-for-hololens2
shotayano
0
230
Spatial Anchorsを活用した経路探索の検討
shotayano
0
1.1k
Azure CustomVision ハンズオン
shotayano
0
160
Other Decks in Technology
See All in Technology
急成長を支える基盤作り〜地道な改善からコツコツと〜 #cre_meetup
stefafafan
0
120
25分で解説する「最小権限の原則」を実現するための AWS「ポリシー」大全 / 20250625-aws-summit-aws-policy
opelab
9
1.1k
登壇ネタの見つけ方 / How to find talk topics
pinkumohikan
5
440
低レイヤを知りたいPHPerのためのCコンパイラ作成入門 完全版 / Building a C Compiler for PHPers Who Want to Dive into Low-Level Programming - Expanded
tomzoh
4
3.2k
SalesforceArchitectGroupOsaka#20_CNX'25_Report
atomica7sei
0
170
解析の定理証明実践@Lean 4
dec9ue
0
180
AWS Summit Japan 2025 Community Stage - App workflow automation by AWS Step Functions
matsuihidetoshi
1
260
生成AI時代の開発組織・技術・プロセス 〜 ログラスの挑戦と考察 〜
itohiro73
0
150
本が全く読めなかった過去の自分へ
genshun9
0
280
20250625 Snowflake Summit 2025活用事例 レポート / Nowcast Snowflake Summit 2025 Case Study Report
kkuv
1
310
監視のこれまでとこれから/sakura monitoring seminar 2025
fujiwara3
11
3.9k
生成AIで小説を書くためにプロンプトの制約や原則について学ぶ / prompt-engineering-for-ai-fiction
nwiizo
4
1.5k
Featured
See All Featured
For a Future-Friendly Web
brad_frost
179
9.8k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
26
2.9k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
46
9.6k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
31
2.4k
A Modern Web Designer's Workflow
chriscoyier
694
190k
It's Worth the Effort
3n
185
28k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
34
3k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
357
30k
Building a Modern Day E-commerce SEO Strategy
aleyda
42
7.3k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
161
15k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
PRO
181
53k
Build your cross-platform service in a week with App Engine
jlugia
231
18k
Transcript
Kumamoto HoloLens ミートアップ
矢野 翔大 【会社】 • 株式会社KIS • エンジニア • 生産管理システム構築 【コミュニティ】
• KumaMCN 【最近やってること】 • 飯グラメトリ • リアルアバターで遊ぶ WIDAR リアルアバター
生産管理システムに MR機能を雑にくっつけてみた
HoloLensの活用幅広がってきてる • メタ―バース • デジタルツインとか
HoloLensのいいところ • 両手フリー • 製造業と相性いい
ただ一方では • Unity等でフルスクラッチが多い • どうしてもリッチなコンテンツ作りたい場合はUnity等が必要 • 既存のパッケージアプリとの分断 • 分断そのものが悪いわけではない •
既存パッケージアプリのリソースが使いにくい
理想 • パッケージ製品側でMRのモジュールを内包してくれること • これからの時代はMR必要だよねって組み込んでくれる パッケージの領域 MRの モジュール
現実 • MR機能なんて必要条件でもなんでもない • 別になくてもなんら困らない パッケージの領域 MRの モジュール 超 え
る の が 大 変 な 壁
どうにかして理想に近づけたい • ほんのちょっとでも近づけたい パッケージの領域 MRの モジュール 超 え る の
が 大 変 な 壁
なので試してみた • 既存の生産管理システムにどうにかしてMR機能くっつけたい • どうにかこれくらいにならないか パッケージの領域 MRの モジュール
生産管理システム • 計画、生産、在庫、品質などを統合的に管理するシステム • 今回は製造業向けの生産管理を想定 • DELMIA Aprisoを使用 • ダッソー・システムズが開発してるパッケージ
• 生産管理だけでなくいろいろやれる • Webアプリ側として使用 • MR機能は当然ない Apriso
まずは簡単なとこからちょっとずつ試していく • Step1:PC画面の単純な置き換え • Step2:Unityから画面を呼び出してみる • Step3:モバイルの業務を置き換えてみる • Step4:ピッキングの業務にMR機能をくっつけてみる
Step1:PC画面の単純な置き換え • HoloLensのブラウザ(Edge)でWebアプリにアクセスするだけ • 単にWebアプリが動くかどうかの動作確認 • Aprisoパッケージの動作サポート対象 • Windows 10
⇒ サポート対象 • Windows Holographic ⇒ サポート対象外 • Windows10をベースにしたHololens 専用エディション
Step1デモ
Step1:結果 • 単純な機能だけなら特に問題なさそう • WEBブラウザで表示できる範囲内であれば
Step2: Unityから画面を呼び出してみる • QRコードを使ってStep1で表示した画面を呼び出す • QRコードは1.5cmのものを用意 • HoloLens2標準では5cm未満のQRは読めない • QRコードリーダを使う
• 両手フリーを保つため指輪型を使う
Step2デモ
Step2: 結果 • QRリーダーから1文字ずつ送信されるので注意が必要 • キーボードと同じ扱い • 全ての文字が送信完了する前に次の処理をやるとエラーになる • URLが不完全なままブラウザでアクセスしようとするため
• 読み取ったURLは表示していなかったがエラーになるので表示させたら発覚した • 処理の途中でブラウザ開こうとしていた • 画面表示自体は問題ない • 設備にQR貼って現場で設備の稼働状況を見たりもできそう(Iot的なやつ)
Step3:モバイルの業務を置き換えてみる • 入荷業務を試す • QRから入荷業務に使用する画面を呼び出す • バーコードを読ませて入荷報告を行う
Step3デモ
Step3:結果 • 特に問題なく使えそう • バーコード読み取るスピードも速いので極端に効率が落ちることもない • QRリーダーがバーコードも読めるので1台2役可能 • Hololens2には標準でバーコードを読む機能はない
Step4:ピッキングの業務にMR機能をくっつけてみる • 画面はWebアプリをそのまま利用 • 保管場所の道案内をMRでやる • Azure Spatial Anchorを使用 •
空間認識を使って在庫を保管している棚までの道を表示 • 2年前のKumamoto HoloLensミートアップでやったやつの改良版
ピッキング作業とは • 何か作るときに必要な物を倉庫から取ってくる作業 • 作るものによって必要なものも数も変わる • 作業者は紙とかタブレットとか使って指示情報を見ながら作業する
Azure Spatial Anchorsとは • 現実空間の特徴点を使ってアセットの配置を行う • 特徴点情報とアセットをセットでクラウド管理する
構成イメージ • 必要な情報はブラウザで見つつ、MRで道順を出す Webブラウザ ピッキングの 情報を表示 DB Aprisoのパッケージの領域 Azure Spatial
Anchors ・アンカーのID ・棚番の情報 ・現在の位置 など MRの領域 ※道順の表示
マップは事前に作成する • 棚と通路の要所にアンカーを設置 • QRとその周辺の空間の特徴点を記録 • アンカーIDはDBに格納 • 保管場所データと紐づけ •
現在地を知る方法 • 近くの空間を見て検索 • 近くのQRを読む • 目的地を知る方法 • ピッキング指示から取得 L1 L2 L3 L4 L5 L6 L7 L8 L9 L10 L11 L12 L13 L14 L15 L16 保管場所 (ロケーション)
Step4
Step4:課題 • 同じ情報を見せるための同期方法 Webブラウザ ピッキングの 情報を表示 DB Aprisoのパッケージの領域 Azure Spatial
Anchors ・アンカーのID ・棚番の情報 ・現在の位置 など MRの領域 ※道順の表示 ・アンカーID ・アセット
Step4:結果 • 同じ情報を見せるための同期方法が課題 Webブラウザ ピッキングの 情報を表示 DB Aprisoのパッケージの領域 Azure Spatial
Anchors ・アンカーのID ・棚番の情報 ・現在の位置 など MRの領域 ※道順の表示 画面操作(更新処理) ⇒次のデータを表示 更新されない ⇒前のデータのまま ・アンカーID ・アセット
Step4:結果 • 同じ情報を見せるための同期方法 • 単純にそれぞれでボタン操作するか • 一定時間でDBアクセスしてデータの変更検知して自動で表示更新するか • パッケージ側からプッシュするものを独自に作るか などちょっと考えないといけない
まとめ • Webアプリであればうまいこと組み合わせて使うことは出来そう • UXの設計はこれから • Unityで作らなくていいところは極力作らない • リソースをうまく利用して時間を削減 •
MR機能の部分に注力する • 生産管理のDBアクセスは可能ならAPI化しておく • パッケージの領域なのでUnity側で直接書くよりAPI化しておいた方が良い • 事前にSpatial Anchorsのマップ情報作るのが大変 • 現場ごとに作っていく必要がある
【余談】ふと思ったこと • そもそもSpatial Anchorsを使うのがいいのか? • 倉庫内の棚は基本的に動かない • 保管するものは変わっても棚そのものは動かない • 保管場所ごとにQRを1つつけた時点で平面座標と向きが決まる
• QRリーダーではなくHololens2標準機能を使うという選択肢 • HoloLens2 の場合QRの正面を向き、かつ近づかないと小さいQRは検出が難しい • このデメリットを逆に考えるならQRに対するHoloLensの相対値がほぼ決まる(はず) • QRの座標と向きとHoloLens2 の相対位置が決まれば平面座標の特定は可能 • QRの位置も3次元的に持てば理論上3次元マップの作れる • Spatial Anchors使わず論理マップだけで道案内できるのでは? • 検証してみる価値はありそう L1 Hololens2QR検出 距離:0.15~0.5M 角度:±45度
END