Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Kumamoto HoloLens ミートアップ v7 / KumamotoHoloLensM...
Search
shota-yano
July 16, 2022
Technology
0
270
Kumamoto HoloLens ミートアップ v7 / KumamotoHoloLensMeetupv7
2022/7/16 Kuamoto HoloLens ミートアップ登壇資料
shota-yano
July 16, 2022
Tweet
Share
More Decks by shota-yano
See All by shota-yano
PowerAppsハンズオン準備 / 20220527_PowerApps_Preparation
shotayano
0
96
PowerAppsハンズオン / 20220527_PowerApps_Handson
shotayano
0
290
Power Automate Desktop ハンズオン / powerautomatedesktophandson
shotayano
0
150
PowerAutomateDesktopハンズオン準備 / PowerAutomateDesktopSetup
shotayano
0
130
Unityt超入門解説編1 / Unity_introduction_about_getcomponent
shotayano
0
110
HoloLens2ハンズオン(MRTKを触ってみる) / hololens2_and_mrtk_demo_handson
shotayano
1
360
HoloLens2開発環境構築 / dev-env-construction-for-hololens2
shotayano
0
230
Spatial Anchorsを活用した経路探索の検討
shotayano
0
1.1k
Azure CustomVision ハンズオン
shotayano
0
160
Other Decks in Technology
See All in Technology
Coding Agentに値札を付けろ
watany
3
590
さくらのクラウド開発の裏側
metakoma
PRO
18
5.9k
LLMの開発と社会実装の今と未来 / AI Builders' Community (ABC) vol.2
pfn
PRO
2
230
UIパフォーマンス最適化: AIを活用して100倍の速度向上を実現した事例
kinocoboy2
1
640
技術的負債を「戦略的投資」にするためのPdMとエンジニアの連携と実践
satomino
2
350
技術選定を突き詰める 懇親会LT
okaru
2
1.3k
encoding/json v2を予習しよう!
yuyu_hf
PRO
1
220
WindowsでGenesisに挑戦した話
natsutan
0
120
MCP でモノが動くとおもしろい/It is interesting when things move with MCP
bitkey
3
620
Sleep-time Compute: LLM推論コスト削減のための事前推論
sergicalsix
1
150
GPU 클라우드 환경에서의 회복탄력적 AI 운영 : 훈련 및 추론을 위한 견고한 아키텍처와 전략
inureyes
PRO
0
130
Software Delivery Observability CI・CD , DORA metrics も Datadog で可視化しよう / datadog-ci-cd-observability
parupappa2929
0
160
Featured
See All Featured
Designing for Performance
lara
608
69k
The Illustrated Children's Guide to Kubernetes
chrisshort
48
50k
A Tale of Four Properties
chriscoyier
159
23k
Why You Should Never Use an ORM
jnunemaker
PRO
56
9.4k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
29
2.6k
StorybookのUI Testing Handbookを読んだ
zakiyama
30
5.7k
Building Flexible Design Systems
yeseniaperezcruz
329
39k
Code Reviewing Like a Champion
maltzj
523
40k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
24
2.7k
Facilitating Awesome Meetings
lara
54
6.4k
Build The Right Thing And Hit Your Dates
maggiecrowley
35
2.7k
Imperfection Machines: The Place of Print at Facebook
scottboms
267
13k
Transcript
Kumamoto HoloLens ミートアップ
矢野 翔大 【会社】 • 株式会社KIS • エンジニア • 生産管理システム構築 【コミュニティ】
• KumaMCN 【最近やってること】 • 飯グラメトリ • リアルアバターで遊ぶ WIDAR リアルアバター
生産管理システムに MR機能を雑にくっつけてみた
HoloLensの活用幅広がってきてる • メタ―バース • デジタルツインとか
HoloLensのいいところ • 両手フリー • 製造業と相性いい
ただ一方では • Unity等でフルスクラッチが多い • どうしてもリッチなコンテンツ作りたい場合はUnity等が必要 • 既存のパッケージアプリとの分断 • 分断そのものが悪いわけではない •
既存パッケージアプリのリソースが使いにくい
理想 • パッケージ製品側でMRのモジュールを内包してくれること • これからの時代はMR必要だよねって組み込んでくれる パッケージの領域 MRの モジュール
現実 • MR機能なんて必要条件でもなんでもない • 別になくてもなんら困らない パッケージの領域 MRの モジュール 超 え
る の が 大 変 な 壁
どうにかして理想に近づけたい • ほんのちょっとでも近づけたい パッケージの領域 MRの モジュール 超 え る の
が 大 変 な 壁
なので試してみた • 既存の生産管理システムにどうにかしてMR機能くっつけたい • どうにかこれくらいにならないか パッケージの領域 MRの モジュール
生産管理システム • 計画、生産、在庫、品質などを統合的に管理するシステム • 今回は製造業向けの生産管理を想定 • DELMIA Aprisoを使用 • ダッソー・システムズが開発してるパッケージ
• 生産管理だけでなくいろいろやれる • Webアプリ側として使用 • MR機能は当然ない Apriso
まずは簡単なとこからちょっとずつ試していく • Step1:PC画面の単純な置き換え • Step2:Unityから画面を呼び出してみる • Step3:モバイルの業務を置き換えてみる • Step4:ピッキングの業務にMR機能をくっつけてみる
Step1:PC画面の単純な置き換え • HoloLensのブラウザ(Edge)でWebアプリにアクセスするだけ • 単にWebアプリが動くかどうかの動作確認 • Aprisoパッケージの動作サポート対象 • Windows 10
⇒ サポート対象 • Windows Holographic ⇒ サポート対象外 • Windows10をベースにしたHololens 専用エディション
Step1デモ
Step1:結果 • 単純な機能だけなら特に問題なさそう • WEBブラウザで表示できる範囲内であれば
Step2: Unityから画面を呼び出してみる • QRコードを使ってStep1で表示した画面を呼び出す • QRコードは1.5cmのものを用意 • HoloLens2標準では5cm未満のQRは読めない • QRコードリーダを使う
• 両手フリーを保つため指輪型を使う
Step2デモ
Step2: 結果 • QRリーダーから1文字ずつ送信されるので注意が必要 • キーボードと同じ扱い • 全ての文字が送信完了する前に次の処理をやるとエラーになる • URLが不完全なままブラウザでアクセスしようとするため
• 読み取ったURLは表示していなかったがエラーになるので表示させたら発覚した • 処理の途中でブラウザ開こうとしていた • 画面表示自体は問題ない • 設備にQR貼って現場で設備の稼働状況を見たりもできそう(Iot的なやつ)
Step3:モバイルの業務を置き換えてみる • 入荷業務を試す • QRから入荷業務に使用する画面を呼び出す • バーコードを読ませて入荷報告を行う
Step3デモ
Step3:結果 • 特に問題なく使えそう • バーコード読み取るスピードも速いので極端に効率が落ちることもない • QRリーダーがバーコードも読めるので1台2役可能 • Hololens2には標準でバーコードを読む機能はない
Step4:ピッキングの業務にMR機能をくっつけてみる • 画面はWebアプリをそのまま利用 • 保管場所の道案内をMRでやる • Azure Spatial Anchorを使用 •
空間認識を使って在庫を保管している棚までの道を表示 • 2年前のKumamoto HoloLensミートアップでやったやつの改良版
ピッキング作業とは • 何か作るときに必要な物を倉庫から取ってくる作業 • 作るものによって必要なものも数も変わる • 作業者は紙とかタブレットとか使って指示情報を見ながら作業する
Azure Spatial Anchorsとは • 現実空間の特徴点を使ってアセットの配置を行う • 特徴点情報とアセットをセットでクラウド管理する
構成イメージ • 必要な情報はブラウザで見つつ、MRで道順を出す Webブラウザ ピッキングの 情報を表示 DB Aprisoのパッケージの領域 Azure Spatial
Anchors ・アンカーのID ・棚番の情報 ・現在の位置 など MRの領域 ※道順の表示
マップは事前に作成する • 棚と通路の要所にアンカーを設置 • QRとその周辺の空間の特徴点を記録 • アンカーIDはDBに格納 • 保管場所データと紐づけ •
現在地を知る方法 • 近くの空間を見て検索 • 近くのQRを読む • 目的地を知る方法 • ピッキング指示から取得 L1 L2 L3 L4 L5 L6 L7 L8 L9 L10 L11 L12 L13 L14 L15 L16 保管場所 (ロケーション)
Step4
Step4:課題 • 同じ情報を見せるための同期方法 Webブラウザ ピッキングの 情報を表示 DB Aprisoのパッケージの領域 Azure Spatial
Anchors ・アンカーのID ・棚番の情報 ・現在の位置 など MRの領域 ※道順の表示 ・アンカーID ・アセット
Step4:結果 • 同じ情報を見せるための同期方法が課題 Webブラウザ ピッキングの 情報を表示 DB Aprisoのパッケージの領域 Azure Spatial
Anchors ・アンカーのID ・棚番の情報 ・現在の位置 など MRの領域 ※道順の表示 画面操作(更新処理) ⇒次のデータを表示 更新されない ⇒前のデータのまま ・アンカーID ・アセット
Step4:結果 • 同じ情報を見せるための同期方法 • 単純にそれぞれでボタン操作するか • 一定時間でDBアクセスしてデータの変更検知して自動で表示更新するか • パッケージ側からプッシュするものを独自に作るか などちょっと考えないといけない
まとめ • Webアプリであればうまいこと組み合わせて使うことは出来そう • UXの設計はこれから • Unityで作らなくていいところは極力作らない • リソースをうまく利用して時間を削減 •
MR機能の部分に注力する • 生産管理のDBアクセスは可能ならAPI化しておく • パッケージの領域なのでUnity側で直接書くよりAPI化しておいた方が良い • 事前にSpatial Anchorsのマップ情報作るのが大変 • 現場ごとに作っていく必要がある
【余談】ふと思ったこと • そもそもSpatial Anchorsを使うのがいいのか? • 倉庫内の棚は基本的に動かない • 保管するものは変わっても棚そのものは動かない • 保管場所ごとにQRを1つつけた時点で平面座標と向きが決まる
• QRリーダーではなくHololens2標準機能を使うという選択肢 • HoloLens2 の場合QRの正面を向き、かつ近づかないと小さいQRは検出が難しい • このデメリットを逆に考えるならQRに対するHoloLensの相対値がほぼ決まる(はず) • QRの座標と向きとHoloLens2 の相対位置が決まれば平面座標の特定は可能 • QRの位置も3次元的に持てば理論上3次元マップの作れる • Spatial Anchors使わず論理マップだけで道案内できるのでは? • 検証してみる価値はありそう L1 Hololens2QR検出 距離:0.15~0.5M 角度:±45度
END