Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Research modeで取得した深度(Depth)データを可視化する / Depth da...
Search
sotanmochi
April 17, 2018
Technology
0
170
Research modeで取得した深度(Depth)データを可視化する / Depth data visualization for Hololens RS4 Research mode
sotanmochi
April 17, 2018
Tweet
Share
More Decks by sotanmochi
See All by sotanmochi
URP/HDRPを使ったVRM対応アプリの開発方法 / VRM Importer Extension
sotanmochi
0
1.6k
画像処理から始めるコンピュートシェーダ / Introduction to Image Processing using Compute Shader
sotanmochi
2
2.4k
Diminished Reality 入門 / Introduction to Diminished Reality
sotanmochi
2
8.9k
Unityでテクスチャにお絵描きするための線分描画アルゴリズムの話 / Line drawing algorithm using fragment shader
sotanmochi
2
3.7k
MagicOnionでマルチプレイゲームを作ってみる / Introduction to developing multiplayer games using MagicOnion
sotanmochi
1
2.3k
SmartRig Bipedを使ってみよう / Introduction to SmartRig Biped
sotanmochi
0
3.1k
VRMを使ったAR/MR撮影ツールを試作開発してみた話 / Prototype of Mobile Mixed Capture
sotanmochi
0
1.6k
リアルとバーチャルの融合によって越えられない壁を壊す / TechCafe vol.8 LT
sotanmochi
0
260
ユニティちゃんと鬼ごっこができるMRゲームと戦術位置解析システム / Mixed reality game and tactical position analysis
sotanmochi
0
630
Other Decks in Technology
See All in Technology
KubeCon + CloudNativeCon Japan 2025 Recap
ren510dev
1
190
250627 関西Ruby会議08 前夜祭 RejectKaigi「DJ on Ruby Ver.0.1」
msykd
PRO
2
340
作曲家がボカロを使うようにPdMはAIを使え
itotaxi
0
180
GeminiとNotebookLMによる金融実務の業務革新
abenben
0
240
PHP開発者のためのSOLID原則再入門 #phpcon / PHP Conference Japan 2025
shogogg
4
890
ひとり情シスなCTOがLLMと始めるオペレーション最適化 / CTO's LLM-Powered Ops
yamitzky
0
450
製造業からパッケージ製品まで、あらゆる領域をカバー!生成AIを利用したテストシナリオ生成 / 20250627 Suguru Ishii
shift_evolve
PRO
1
150
AWS Organizations 新機能!マルチパーティ承認の紹介
yhana
1
170
~宇宙最速~2025年AWS Summit レポート
satodesu
1
1.9k
SpringBoot x TestContainerで実現するポータブル自動結合テスト
demaecan
0
110
Snowflake Summit 2025全体振り返り / Snowflake Summit 2025 Overall Review
mtpooh
2
420
第9回情シス転職ミートアップ_テックタッチ株式会社
forester3003
0
260
Featured
See All Featured
Imperfection Machines: The Place of Print at Facebook
scottboms
267
13k
The Cost Of JavaScript in 2023
addyosmani
51
8.5k
Rebuilding a faster, lazier Slack
samanthasiow
82
9.1k
Unsuck your backbone
ammeep
671
58k
Faster Mobile Websites
deanohume
307
31k
Principles of Awesome APIs and How to Build Them.
keavy
126
17k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
130
19k
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
657
60k
How to Ace a Technical Interview
jacobian
277
23k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
48
5.4k
Optimizing for Happiness
mojombo
379
70k
Optimising Largest Contentful Paint
csswizardry
37
3.3k
Transcript
Research modeで取得した 深度(Depth)データを可視化する 2018/04/17 Soichiro Sugimoto sotan(@sotanmochi)
自己紹介 氏名:杉本 宗一郎 所属:TIS株式会社・戦略技術センター 最近作っているもの(個人): ユニティちゃんと鬼ごっこするアプリ (コンテスト応募に向けて最終調整中) 2018/04/17 2
C++のサンプル(HoloLensForCV/Streamer)を動かしてみた 2018/04/17 3 深度(Depth)センサーで取得したデータを可視化してみたが,ほとんど見えない. なぜか全体的に暗い. ※ スライド用に画像の明るさを+40%にしている 近距離深度 (ShortThrowToFDepth) 遠距離深度
(LongThrowToFDepth) https://github.com/Microsoft/HoloLensForCV/tree/feature/api_updates
C++のサンプル(HoloLensForCV/Streamer)を動かしてみた 2018/04/17 4 テクスチャのフォーマットを変えてみたら,全体的に明るくなった. 深度に差分はあるはずだが,違いが分からない. 近距離深度 (ShortThrowToFDepth) 遠距離深度 (LongThrowToFDepth) https://github.com/Microsoft/HoloLensForCV/tree/feature/api_updates
C#のサンプル(Windows-universal-sample/CameraFrames)を動かしてみた 2018/04/17 5 深度の差が見えない.全然分からない. ※ スライド用に画像の明るさを+40%にしている 近距離深度 (ShortThrowToFDepth) https://github.com/Microsoft/Windows-universal-samples/tree/master/Samples/CameraFrames
深度(Depth)データを分かりやすく可視化してみた 2018/04/17 6 近距離深度 (ShortThrowToFDepth) 遠距離深度 (LongThrowToFDepth)
深度(Depth)データを分かりやすく可視化してみた 2018/04/17 7 デモ動画 https://www.youtube.com/watch?v=Yl_hut20K5A
深度(Depth)をHSV形式で色に変換して可視化する 2018/04/17 8 画像出典・参考: Wikipedia「色相」 https://ja.wikipedia.org/wiki/%E8%89%B2%E7%9B%B8 Wikipedia「HSV色空間」 https://ja.wikipedia.org/wiki/HSV%E8%89%B2%E7%A9%BA%E9%96%93 1. 深度値を色相(Hue)に変換する.(SとVの値は基本的に1.0に固定)
深度(Depth): 0m 0.84m 1.68m 3.36m 4.2m 色相(Hue) : 0° 60° 120° 240° 300°
深度(Depth)をHSV形式で色に変換して可視化する 2018/04/17 9 2. HSV(0.0~1.0)をRGB(0.0~1.0)に変換する. Alpha(8bit) R(8bit) G(8bit) B(8bit) 3.
RGB(0.0~1.0)の値をピクセルデータに変換して配列に書き込む. 0 ~ 255 0 ~ 255 0 ~ 255 0 ~ 255 参考: t-pot『HSV変換』 http://t-pot.com/program/112_HSV/index.html Wikipedia「HSV色空間」 https://ja.wikipedia.org/wiki/HSV%E8%89%B2%E7%A9%BA%E9%96%93 変換の計算式は省略.
可視化するために試行錯誤して分かったこと 2018/04/17 10 下記の値から計算した深度値の有効範囲は 0.001 ~ 65.535mだが, 実際の有効範囲より大きすぎるため,可視化にはあまり使えない. DepthMediaFrame.DepthFormat.DepthScaleInMeters: 0.001
DepthMediaFrame.MinReliableDepth: 1 DepthMediaFrame.MaxReliableDepth: 65535 MinReliableDepthとMaxReliableDepthは固定値であり,実行時の 変化は特にない.
可視化するために試行錯誤して分かったこと 2018/04/17 11 深度情報のフォーマット: - 16bit 符号なし整数 (0 ~ 65535)
- 単位: ミリメートル (mm) 深度値の有効範囲(検証結果から推定): - 近距離(ShortThrowToFDepth):0.156 ~ 0.95 m - 遠距離(LongThrowToFDepth) : 0.95 ~ 3.52 m 有効範囲外の深度値を持つピクセルには最大深度値(?)として 4.091~4.095 m が設定される.
有効範囲外に入った時の変化(近距離深度) 2018/04/17 12 Before
有効範囲外に入った時の変化(近距離深度) 2018/04/17 13 After
有効範囲外に入った時の変化(遠距離深度) 2018/04/17 14 Before
有効範囲外に入った時の変化(遠距離深度) 2018/04/17 15 After
まとめ • Research modeで取得した深度情報を分かりやすく可視化できた • 明暗の違いよりも色の違いの方が識別しやすい • 深度情報の形式と値の有効範囲が分かった • 深度値の有効範囲については追加検証した方が良いかもしれない
(or 公式情報を待つ) 2018/04/17 16
ありがとうございました