MIRU2020若手プログラム "Non-line-of-sight Surface Reconstruction Using the Directional Light-cone Transform"

F0aa5f405baf92b0242549266327f267?s=47 Ryota MAEDA
August 01, 2020

MIRU2020若手プログラム "Non-line-of-sight Surface Reconstruction Using the Directional Light-cone Transform"

MIRU2020若手プログラムのグループEの発表資料です.
- 秋山 諒(NTTコミュニケーション科学基礎研究所)
- 福井 宏祐(大阪大学)
- 前田 涼汰(兵庫県立大学)
- 國益 良太(九州工業大学)

F0aa5f405baf92b0242549266327f267?s=128

Ryota MAEDA

August 01, 2020
Tweet

Transcript

  1. 秋山 諒(NTTコミュニケーション科学基礎研究所) 福井 宏祐(大阪大学) ◦前田 涼汰(兵庫県立大学) 國益 良太(九州工業大学) 1 MIRU2020

    若手プログラム 論文プレゼンテーション Non-line-of-sight Surface Reconstruction Using the Directional Light-cone Transform
  2. Non-line-of-sight Surface Reconstruction Using the Directional Light-cone Transform Sean I.

    Young, David B. Lindell, Bernd Girod, David Taubman, Gordon Wetzstein CVPR2020 2
  3. Non-line-of-sight Surface Reconstruction Using the Directional Light-cone Transform Sean I.

    Young, David B. Lindell, Bernd Girod, David Taubman, Gordon Wetzstein CVPR2020 3
  4. Non-line-of-sight ? 4 カメラはドアしか見えないが… http://web.media.mit.edu/~raskar/cornar/

  5. Non-line-of-sight ? 5 1回反射 2回反射 3回反射 カメラはドアしか見えないが… 部屋の中が見れるのでは!? http://web.media.mit.edu/~raskar/cornar/

  6. Non-line-of-sight ? 6 1回反射 2回反射 3回反射 カメラはドアしか見えないが… 部屋の中が見れるのでは!? http://web.media.mit.edu/~raskar/cornar/ 直接観測できないシーンを推定!

  7. How to see around corners 7 https://youtu.be/JWDocXPy-iQ

  8. 自動運転での人や車の検出 8 http://web.media.mit.edu/~raskar/cornar/

  9. 災害現場での生存者の位置推定 9 http://web.media.mit.edu/~raskar/cornar/

  10. 内視鏡検査でアクセスが難しい部位を観測 10 http://web.media.mit.edu/~raskar/cornar/

  11. 元祖NLOS 11 2008 Raskarらにより,NLOSの提案(Looking around the corner) 2009 Kirmaniらにより,平面のパッチに限定して復元できることを確認 (元祖NLOS)

    2012 Veltenらにより,完全な3次元復元を実現
  12. 近年ホットなNLOS 12 Computational Photographyの分野では,NLOSがホット ICCP2019ではNLOSだけのセッションが CVPR2019のBest PaperにNLOS [Xin et al]

  13. 今回紹介 NLOS in CVPR2020 13 Chopite et al, Deep Non-Line-Of-Sight

    Reconstruction Scheiner et al, Seeing Around Street Corners: Non-Line-of-Sight Detection and Tracking In-the-Wild Using Doppler Radar Isogawa et al, Optical Non-Line-of-Sight Physics-based 3D Human Pose Estimation Young et al, Non-line-of-sight Surface Reconstruction Using the Directional Light- cone Transform Tanaka et al, Polarized Non-Line-of- Sight Imaging
  14. NLOSの分類 ① 14 Time-of-Flight (ToF) 光強度 [Velten et al, Nature

    2012] [O’Toole et al, Nature 2018] [Heide et al, SIGGRAPH 2019] [Lindell et al, SIGGRAPH 2019] [Manna et al, TPAMI 2019] [Tsai et al, CVPR 2017] [Xin et al, CVPR 2019] [Tsai et al, CVPR 2019] [Young et al, CVPR 2020] : コヒーレンス [Katz et al, Nature 2012] [Bertolotti et al, Nature 2012] [Smith et al, CVPR 2018] [Batarseh et al, Nature 2018] [Bouman et al, ICCV 2017] [Baradad et al, CVPR 2018]
  15. NLOSの分類 ② 15 音 遠赤外線 [Maeda et al, ICCP 2019]

    [Kaga et al, TCVA 2019] [Lindell et al, CVPR 2019] [Abib et al, SIGCOMM 2013] [Abib et al, SIGA 2015] [Scheiner et al, CVPR 2020] 電波
  16. Time-of-Flight方式のNLOS 16

  17. 求めるシーン 17 ボクセル ・アルベド(反射率)! ・法線" https://en.wikipedia.org/wiki/Voxel # # #

  18. 問題設定 18 !’ "’ # $(!, ", #) センサ レーザ

  19. 時間 t 強度 計測方法 19 !’ "’ # センサ レーザ

    $(!, ", #) r rl PDM, MICRO PHOTON DEVICES SPAD(Single Photon Avalanche Diode)センサ ・ピコ秒時間分解能 SuperK EXTREME, NKT Photonics 短パルスレーザ ・ピコ秒短パルス ・高出力
  20. 時間 t 強度 計測方法 20 !’ "’ # センサ レーザ

    $(!, ", #) r rl PDM, MICRO PHOTON DEVICES SPAD(Single Photon Avalanche Diode)センサ ・ピコ秒時間分解能 SuperK EXTREME, NKT Photonics 短パルスレーザ ・ピコ秒短パルス ・高出力 スキャンしながら 計測を行う
  21. 復元方法 21 !’ "’ # センサ レーザ $(!, ", #)

    r rl 未知のシーン 計測データ 変換行列
  22. 復元方法 22 !’ "’ # センサ レーザ $(!, ", #)

    r rl Iterative Inversion [Gupta 12, Wu 12, Heide 13] 計算時間: O(N⁵) per iter メモリ: O(N⁵) → 1時間以上 Back-Projection [Velten 12, Buttafava 15] 計算時間: O(N⁵) メモリ: O(N³) → 約10分 未知のシーン 計測データ 変換行列
  23. 復元方法 23 !’ "’ # センサ レーザ $(!, ", #)

    r rl Iterative Inversion [Gupta 12, Wu 12, Heide 13] 計算時間: O(N⁵) per iter メモリ: O(N⁵) → 1時間以上 Back-Projection [Velten 12, Buttafava 15] 計算時間: O(N⁵) メモリ: O(N³) → 約10分 未知のシーン 計測データ 変換行列 計算コストが高い
  24. 高速な復元方法は? 24 !’ "’ # センサ レーザ $(!, ", #)

    r rl 3D Deconvolution [O’Toole et al, Nature 2018] 計算時間: O(N³ log(N)) メモリ: O(N³) → 1秒以下 手順 1. レーザとセンサを同軸に (confocal sampling) 2. 行列を変形(light cone transform)して,3次元 の畳み込み演算で表す *拡散反射or再帰性反射のみと仮定
  25. 高速な復元方法は? 25 !’ "’ # 3D Deconvolution [O’Toole et al,

    Nature 2018] 計算時間: O(N³ log(N)) メモリ: O(N³) → 1秒以下 手順 1. レーザとセンサを同軸に (confocal sampling) 2. 行列を変形(light cone transform)して,3次元 の畳み込み演算で表す *拡散反射or再帰性反射のみと仮定 センサ レーザ $(!, ", #) r rl
  26. 高速な復元方法は? 26 !’ "’ # 同軸 レーザ+センサ $(!, ", #)

    r 3D Deconvolution [O’Toole et al, Nature 2018] 計算時間: O(N³ log(N)) メモリ: O(N³) → 1秒以下 手順 1. レーザとセンサを同軸に (confocal sampling) 2. 行列を変形(light cone transform)して,3次元 の畳み込み演算で表す *拡散反射or再帰性反射のみと仮定
  27. 高速な復元方法は? 27 !’ "’ # $(!, ", #) r 同軸

    レーザ+センサ 3D Deconvolution [O’Toole et al, Nature 2018] 計算時間: O(N³ log(N)) メモリ: O(N³) → 1秒以下 手順 1. レーザとセンサを同軸に (confocal sampling) 2. 行列を変形(light cone transform)して,3次元 の畳み込み演算で表す *拡散反射or再帰性反射のみと仮定
  28. 高速な復元方法は? 28 !’ "’ # $(!, ", #) r light

    cone transform LCT 同軸 レーザ+センサ 3D Deconvolution [O’Toole et al, Nature 2018] 計算時間: O(N³ log(N)) メモリ: O(N³) → 1秒以下 手順 1. レーザとセンサを同軸に (confocal sampling) 2. 行列を変形(light cone transform)して,3次元 の畳み込み演算で表す *拡散反射or再帰性反射のみと仮定
  29. 逆畳み込み演算による高速な復元 29 ̅ " = ℎ ∗ ̅ & シーンを復元するには

    = ∗ Wienerフィルターで 逆畳み込み O’Toole et al, Nature 2018
  30. 逆畳み込み演算による高速な復元 30 ̅ " = ℎ ∗ ̅ & シーンを復元するには

    = ∗ Wienerフィルターで 逆畳み込み O’Toole et al, Nature 2018 法線を推定できない
  31. Non-line-of-sight Surface Reconstruction Using the Directional Light-cone Transform Sean I.

    Young, David B. Lindell, Bernd Girod, David Taubman, Gordon Wetzstein CVPR2020 31
  32. これまでは ü 従来のNLOSの手法は計算コストが高い ü 高速な逆畳み込み演算によるNLOSでは法線を推定できない 32

  33. これまでは ü 従来のNLOSの手法は計算コストが高い ü 高速な逆畳み込み演算によるNLOSでは法線を推定できない キーアイデア ü アルベドと法線を同時に逆畳み込み演算で推定できる手法の提案 ü Cholesky–Wiener

    Solverによる計算(ここでは解説しません) 33
  34. これまでは ü 従来のNLOSの手法は計算コストが高い ü 高速な逆畳み込み演算によるNLOSでは法線を推定できない キーアイデア ü アルベドと法線を同時に逆畳み込み演算で推定できる手法の提案 ü Cholesky–Wiener

    Solverによる計算(ここでは解説しません) 貢献 ü アルベドと法線が同時に高速に推定できる ü 法線をもとにした高精度なメッシュの復元 34
  35. 理想的な拡散反射のモデル 反射光 ! は,入射光方向 " と法線 # の内積に比例 $ :

    アルベド(拡散反射率) シーンの仮定:ランバート拡散反射 35 θ n l ! = $ #, " = $ max 0, # + " = $ max 0, cos /
  36. 法線を加えたモデルは? 36 !’ "’ # $(!, ", #) r 同軸

    レーザ+センサ s’ s n ランバート拡散反射
  37. 法線を加えたモデルは? 37 !’ "’ # $(!, ", #) r 同軸

    レーザ+センサ s’ s n ランバート拡散反射 で置き換えて変形すると… アルベド 法線
  38. Directional Albedo Model 38 !’ "’ # $(!, ", #)

    r 同軸 レーザ+センサ s’ s n ランバート拡散反射
  39. Directional Albedo Model 39 !’ "’ # $(!, ", #)

    r 同軸 レーザ+センサ s’ s n ランバート拡散反射 directional light cone transform D-LCT
  40. Directional Albedo Model 40 !"#"!"$% & ̅ ( = *+

    , *- , *. ̅ ( − ̅ 0 1 1 + 3 ̅ ( 1 1 ̅ 0 = ℎ+ ∗ ̅ (+ + ℎ- ∗ ̅ (- + ℎ. ∗ ̅ (. = + + ∗ ∗ ∗ シーンを復元するには
  41. Cholesky-Wiener Deconvolution • 最適化問題を解くために式を変形 • コレスキー分解等を用いて効率的に解く方法を提案している(詳細は割愛) 41 !" # +

    %& !" ∗!( !" ∗!) !( ∗!" !( # + %& !( ∗!) !) ∗!" !) ∗!( !) # + %& ̅ +" ̅ +( ̅ +) = !" ∗ ̅ - !( ∗ ̅ - !) ∗ ̅ - +" +( +) アルベドと法線が求まる
  42. 従来手法[O’Toole et al, 2018] 提案手法 デプスの誤差比較 42 RMSE 5.97 cm

    4.96 cm MAE 1.87 cm 1.59 cm > >
  43. 提案手法 法線の誤差比較 43 RMSE 0.91 cm 0.52 cm MAE 0.61

    cm 0.38 cm > > 従来手法[O’Toole et al, 2018]
  44. メッシュの復元 • 得られたアルベド・法線をもとにメッシュを復元 [Kazhdan et al, 2013] • 法線情報があるので高精度 44

    メッシュ化
  45. 合成データの復元結果 45 Ground-truth 復元結果

  46. 実データの復元結果 46 復元結果 Ground-truth

  47. 復元精度と計算時間の比較 47 提案手法 1.6秒 7時間 5.2秒 Fermat Flow [Xin et

    al, CVPR2019] Beyond Volumetric Albedo [Tsai et al, CVPR2019]
  48. まとめ キーアイデア ü アルベドと法線を同時に逆畳み込み演算で推定できる手法の提案 ü Cholesky–Wiener Solverによる計算 貢献 ü アルベドと法線が同時に高速に推定できる

    ü 法線をもとにした高精度なメッシュの復元 48 !’ "’ #
  49. 49

  50. Zaragoza NLOS synthetic dataset [Galindo et al, ICCP2019] • Transient

    Renderer [Jarabo et al, SIGA2014] を使ってレンダリングされた NLOSのデータセット • binが幅10psで512ピクセルの時間解像度と, 256×256ピクセルの空間解像度 50 https://graphics.unizar.es/nlos_dataset.html Canonical scenes High complexity scenes Phasor Fields
  51. Stanford datasets [Lindell et al, SIGGRAPH2019] • 実シーンのNLOSデータセット • bin

    が幅32psで512ピクセルの時間解像度と, 512×512または64×64ピクセル の空間解像度を持つ 51 http://www.computationalimaging.org/publications/nlos-fk/
  52. 計測装置 [Lindell et al, SIGGRAPH2019] 52

  53. 実データのメッシュ復元結果 53

  54. 計算時間の比較 54

  55. Cholesky-Wiener Deconvolution 55 このままでは未知数が多く、簡単に求 められない。 最小二乗法で解く これらはフィルターとして表せる

  56. Cholesky-Wiener Deconvolution 56 正規方程式を用いて 簡単にする 正規方程式

  57. Cholesky-Wiener Deconvolution 57 修正コレスキー分解を用 いて高速に求める 修正コレスキー分解 この部分はフィルターを 用いて計算できる 変形

  58. Cholesky-Wiener Deconvolution 58 と置いてこれを求めたのち を計算 これらはどちらもフーリエ領域において、フィルターの計算により求まる