MIRU2020若手プログラム "Non-line-of-sight Surface Reconstruction Using the Directional Light-cone Transform"

Slide 1

Slide 1 text

秋山諒（NTTコミュニケーション科学基礎研究所）福井宏祐（大阪大学） ○前田涼汰（兵庫県立大学）國益良太（九州工業大学） 1 MIRU2020 若手プログラム論文プレゼンテーション Non-line-of-sight Surface Reconstruction Using the Directional Light-cone Transform

Slide 2

Slide 2 text

Non-line-of-sight Surface Reconstruction Using the Directional Light-cone Transform Sean I. Young, David B. Lindell, Bernd Girod, David Taubman, Gordon Wetzstein CVPR2020 2

Slide 3

Slide 3 text

Non-line-of-sight Surface Reconstruction Using the Directional Light-cone Transform Sean I. Young, David B. Lindell, Bernd Girod, David Taubman, Gordon Wetzstein CVPR2020 3

Slide 4

Slide 4 text

Non-line-of-sight ? 4 カメラはドアしか見えないが… http://web.media.mit.edu/~raskar/cornar/

Slide 5

Slide 5 text

Non-line-of-sight ? 5 1回反射 2回反射 3回反射カメラはドアしか見えないが… 部屋の中が見れるのでは！？ http://web.media.mit.edu/~raskar/cornar/

Slide 6

Slide 6 text

Non-line-of-sight ? 6 1回反射 2回反射 3回反射カメラはドアしか見えないが… 部屋の中が見れるのでは！？ http://web.media.mit.edu/~raskar/cornar/ 直接観測できないシーンを推定!

Slide 7

Slide 7 text

How to see around corners 7 https://youtu.be/JWDocXPy-iQ

Slide 8

Slide 8 text

自動運転での人や車の検出 8 http://web.media.mit.edu/~raskar/cornar/

Slide 9

Slide 9 text

災害現場での生存者の位置推定 9 http://web.media.mit.edu/~raskar/cornar/

Slide 10

Slide 10 text

内視鏡検査でアクセスが難しい部位を観測 10 http://web.media.mit.edu/~raskar/cornar/

Slide 11

Slide 11 text

元祖NLOS 11 2008 Raskarらにより，NLOSの提案（Looking around the corner） 2009 Kirmaniらにより，平面のパッチに限定して復元できることを確認（元祖NLOS） 2012 Veltenらにより，完全な３次元復元を実現

Slide 12

Slide 12 text

近年ホットなNLOS 12 Computational Photographyの分野では，NLOSがホット ICCP2019ではNLOSだけのセッションが CVPR2019のBest PaperにNLOS [Xin et al]

Slide 13

Slide 13 text

今回紹介 NLOS in CVPR2020 13 Chopite et al, Deep Non-Line-Of-Sight Reconstruction Scheiner et al, Seeing Around Street Corners: Non-Line-of-Sight Detection and Tracking In-the-Wild Using Doppler Radar Isogawa et al, Optical Non-Line-of-Sight Physics-based 3D Human Pose Estimation Young et al, Non-line-of-sight Surface Reconstruction Using the Directional Light- cone Transform Tanaka et al, Polarized Non-Line-of- Sight Imaging

Slide 14

Slide 14 text

NLOSの分類 ① 14 Time-of-Flight (ToF) 光強度 [Velten et al, Nature 2012] [O’Toole et al, Nature 2018] [Heide et al, SIGGRAPH 2019] [Lindell et al, SIGGRAPH 2019] [Manna et al, TPAMI 2019] [Tsai et al, CVPR 2017] [Xin et al, CVPR 2019] [Tsai et al, CVPR 2019] [Young et al, CVPR 2020] : コヒーレンス [Katz et al, Nature 2012] [Bertolotti et al, Nature 2012] [Smith et al, CVPR 2018] [Batarseh et al, Nature 2018] [Bouman et al, ICCV 2017] [Baradad et al, CVPR 2018]

Slide 15

Slide 15 text

NLOSの分類 ② 15 音遠赤外線 [Maeda et al, ICCP 2019] [Kaga et al, TCVA 2019] [Lindell et al, CVPR 2019] [Abib et al, SIGCOMM 2013] [Abib et al, SIGA 2015] [Scheiner et al, CVPR 2020] 電波

Slide 16

Slide 16 text

Time-of-Flight方式のNLOS 16

Slide 17

Slide 17 text

求めるシーン 17 ボクセル・アルベド（反射率）! ・法線" https://en.wikipedia.org/wiki/Voxel # # #

Slide 18

Slide 18 text

問題設定 18 !’ "’ # $(!, ", #) センサレーザ

Slide 19

Slide 19 text

時間 t 強度計測方法 19 !’ "’ # センサレーザ $(!, ", #) r rl PDM, MICRO PHOTON DEVICES SPAD(Single Photon Avalanche Diode)センサ・ピコ秒時間分解能 SuperK EXTREME, NKT Photonics 短パルスレーザ・ピコ秒短パルス・高出力

Slide 20

Slide 20 text

時間 t 強度計測方法 20 !’ "’ # センサレーザ $(!, ", #) r rl PDM, MICRO PHOTON DEVICES SPAD(Single Photon Avalanche Diode)センサ・ピコ秒時間分解能 SuperK EXTREME, NKT Photonics 短パルスレーザ・ピコ秒短パルス・高出力スキャンしながら計測を行う

Slide 21

Slide 21 text

復元方法 21 !’ "’ # センサレーザ $(!, ", #) r rl 未知のシーン計測データ変換行列

Slide 22

Slide 22 text

復元方法 22 !’ "’ # センサレーザ $(!, ", #) r rl Iterative Inversion [Gupta 12, Wu 12, Heide 13] 計算時間: O(N⁵) per iter メモリ: O(N⁵) → 1時間以上 Back-Projection [Velten 12, Buttafava 15] 計算時間: O(N⁵) メモリ: O(N³) → 約10分未知のシーン計測データ変換行列

Slide 23

Slide 23 text

復元方法 23 !’ "’ # センサレーザ $(!, ", #) r rl Iterative Inversion [Gupta 12, Wu 12, Heide 13] 計算時間: O(N⁵) per iter メモリ: O(N⁵) → 1時間以上 Back-Projection [Velten 12, Buttafava 15] 計算時間: O(N⁵) メモリ: O(N³) → 約10分未知のシーン計測データ変換行列計算コストが高い

Slide 24

Slide 24 text

高速な復元方法は？ 24 !’ "’ # センサレーザ $(!, ", #) r rl 3D Deconvolution [O’Toole et al, Nature 2018] 計算時間: O(N³ log(N)) メモリ: O(N³) → 1秒以下手順 1. レーザとセンサを同軸に (confocal sampling) 2. 行列を変形(light cone transform)して，3次元の畳み込み演算で表す＊拡散反射or再帰性反射のみと仮定

Slide 25

Slide 25 text

高速な復元方法は？ 25 !’ "’ # 3D Deconvolution [O’Toole et al, Nature 2018] 計算時間: O(N³ log(N)) メモリ: O(N³) → 1秒以下手順 1. レーザとセンサを同軸に (confocal sampling) 2. 行列を変形(light cone transform)して，3次元の畳み込み演算で表す＊拡散反射or再帰性反射のみと仮定センサレーザ $(!, ", #) r rl

Slide 26

Slide 26 text

高速な復元方法は？ 26 !’ "’ # 同軸レーザ＋センサ $(!, ", #) r 3D Deconvolution [O’Toole et al, Nature 2018] 計算時間: O(N³ log(N)) メモリ: O(N³) → 1秒以下手順 1. レーザとセンサを同軸に (confocal sampling) 2. 行列を変形(light cone transform)して，3次元の畳み込み演算で表す＊拡散反射or再帰性反射のみと仮定

Slide 27

Slide 27 text

高速な復元方法は？ 27 !’ "’ # $(!, ", #) r 同軸レーザ＋センサ 3D Deconvolution [O’Toole et al, Nature 2018] 計算時間: O(N³ log(N)) メモリ: O(N³) → 1秒以下手順 1. レーザとセンサを同軸に (confocal sampling) 2. 行列を変形(light cone transform)して，3次元の畳み込み演算で表す＊拡散反射or再帰性反射のみと仮定

Slide 28

Slide 28 text

高速な復元方法は？ 28 !’ "’ # $(!, ", #) r light cone transform LCT 同軸レーザ＋センサ 3D Deconvolution [O’Toole et al, Nature 2018] 計算時間: O(N³ log(N)) メモリ: O(N³) → 1秒以下手順 1. レーザとセンサを同軸に (confocal sampling) 2. 行列を変形(light cone transform)して，3次元の畳み込み演算で表す＊拡散反射or再帰性反射のみと仮定

Slide 29

Slide 29 text

逆畳み込み演算による高速な復元 29 ̅ " = ℎ ∗ ̅ & シーンを復元するには＝ ∗ Wienerフィルターで逆畳み込み O’Toole et al, Nature 2018

Slide 30

Slide 30 text

逆畳み込み演算による高速な復元 30 ̅ " = ℎ ∗ ̅ & シーンを復元するには＝ ∗ Wienerフィルターで逆畳み込み O’Toole et al, Nature 2018 法線を推定できない

Slide 31

Slide 31 text

Non-line-of-sight Surface Reconstruction Using the Directional Light-cone Transform Sean I. Young, David B. Lindell, Bernd Girod, David Taubman, Gordon Wetzstein CVPR2020 31

Slide 32

Slide 32 text

これまでは ü 従来のNLOSの手法は計算コストが高い ü 高速な逆畳み込み演算によるNLOSでは法線を推定できない 32

Slide 33

Slide 33 text

これまでは ü 従来のNLOSの手法は計算コストが高い ü 高速な逆畳み込み演算によるNLOSでは法線を推定できないキーアイデア ü アルベドと法線を同時に逆畳み込み演算で推定できる手法の提案 ü Cholesky–Wiener Solverによる計算（ここでは解説しません） 33

Slide 34

Slide 34 text

これまでは ü 従来のNLOSの手法は計算コストが高い ü 高速な逆畳み込み演算によるNLOSでは法線を推定できないキーアイデア ü アルベドと法線を同時に逆畳み込み演算で推定できる手法の提案 ü Cholesky–Wiener Solverによる計算（ここでは解説しません）貢献 ü アルベドと法線が同時に高速に推定できる ü 法線をもとにした高精度なメッシュの復元 34

Slide 35

Slide 35 text

理想的な拡散反射のモデル反射光 ! は，入射光方向 " と法線 # の内積に比例 $ : アルベド（拡散反射率）シーンの仮定：ランバート拡散反射 35 θ n l ! = $ #, " = $ max 0, # + " = $ max 0, cos /

Slide 36

Slide 36 text

法線を加えたモデルは？ 36 !’ "’ # $(!, ", #) r 同軸レーザ＋センサ s’ s n ランバート拡散反射

Slide 37

Slide 37 text

法線を加えたモデルは？ 37 !’ "’ # $(!, ", #) r 同軸レーザ＋センサ s’ s n ランバート拡散反射で置き換えて変形すると… アルベド法線

Slide 38

Slide 38 text

Directional Albedo Model 38 !’ "’ # $(!, ", #) r 同軸レーザ＋センサ s’ s n ランバート拡散反射

Slide 39

Slide 39 text

Directional Albedo Model 39 !’ "’ # $(!, ", #) r 同軸レーザ＋センサ s’ s n ランバート拡散反射 directional light cone transform D-LCT

Slide 40

Slide 40 text

Directional Albedo Model 40 !"#"!"$% & ̅ ( = *+ , *- , *. ̅ ( − ̅ 0 1 1 + 3 ̅ ( 1 1 ̅ 0 = ℎ+ ∗ ̅ (+ + ℎ- ∗ ̅ (- + ℎ. ∗ ̅ (. ＝ + + ∗ ∗ ∗ シーンを復元するには

Slide 41

Slide 41 text

Cholesky-Wiener Deconvolution ● 最適化問題を解くために式を変形 ● コレスキー分解等を用いて効率的に解く方法を提案している（詳細は割愛） 41 !" # + %& !" ∗!( !" ∗!) !( ∗!" !( # + %& !( ∗!) !) ∗!" !) ∗!( !) # + %& ̅ +" ̅ +( ̅ +) = !" ∗ ̅ - !( ∗ ̅ - !) ∗ ̅ - +" +( +) アルベドと法線が求まる

Slide 42

Slide 42 text

従来手法[O’Toole et al, 2018] 提案手法デプスの誤差比較 42 RMSE 5.97 cm 4.96 cm MAE 1.87 cm 1.59 cm > >

Slide 43

Slide 43 text

提案手法法線の誤差比較 43 RMSE 0.91 cm 0.52 cm MAE 0.61 cm 0.38 cm > > 従来手法[O’Toole et al, 2018]

Slide 44

Slide 44 text

メッシュの復元 ● 得られたアルベド・法線をもとにメッシュを復元 [Kazhdan et al, 2013] ● 法線情報があるので高精度 44 メッシュ化

Slide 45

Slide 45 text

合成データの復元結果 45 Ground-truth 復元結果

Slide 46

Slide 46 text

実データの復元結果 46 復元結果 Ground-truth

Slide 47

Slide 47 text

復元精度と計算時間の比較 47 提案手法 1.6秒 7時間 5.2秒 Fermat Flow [Xin et al, CVPR2019] Beyond Volumetric Albedo [Tsai et al, CVPR2019]

Slide 48

Slide 48 text

まとめキーアイデア ü アルベドと法線を同時に逆畳み込み演算で推定できる手法の提案 ü Cholesky–Wiener Solverによる計算貢献 ü アルベドと法線が同時に高速に推定できる ü 法線をもとにした高精度なメッシュの復元 48 !’ "’ #

Slide 49

Slide 49 text

Slide 50

Slide 50 text

Zaragoza NLOS synthetic dataset [Galindo et al, ICCP2019] ● Transient Renderer [Jarabo et al, SIGA2014] を使ってレンダリングされた NLOSのデータセット ● binが幅10psで512ピクセルの時間解像度と, 256×256ピクセルの空間解像度 50 https://graphics.unizar.es/nlos_dataset.html Canonical scenes High complexity scenes Phasor Fields

Slide 51

Slide 51 text

Stanford datasets [Lindell et al, SIGGRAPH2019] ● 実シーンのNLOSデータセット ● bin が幅32psで512ピクセルの時間解像度と, 512×512または64×64ピクセルの空間解像度を持つ 51 http://www.computationalimaging.org/publications/nlos-fk/

Slide 52

Slide 52 text

計測装置 [Lindell et al, SIGGRAPH2019] 52

Slide 53

Slide 53 text

実データのメッシュ復元結果 53

Slide 54

Slide 54 text

計算時間の比較 54

Slide 55

Slide 55 text

Cholesky-Wiener Deconvolution 55 このままでは未知数が多く、簡単に求められない。最小二乗法で解くこれらはフィルターとして表せる

Slide 56

Slide 56 text

Cholesky-Wiener Deconvolution 56 正規方程式を用いて簡単にする正規方程式

Slide 57

Slide 57 text

Cholesky-Wiener Deconvolution 57 修正コレスキー分解を用いて高速に求める修正コレスキー分解この部分はフィルターを用いて計算できる変形

Slide 58

Slide 58 text

Cholesky-Wiener Deconvolution 58 と置いてこれを求めたのちを計算これらはどちらもフーリエ領域において、フィルターの計算により求まる