Slide 1

Slide 1 text

秋山 諒(NTTコミュニケーション科学基礎研究所) 福井 宏祐(大阪大学) ○前田 涼汰(兵庫県立大学) 國益 良太(九州工業大学) 1 MIRU2020 若手プログラム 論文プレゼンテーション Non-line-of-sight Surface Reconstruction Using the Directional Light-cone Transform

Slide 2

Slide 2 text

Non-line-of-sight Surface Reconstruction Using the Directional Light-cone Transform Sean I. Young, David B. Lindell, Bernd Girod, David Taubman, Gordon Wetzstein CVPR2020 2

Slide 3

Slide 3 text

Non-line-of-sight Surface Reconstruction Using the Directional Light-cone Transform Sean I. Young, David B. Lindell, Bernd Girod, David Taubman, Gordon Wetzstein CVPR2020 3

Slide 4

Slide 4 text

Non-line-of-sight ? 4 カメラはドアしか見えないが… http://web.media.mit.edu/~raskar/cornar/

Slide 5

Slide 5 text

Non-line-of-sight ? 5 1回反射 2回反射 3回反射 カメラはドアしか見えないが… 部屋の中が見れるのでは!? http://web.media.mit.edu/~raskar/cornar/

Slide 6

Slide 6 text

Non-line-of-sight ? 6 1回反射 2回反射 3回反射 カメラはドアしか見えないが… 部屋の中が見れるのでは!? http://web.media.mit.edu/~raskar/cornar/ 直接観測できないシーンを推定!

Slide 7

Slide 7 text

How to see around corners 7 https://youtu.be/JWDocXPy-iQ

Slide 8

Slide 8 text

自動運転での人や車の検出 8 http://web.media.mit.edu/~raskar/cornar/

Slide 9

Slide 9 text

災害現場での生存者の位置推定 9 http://web.media.mit.edu/~raskar/cornar/

Slide 10

Slide 10 text

内視鏡検査でアクセスが難しい部位を観測 10 http://web.media.mit.edu/~raskar/cornar/

Slide 11

Slide 11 text

元祖NLOS 11 2008 Raskarらにより,NLOSの提案(Looking around the corner) 2009 Kirmaniらにより,平面のパッチに限定して復元できることを確認 (元祖NLOS) 2012 Veltenらにより,完全な3次元復元を実現

Slide 12

Slide 12 text

近年ホットなNLOS 12 Computational Photographyの分野では,NLOSがホット ICCP2019ではNLOSだけのセッションが CVPR2019のBest PaperにNLOS [Xin et al]

Slide 13

Slide 13 text

今回紹介 NLOS in CVPR2020 13 Chopite et al, Deep Non-Line-Of-Sight Reconstruction Scheiner et al, Seeing Around Street Corners: Non-Line-of-Sight Detection and Tracking In-the-Wild Using Doppler Radar Isogawa et al, Optical Non-Line-of-Sight Physics-based 3D Human Pose Estimation Young et al, Non-line-of-sight Surface Reconstruction Using the Directional Light- cone Transform Tanaka et al, Polarized Non-Line-of- Sight Imaging

Slide 14

Slide 14 text

NLOSの分類 ① 14 Time-of-Flight (ToF) 光強度 [Velten et al, Nature 2012] [O’Toole et al, Nature 2018] [Heide et al, SIGGRAPH 2019] [Lindell et al, SIGGRAPH 2019] [Manna et al, TPAMI 2019] [Tsai et al, CVPR 2017] [Xin et al, CVPR 2019] [Tsai et al, CVPR 2019] [Young et al, CVPR 2020] : コヒーレンス [Katz et al, Nature 2012] [Bertolotti et al, Nature 2012] [Smith et al, CVPR 2018] [Batarseh et al, Nature 2018] [Bouman et al, ICCV 2017] [Baradad et al, CVPR 2018]

Slide 15

Slide 15 text

NLOSの分類 ② 15 音 遠赤外線 [Maeda et al, ICCP 2019] [Kaga et al, TCVA 2019] [Lindell et al, CVPR 2019] [Abib et al, SIGCOMM 2013] [Abib et al, SIGA 2015] [Scheiner et al, CVPR 2020] 電波

Slide 16

Slide 16 text

Time-of-Flight方式のNLOS 16

Slide 17

Slide 17 text

求めるシーン 17 ボクセル ・アルベド(反射率)! ・法線" https://en.wikipedia.org/wiki/Voxel # # #

Slide 18

Slide 18 text

問題設定 18 !’ "’ # $(!, ", #) センサ レーザ

Slide 19

Slide 19 text

時間 t 強度 計測方法 19 !’ "’ # センサ レーザ $(!, ", #) r rl PDM, MICRO PHOTON DEVICES SPAD(Single Photon Avalanche Diode)センサ ・ピコ秒時間分解能 SuperK EXTREME, NKT Photonics 短パルスレーザ ・ピコ秒短パルス ・高出力

Slide 20

Slide 20 text

時間 t 強度 計測方法 20 !’ "’ # センサ レーザ $(!, ", #) r rl PDM, MICRO PHOTON DEVICES SPAD(Single Photon Avalanche Diode)センサ ・ピコ秒時間分解能 SuperK EXTREME, NKT Photonics 短パルスレーザ ・ピコ秒短パルス ・高出力 スキャンしながら 計測を行う

Slide 21

Slide 21 text

復元方法 21 !’ "’ # センサ レーザ $(!, ", #) r rl 未知のシーン 計測データ 変換行列

Slide 22

Slide 22 text

復元方法 22 !’ "’ # センサ レーザ $(!, ", #) r rl Iterative Inversion [Gupta 12, Wu 12, Heide 13] 計算時間: O(N⁵) per iter メモリ: O(N⁵) → 1時間以上 Back-Projection [Velten 12, Buttafava 15] 計算時間: O(N⁵) メモリ: O(N³) → 約10分 未知のシーン 計測データ 変換行列

Slide 23

Slide 23 text

復元方法 23 !’ "’ # センサ レーザ $(!, ", #) r rl Iterative Inversion [Gupta 12, Wu 12, Heide 13] 計算時間: O(N⁵) per iter メモリ: O(N⁵) → 1時間以上 Back-Projection [Velten 12, Buttafava 15] 計算時間: O(N⁵) メモリ: O(N³) → 約10分 未知のシーン 計測データ 変換行列 計算コストが高い

Slide 24

Slide 24 text

高速な復元方法は? 24 !’ "’ # センサ レーザ $(!, ", #) r rl 3D Deconvolution [O’Toole et al, Nature 2018] 計算時間: O(N³ log(N)) メモリ: O(N³) → 1秒以下 手順 1. レーザとセンサを同軸に (confocal sampling) 2. 行列を変形(light cone transform)して,3次元 の畳み込み演算で表す *拡散反射or再帰性反射のみと仮定

Slide 25

Slide 25 text

高速な復元方法は? 25 !’ "’ # 3D Deconvolution [O’Toole et al, Nature 2018] 計算時間: O(N³ log(N)) メモリ: O(N³) → 1秒以下 手順 1. レーザとセンサを同軸に (confocal sampling) 2. 行列を変形(light cone transform)して,3次元 の畳み込み演算で表す *拡散反射or再帰性反射のみと仮定 センサ レーザ $(!, ", #) r rl

Slide 26

Slide 26 text

高速な復元方法は? 26 !’ "’ # 同軸 レーザ+センサ $(!, ", #) r 3D Deconvolution [O’Toole et al, Nature 2018] 計算時間: O(N³ log(N)) メモリ: O(N³) → 1秒以下 手順 1. レーザとセンサを同軸に (confocal sampling) 2. 行列を変形(light cone transform)して,3次元 の畳み込み演算で表す *拡散反射or再帰性反射のみと仮定

Slide 27

Slide 27 text

高速な復元方法は? 27 !’ "’ # $(!, ", #) r 同軸 レーザ+センサ 3D Deconvolution [O’Toole et al, Nature 2018] 計算時間: O(N³ log(N)) メモリ: O(N³) → 1秒以下 手順 1. レーザとセンサを同軸に (confocal sampling) 2. 行列を変形(light cone transform)して,3次元 の畳み込み演算で表す *拡散反射or再帰性反射のみと仮定

Slide 28

Slide 28 text

高速な復元方法は? 28 !’ "’ # $(!, ", #) r light cone transform LCT 同軸 レーザ+センサ 3D Deconvolution [O’Toole et al, Nature 2018] 計算時間: O(N³ log(N)) メモリ: O(N³) → 1秒以下 手順 1. レーザとセンサを同軸に (confocal sampling) 2. 行列を変形(light cone transform)して,3次元 の畳み込み演算で表す *拡散反射or再帰性反射のみと仮定

Slide 29

Slide 29 text

逆畳み込み演算による高速な復元 29 ̅ " = ℎ ∗ ̅ & シーンを復元するには = ∗ Wienerフィルターで 逆畳み込み O’Toole et al, Nature 2018

Slide 30

Slide 30 text

逆畳み込み演算による高速な復元 30 ̅ " = ℎ ∗ ̅ & シーンを復元するには = ∗ Wienerフィルターで 逆畳み込み O’Toole et al, Nature 2018 法線を推定できない

Slide 31

Slide 31 text

Non-line-of-sight Surface Reconstruction Using the Directional Light-cone Transform Sean I. Young, David B. Lindell, Bernd Girod, David Taubman, Gordon Wetzstein CVPR2020 31

Slide 32

Slide 32 text

これまでは ü 従来のNLOSの手法は計算コストが高い ü 高速な逆畳み込み演算によるNLOSでは法線を推定できない 32

Slide 33

Slide 33 text

これまでは ü 従来のNLOSの手法は計算コストが高い ü 高速な逆畳み込み演算によるNLOSでは法線を推定できない キーアイデア ü アルベドと法線を同時に逆畳み込み演算で推定できる手法の提案 ü Cholesky–Wiener Solverによる計算(ここでは解説しません) 33

Slide 34

Slide 34 text

これまでは ü 従来のNLOSの手法は計算コストが高い ü 高速な逆畳み込み演算によるNLOSでは法線を推定できない キーアイデア ü アルベドと法線を同時に逆畳み込み演算で推定できる手法の提案 ü Cholesky–Wiener Solverによる計算(ここでは解説しません) 貢献 ü アルベドと法線が同時に高速に推定できる ü 法線をもとにした高精度なメッシュの復元 34

Slide 35

Slide 35 text

理想的な拡散反射のモデル 反射光 ! は,入射光方向 " と法線 # の内積に比例 $ : アルベド(拡散反射率) シーンの仮定:ランバート拡散反射 35 θ n l ! = $ #, " = $ max 0, # + " = $ max 0, cos /

Slide 36

Slide 36 text

法線を加えたモデルは? 36 !’ "’ # $(!, ", #) r 同軸 レーザ+センサ s’ s n ランバート拡散反射

Slide 37

Slide 37 text

法線を加えたモデルは? 37 !’ "’ # $(!, ", #) r 同軸 レーザ+センサ s’ s n ランバート拡散反射 で置き換えて変形すると… アルベド 法線

Slide 38

Slide 38 text

Directional Albedo Model 38 !’ "’ # $(!, ", #) r 同軸 レーザ+センサ s’ s n ランバート拡散反射

Slide 39

Slide 39 text

Directional Albedo Model 39 !’ "’ # $(!, ", #) r 同軸 レーザ+センサ s’ s n ランバート拡散反射 directional light cone transform D-LCT

Slide 40

Slide 40 text

Directional Albedo Model 40 !"#"!"$% & ̅ ( = *+ , *- , *. ̅ ( − ̅ 0 1 1 + 3 ̅ ( 1 1 ̅ 0 = ℎ+ ∗ ̅ (+ + ℎ- ∗ ̅ (- + ℎ. ∗ ̅ (. = + + ∗ ∗ ∗ シーンを復元するには

Slide 41

Slide 41 text

Cholesky-Wiener Deconvolution ● 最適化問題を解くために式を変形 ● コレスキー分解等を用いて効率的に解く方法を提案している(詳細は割愛) 41 !" # + %& !" ∗!( !" ∗!) !( ∗!" !( # + %& !( ∗!) !) ∗!" !) ∗!( !) # + %& ̅ +" ̅ +( ̅ +) = !" ∗ ̅ - !( ∗ ̅ - !) ∗ ̅ - +" +( +) アルベドと法線が求まる

Slide 42

Slide 42 text

従来手法[O’Toole et al, 2018] 提案手法 デプスの誤差比較 42 RMSE 5.97 cm 4.96 cm MAE 1.87 cm 1.59 cm > >

Slide 43

Slide 43 text

提案手法 法線の誤差比較 43 RMSE 0.91 cm 0.52 cm MAE 0.61 cm 0.38 cm > > 従来手法[O’Toole et al, 2018]

Slide 44

Slide 44 text

メッシュの復元 ● 得られたアルベド・法線をもとにメッシュを復元 [Kazhdan et al, 2013] ● 法線情報があるので高精度 44 メッシュ化

Slide 45

Slide 45 text

合成データの復元結果 45 Ground-truth 復元結果

Slide 46

Slide 46 text

実データの復元結果 46 復元結果 Ground-truth

Slide 47

Slide 47 text

復元精度と計算時間の比較 47 提案手法 1.6秒 7時間 5.2秒 Fermat Flow [Xin et al, CVPR2019] Beyond Volumetric Albedo [Tsai et al, CVPR2019]

Slide 48

Slide 48 text

まとめ キーアイデア ü アルベドと法線を同時に逆畳み込み演算で推定できる手法の提案 ü Cholesky–Wiener Solverによる計算 貢献 ü アルベドと法線が同時に高速に推定できる ü 法線をもとにした高精度なメッシュの復元 48 !’ "’ #

Slide 49

Slide 49 text

49

Slide 50

Slide 50 text

Zaragoza NLOS synthetic dataset [Galindo et al, ICCP2019] ● Transient Renderer [Jarabo et al, SIGA2014] を使ってレンダリングされた NLOSのデータセット ● binが幅10psで512ピクセルの時間解像度と, 256×256ピクセルの空間解像度 50 https://graphics.unizar.es/nlos_dataset.html Canonical scenes High complexity scenes Phasor Fields

Slide 51

Slide 51 text

Stanford datasets [Lindell et al, SIGGRAPH2019] ● 実シーンのNLOSデータセット ● bin が幅32psで512ピクセルの時間解像度と, 512×512または64×64ピクセル の空間解像度を持つ 51 http://www.computationalimaging.org/publications/nlos-fk/

Slide 52

Slide 52 text

計測装置 [Lindell et al, SIGGRAPH2019] 52

Slide 53

Slide 53 text

実データのメッシュ復元結果 53

Slide 54

Slide 54 text

計算時間の比較 54

Slide 55

Slide 55 text

Cholesky-Wiener Deconvolution 55 このままでは未知数が多く、簡単に求 められない。 最小二乗法で解く これらはフィルターとして表せる

Slide 56

Slide 56 text

Cholesky-Wiener Deconvolution 56 正規方程式を用いて 簡単にする 正規方程式

Slide 57

Slide 57 text

Cholesky-Wiener Deconvolution 57 修正コレスキー分解を用 いて高速に求める 修正コレスキー分解 この部分はフィルターを 用いて計算できる 変形

Slide 58

Slide 58 text

Cholesky-Wiener Deconvolution 58 と置いてこれを求めたのち を計算 これらはどちらもフーリエ領域において、フィルターの計算により求まる