Share
Embed
Differentiable Adaptive 4D Structured Illumination for Joint Capture of Shape and Reflectance
物体に合わせてLEDアレイ+LCDによる4D構造化照明を微分可能・適応的に最適化し,形状と材質を単一カメラで同時取得する手法を提案.微分可能レンダリングのアイデアを用い,深度の不確かさを最小化する次パターンを撮影しながら適応的に作り計測を行う.
Spatial AI Network
June 23, 2026
Transcript
39 slides
-
Spatial AI Network 勉強会(6/16) 紹介論文: Differentiable Adaptive 4D Structured Illumination
for Joint Capture of Shape and Reflectance (CVPR 2026) 論文著者: Huakeng Ding, Yaowen Chen, Kun Zhou, Hongzhi Wu 発表担当: 千葉 直也(大阪大学) -
論文概要 LEDアレイ x LCDマスクが作る4D(空間×角度)構造化光 構造化光を物体に合わせてその場で微分可能に最適化 単一カメラで形状と材質(SVBRDF)を同時に計測 論文のアイデア: 各画素の「深度の不確かさ」を最小化する方向に, 次に当てる照明パターンを決める 結果(同システムでの既存手法と比較):
• 露光時間:最大100×短縮(複数LED同時) • 総取得時間:約2.4×高速(24分→10分) • 深度精度も向上 3 -
計測対象 ゴール:現実物体のデジタル化 • 3D形状(深度/メッシュ)+ 6D SVBRDF Spatially Varying Bidirectional Reflectance
Distribution Function: 空間的に変化する反射特性 • 揃えば任意の視点・任意の照明でフォトリアルに描画できる • 応用:文化財アーカイブ,質感再現など 難しさ: • 形状は「光線を空間のどこに当てたか」 • 反射は「どの角度から当てたか」 • ・・・要求する光の構造が違う → 従来は別装置・別撮影 本研究:単一視点・単一カメラで両方を一度に計測する 4 -
アクティブ計測の理由 •カメラでの計測手法を大別すると,次の2つ • パッシブ(自然光・通常撮影) • アクティブ(既知パターンを能動投影) •アクティブ構造化照明の利点: • 高SNR •
能動的に計測できる → 逆問題を良条件化(低テクスチャなど) •既存研究: • 形状:空間パターン → 光線を符号化 → 三角測量 • 材質:角度パターン → 表面でBRDFと畳み込み → 復元 5 -
形状のアクティブ計測 原理: 1. 空間的に区別できるパターンを投影 2. カメラ観測 3. プロジェクター画素とカメラ画素の対応を推定 4. 三角測量で深度計測
パターン設計の目的:符号化のロバスト性・計算効率・計測速度 例:位相シフト,グレイコード,Micro Phase Shifting 対応推定のメトリック:ZNCC(ゼロ平均正規化相互相関)が定番 → 本研究でも深度推定に採用 6 [16] M. Gupta+, Micro Phase Shifting. CVPR2012. -
材質の計測 材質(BRDF)は本来角度をしらみ潰しに走査 ・・・膨大な時間がかかる → 照明の多重化(マルチプレキシング): • 複数角度の光を同時に強度変調 → 複数条件の測定から反射率を一括復元 •
少ない撮影枚数で計測でき,各計測でのSNRも向上 近年:照明パターンを手作り → 自動・学習で設計 本研究:多重化を4D(空間×角度)に拡張 7 -
材質のモデル化 •SVBRDF(Spatially-Varying BRDF): • 場所ごとに反射特性が異なる6次元の関数 • 出力は複数のテクスチャマップ •GGX:マイクロファセット系のBRDF,本研究の材質表現 あまり自分も調べられていない&今回の本題から外れるので 詳しい紹介は省略
8 [41] B. Walter+, Microfacet Models for Refraction through Rough Surfaces. EGSR2007. -
関連研究:パターンの作り方 ハンドクラフトの優れた手法:Micro Phase Shifting(CVPR2012) • 狭い高周波バンド+位相合成で相互反射・デフォーカスにロバスト. • 実質5〜7枚 • 本研究でも幾何ベースライン
9 [16] M. Gupta+, Micro Phase Shifting. CVPR2012. -
関連研究:パターンの作り方 微分可能最適化へ: à la carte(CVPR2018) • ZNCC+softmaxで,復号誤りの期待値を 微分可能に最小化するよう 投影パターンを最適化. •
本研究でのマスク最適化に利用 10 [32] P. Mirdehghan+, Optimal Structured Light à la Carte. CVPR2018. -
関連研究:パターンの作り方 微分可能最適化へ: Optical SGD(CVPR2020) • 実機ループの光学的SGDで 画像ヤコビアンを実測し最適化 • Light Transportの線形性を利用して
変動させた画像を投影して ヤコビアンを計測する 11 [4] W. Chen+, Auto-tuning Structured Light by Optical Stochastic Gradient Descent. CVPR2020. -
関連研究:パターンの作り方 微分可能最適化へ:DDPS(CVPR2024) • 微分可能なモデル+フォトメトリックステレオでパターンを最適化 • LCDモニタからの反射光で計測 12 [5] S. Choi+,
Differentiable Display Photometric Stereo. CVPR2024. -
関連研究:学習型の多重化計測 オートエンコーダーの重み としてモデル化(ToG, 2018) • 照明パターンをエンコーダの 重みとして,モデルに 組み込んで最適化 • 16〜32枚でSVBRDFを計測
13 [17] K. Kang+, Efficient Reflectance Capture Using an Autoencoder. ToG, 2018. -
関連研究:学習型の多重化計測 Deep Gated MoE (TVCG, 2024) 128のMoEとして モデル化し, 画素ごとに デコーダーを選択
14 [29] X. Ma+, Efficient Reflectance Capture with a Deep Gated Mixture-of-Experts. TVCG, 2024. -
関連研究:学習型の多重化計測 OpenSVBRDF(ToG, 2023) • SVBRDFの1,000点のデータベース • 本研究のBRDFのデータ元 15 [28] X.
Ma+, OpenSVBRDF: A Database of Measured Spatially Varying Reflectance. ToG, 2023. -
関連研究:学習型の多重化計測 Neural SI(CVPR2024) 動的な体積モデルに応用,プロジェクター+3視点で計測 16 [45] Y. Zeng+, Real-time Acquisition
and Reconstruction of Dynamic Volumes with Neural Structured Illumination. CVPR2024. -
関連研究:パターンの選択・生成 Information-Driven Adaptive SL(CVPR2016) • 構造化光法において, 相互情報量が最大の次パターンを Greedyに選択 • (劣モジュラ性で準最適性を
保証しているらしい) 17 [35] G. Rosman+, Information-Driven Adaptive Structured-Light Scanners. CVPR2016. -
関連研究:同型の計測システム(前身) Unified Spatial-Angular Structured Light(CVPR2023) • LEDアレイ+LCDマスク+単一カメラ • ライトフィールドプロジェクタとして 4D構造化光を提案
• 提案法でも同じシステムを利用 18 [43] X. Xu+, A Unified Spatial-Angular Structured Light for Single-view Acquisition of Shape and Reflectance. CVPR2023. -
関連研究:同型の計測システム(前身) Unified Spatial-Angular Structured Light(CVPR2023) • LEDアレイ+LCDマスク+単一カメラ • ライトフィールドプロジェクタとして4D構造化光を提案 •
提案法でも同じシステムを利用 既に実装されている要素技術: • 形状:最適化済みバイナリマスクを投影 • LCDマスク越しのボケを利用し,ZNCCで低解像度LCDを超える深度計測 • マスクは多クラス分類で最適化(à la carteを参考) • 材質:マスク透明化+学習済み投影パターン(学習型の多重化計測を参考) GGXを16次元の潜在ベクトル+MLPで再パラメータ化 ただし照明は事前最適化(計測対象によらず固定) 19 [43] X. Xu+, A Unified Spatial-Angular Structured Light for Single-view Acquisition of Shape and Reflectance. CVPR2023. -
本研究の新規性 •ヒストグラム確率モデル もともとは形状計測とアピアランスを逐次計測 → 深度不確かさを利用して形状と材質を同時計測 •適応的な計測 計測パターンを固定 → 物体に合わせて適応的に •LED・マスク同時多重化
1個ずつ投影していたため暗く,露光を長くしていた → LED点灯を多重化 20 -
装置と制御変数 •構成: • RGB LEDアレイ:64×48=3,072個,各LEDは 2mm×2mm の面光源 • LCDマスク:1,920×1,080 •
カメラ:Canon EOS R5(45MP, 24mm, f/22) •制御変数(=最適化する対象)はたった2つ: • ライトパターン 𝐿𝐿𝑗𝑗 𝑙𝑙 ∈ 0,1 :𝑗𝑗番目パターンでのLED 𝑙𝑙の相対強度 • マスクパターン 𝑀𝑀𝑗𝑗 :LCD各画素の透過 •推定したい未知数 各画素の深度と材質(後述) •内部/外部パラメータは校正済み 21 -
計測の流れ •初期化: 各有効画素の深度とBRDFパラメータの確率分布を一様で初期化 •Stage 1:微分可能適応計測: 投影・マスクパターンを3枚作成 → 物理撮影 → 確率モデルをモンテカルロ更新
24ラウンドを3枚ずつ=合計72回の計測 •Stage 2: fine-tuning 計測データで深度とBRDFを同時最適化 •出力:深度マップ + GGXによる材質(テクスチャ群) 22 -
観測モデル 厳密形:𝐼𝐼𝑗𝑗,𝑘𝑘 = ∑𝑙𝑙 ∫ 𝐴𝐴 𝐿𝐿𝑗𝑗 𝑥𝑥𝑙𝑙 , −𝜔𝜔𝑘𝑘
𝑖𝑖 𝑀𝑀𝑗𝑗 𝑥𝑥𝑙𝑙 𝑥𝑥𝑘𝑘 𝑓𝑓𝑘𝑘,𝑙𝑙 𝐹𝐹𝐹𝐹𝐹𝐹 • 𝑥𝑥𝑙𝑙 : LED上の点 • 𝑥𝑥𝑘𝑘 : 画素の3D点 • 𝜔𝜔𝑘𝑘 𝑖𝑖 : 入射方向 • 𝜔𝜔𝑘𝑘 𝑜𝑜: 視線方向 • 𝐿𝐿𝑗𝑗 : LED放射輝度 • 𝑀𝑀𝑗𝑗 : 光線が液晶を通る位置の透過 • 𝑓𝑓𝑘𝑘,𝑙𝑙 : GGX BRDF値 • 𝐹𝐹 = 𝜔𝜔𝑘𝑘 𝑖𝑖 ⋅𝑛𝑛𝑘𝑘 + −𝜔𝜔𝑘𝑘 𝑖𝑖 ⋅𝑛𝑛𝑙𝑙 + 𝑥𝑥𝑙𝑙−𝑥𝑥𝑘𝑘 2 : フォームファクタ, 𝑥𝑥 + = max 𝑥𝑥, 0 で負の光を抑制 24 -
観測モデル 厳密形:𝐼𝐼𝑗𝑗,𝑘𝑘 = ∑𝑙𝑙 ∫ 𝐴𝐴 𝐿𝐿𝑗𝑗 𝑥𝑥𝑙𝑙 , −𝜔𝜔𝑘𝑘
𝑖𝑖 𝑀𝑀𝑗𝑗 𝑥𝑥𝑙𝑙 𝑥𝑥𝑘𝑘 𝑓𝑓𝑘𝑘,𝑙𝑙 𝐹𝐹𝐹𝐹𝐹𝐹 小立体角で近似: 𝑓𝑓𝑘𝑘,𝑙𝑙 , F, 𝜔𝜔𝑘𝑘 𝑖𝑖 を積分範囲内で定数と近似 𝐿𝐿𝑗𝑗 𝑥𝑥𝑙𝑙 , −𝜔𝜔𝑘𝑘 𝑖𝑖 ≈ 𝐿𝐿𝑗𝑗 𝑙𝑙 Ψ −𝜔𝜔𝑘𝑘 𝑖𝑖 𝐿𝐿 𝑥𝑥𝑙𝑙 • 𝐿𝐿𝑗𝑗 𝑙𝑙 : LED輝度の相対強度 • Ψ −𝜔𝜔𝑘𝑘 𝑖𝑖 : 事前キャリブレーション済みの角度分布関数 • 𝐿𝐿 𝑥𝑥𝑙𝑙 : 5x5の事前キャリブレーション済みカーネル 25 -
観測モデル 利用する観測モデル: 𝐼𝐼𝑗𝑗,𝑘𝑘 = � 𝑙𝑙 𝑓𝑓𝑘𝑘,𝑙𝑙 𝐹𝐹𝐿𝐿𝑗𝑗 𝑙𝑙 Ψ
−𝜔𝜔𝑘𝑘 𝑖𝑖 � 𝐴𝐴 𝐿𝐿 𝑥𝑥𝑙𝑙 𝑀𝑀𝑗𝑗 𝑥𝑥𝑙𝑙 𝑥𝑥𝑘𝑘 𝑑𝑑𝑑𝑑 役割: • 校正済み(既知・固定)= Ψ, 𝐿𝐿 𝑥𝑥𝑙𝑙 ・・・カメラ/LED幾何 • 制御変数(各計測で調整):𝐿𝐿𝑗𝑗 𝑙𝑙 , 𝑀𝑀𝑗𝑗 ・・・はライトとマスク • 未知数:深度(→𝑥𝑥𝑘𝑘 , 𝐹𝐹)と材質GGX 𝑓𝑓𝑘𝑘,𝑙𝑙 𝐼𝐼は各構成要素の微分可能関数 → 勾配ですべて最適化できる 26 -
深度のモデル化 発想:各画素で深度をヒストグラムで持ち,その尖り具合で 不確かさをモデル化する 流れ: 1. 範囲決め:カメラ光線と有効体積から計算 2. 離散化:100 個の bin
に等分 3. 各 bin のスコア: その深度候補が 投影済みパターン下で 出すZNCCの最大値 4. 正規化 27 -
材質のモデル化 深度同様のヒストグラムで表現 • 範囲はOpenSVBRDFのデータ • スコアはL1 distanceの逆数 深度とGGXを独立にサンプリングして計算・更新 本来は違うが,計算できるように独立性を仮定 モンテカルロ更新
1. 全ヒストグラムを一様分布で初期化 2. 現在のPMFから n_sample=600 個の候補をサンプル 3. 各候補のスコア(深度=ZNCC,BRDF=L1の逆数)を計算し, 対応 bin にその最良値を格納 4. 測定が増えるほど分布が真値周辺に収束 28 -
不確かさのモデル化 目的関数:全画素の深度不確かさの総和 • 1画素の不確かさはCross Entropyで計算 • 現在のヒストグラムから候補をサンプル.各候補をそれ自身のクラスとみなす • 𝑦𝑦𝑎𝑎,𝑏𝑏 :理想の尤度
• a=b なら1、それ以外0(候補は自分自身にだけ分類されるべき) • � 𝑦𝑦𝑎𝑎,𝑏𝑏 :次パターン下での実際の分類尤度 クロスエントロピーを下げると,各候補が紛れない → 候補同士を見分けやすい次パターンを選ぶ 29 -
不確かさのモデル化 予測モデル:ZNCC の softmax � 𝑦𝑦𝑎𝑎,𝑏𝑏 = exp 𝑍𝑍𝑍𝑍𝑍𝑍𝑍𝑍 𝐼𝐼𝑗𝑗,𝑎𝑎
𝑗𝑗 , 𝐼𝐼𝑗𝑗,𝑏𝑏 𝑗𝑗 Σ𝑏𝑏′ exp 𝑍𝑍𝑍𝑍𝑍𝑍𝑍𝑍 𝐼𝐼𝑗𝑗,𝑎𝑎 𝑗𝑗 , 𝐼𝐼𝑗𝑗,𝑏𝑏′ 𝑗𝑗 � 𝑦𝑦𝑎𝑎,𝑏𝑏 が小さい(=aとbが ZNCC的に非相関)ほど 損失が下がる → 候補間の測定を非相関化する観測を狙う 材質は少数枚でも比較的復元できるので, 深度(=対応関係)が重要 30 -
fine-tuningとGGXパラメータ推定 初期化:各binをさらに5分割して,スコアの良いbinでサンプル → depth と各GGXの初期値 同時 fine-tuning: • 観測と微分可能レンダリングが一致するように, 深度と材質のパラメータを同時最適化
• GGXパラメータ推定: 直接最適化が難しいので16次元の潜在ベクトル→MLPで表現し最適化 • 潜在ベクトルはそれまでの観測から初期値設定 解像度:低解像度(127×64) →フル解像度へ段階的アップサンプリング ここはあまり高速化を考えておらず,約2時間の最適化計算 31 -
テクニック的な部分 •前景分割:SAMで前景を選択 •各パターン画素は sigmoid で [0,1] に マスクは二値が理想なので,大きい値を掛けてから sigmoid •バッチ計測:一度3枚を同時最適化(24回×3枚=72枚)
•全候補ではなく上位ピーク(3候補)だけ使う • 最良から大きく劣る候補:解になり得ない • 最良に近すぎる候補:LCD解像度的に区別不能 → 無理に分離しない • 計算も効率化 •カメラ解像度: 適応取得時は127×64にダウンサンプル,後にフルで最適化 32 -
Ablation •適応 vs 非適応:適応が一貫して優位 •パラメータ依存性(深度RMSE 代表値): • パターン数:36→54→72 で 4.95→4.94→4.78
• n_sample:100→300→600 で 1.87→1.79→1.75 • n_batch:2/3/6 で 3.57/3.54/3.59 ・・・ 3 が最良 • n_peak:2/3/6 で 2.40/2.30/2.40 ・・・ 3 が最良 • n_bin:50→75→100 で 7.58→7.53→7.30 • 入力解像度:512×256 / 254×128 / 127×64 で 4.20/4.17/3.71 (低解像でも十分) •既定値は精度と計算のバランスで妥当 • n_bin=100, n_sample=600, n_batch=3, n_peak=3, 72枚, 127×64 37