Upgrade to Pro — share decks privately, control downloads, hide ads and more …

SIGGRAPH Asia 2020勉強会: Digital Geometry Processing / SIGGRAPH Asia 2020 reading in Japanese: Digital Geometry Processing

E2dd989b2ba0f83d8a981b9cb3197bf1?s=47 mocobt
February 23, 2021

SIGGRAPH Asia 2020勉強会: Digital Geometry Processing / SIGGRAPH Asia 2020 reading in Japanese: Digital Geometry Processing

SIGGRAPH Asia 2020勉強会(https://siggraph.xyz/sa2020/) のDigital Geometry Processingの資料です。
名前は違いますが、僕です。
Nonlinear Spectral Geometry Processing via the TV Transform. Fumero et al. (https://arxiv.org/abs/2009.03044) の紹介がメインです。

E2dd989b2ba0f83d8a981b9cb3197bf1?s=128

mocobt

February 23, 2021
Tweet

Transcript

  1. SIGGRAPH Asia 2020勉強会 Digital geometry processing 時雨澤鯵太郎

  2. 時雨澤鯵太郎 好きな刺身: エビ 担当: • Animation: Fluid • Digital geometry

    processing
  3. Opening and Closing Surfaces 既存のMorphology演算のopeningとclosingを曲線や曲面に適用すると、すべての点で再離散化 (≒リトポ)されてしまう。 この問題に対処する新しい curvature flowを提案。 Nonlinear

    Spectral Geometry Processing via the TV Transform Mesh/点群上の滑らかではない信号 (e.g. 頂点変位)に対し、TVをベースとしたスペクトル分解の提案 Shape Approximation by Developable Wrapping Developableな曲面群を用いて、曲がった形状を近似表現するツールの提案 To cut or to fill: a global optimization approach to topological simplification 既存のtopology簡略化手法はcut/fillの一方のみを用いており、 Artifactが生じることがあった。 本研究では、topology簡略化を一種の最適化問題と捉え、 cut/fillの両方を使用できるよう拡張した。 Sparse Cholesky Updates for Interactive Mesh Parameterization 2topology間の写像を計算する問題のmesh parameterizationを行うには、境界条件を手動で設定する必要がある。 設定毎に重い線形問題を解く必要がありつらいため、コレスキー分解をより効率的に計算する手法を提案。 Constructing 3D Self-Supporting Surfaces with Isotropic Stress Using 4D Minimal Hypersurfaces of Revolution ドーム型の建物の設計解析に役立つ、等方性応力を持つ 3D self-supporting surfacesを計算する枠組みを提案
  4. Opening and Closing Surfaces 既存のMorphology演算のopeningとclosingを曲線や曲面に適用すると、すべての点で再離散化 (≒リトポ)されてしまう。 この問題に対処する新しい curvature flowを提案。 Nonlinear

    Spectral Geometry Processing via the TV Transform Mesh/点群上の滑らかではない信号 (e.g. 頂点変位)に対し、TVをベースとしたスペクトル分解の提案 Shape Approximation by Developable Wrapping Developableな曲面群を用いて、曲がった形状を近似表現するツールの提案 To cut or to fill: a global optimization approach to topological simplification 既存のtopology簡略化手法はcut/fillの一方のみを用いており、 Artifactが生じることがあった。 本研究では、topology簡略化を一種の最適化問題と捉え、 cut/fillの両方を使用できるよう拡張した。 Sparse Cholesky Updates for Interactive Mesh Parameterization 2topology間の写像を計算する問題のmesh parameterizationを行うには、境界条件を手動で設定する必要がある。 設定毎に重い線形問題を解く必要がありつらいため、コレスキー分解をより効率的に計算する手法を提案。 Constructing 3D Self-Supporting Surfaces with Isotropic Stress Using 4D Minimal Hypersurfaces of Revolution ドーム型の建物の設計解析に役立つ、等方性応力を持つ 3D self-supporting surfacesを計算する枠組みを提案
  5. Background: ある geometry上の信号が滑らかではない場合、愚直なスペクトル分解だと、 Detailが失われてしまう Novelty: Total variationをベースとしたスペクトル分解 (TV Transform) をMesh/点群に適用できるよう拡張

    Mesh上でのLow-pass filtering (左) source (中)Laplacian (右)提案手法 提案手法だと滑らかにしつつ Detailが失われていない! Point cloudのDenoise (右上の球はnormalの分布) 提案手法だと GTに近い形でDenoiseできる!
  6. TV TransformをMesh/点群に適用できると何が嬉しいのか Texture filtering Detail transfer High frequency成分の除去 High frequency成分の強調

  7. Total variation (TV)とは? TV(全変動): あるscalar関数fに対する以下の計量(論文中にはfが滑らかではない場合の弱定義も示されているが略 ) 近傍との差分の大きさ (内積で定義される norm) あるリーマン多様体

    (≒内積が定義されている多様体 ) 画像の場合 3次元geometryの場合
  8. TVって何の役に立つの? 主に画像(たまにmeshのnormal)のDenoiseで使われている A Spectral approach to Total Variation [Gilboa. SSVM

    2013] Low-pass filtering Spectral Decompositions Using One-Homogeneous Functionals [Burger et al. SIAM Journal on Imaging Sciences] Variational Mesh Denoising Using Total Variation and Piecewise Constant Function Space [Zhang et al. TVCG 2015]
  9. 一番簡単なTVの使い方 以下のFをMinimizeすると画像をDenoiseできる https://lp-tech.net/articles/tkPFr TV Reconstructed Noisy

  10. この問題を、もう少し一般化してみる あるリーマン多様体 TVが発散しない信号の集合(M上の有界変動函数) この関数を最小化するuを見つければ良いので、以下を解けば良い regularization term (tはTVの影響度を表すハイパラ ) fidelity term

    (初期信号u0との距離) について以下の関数を考える 上の信号
  11. TV flow [Andreu et al. Differential and Integral Equations 2001]

    https://projecteuclid.org/journals/differential-and-integral-equations/volume-14/issue-3/Minimizing-total-variation-flow/die/1356123331.full tを依存変数とすれば、uは以下を満たすflow (TV flow)と見なせる すべてのt>0に対して、 を満たすuが存在するとき、
  12. TV flow [Andreu et al. Differential and Integral Equations 2001]

    https://projecteuclid.org/journals/differential-and-integral-equations/volume-14/issue-3/Minimizing-total-variation-flow/die/1356123331.full tを依存変数とすれば、uは以下を満たすflow (TV flow)と見なせる すべてのt>0に対して、 を満たすuが存在するとき、 よくわからん!!!
  13. → uは時間発展する信号っぽい TV flowの直感的な説明 xを固定し、各tについて上を満たすuをplotしてみる t u(t, x) 0 u0

    (概形は滅茶苦茶テキトー ) TV flowの考え方
  14. TV flowの時間発展は何を意味するのか? Ans. TVの影響度の増加を指す → tが大きくなると、最適化結果のuは全体的に近傍との差分が小さくなる

  15. TV flowを導入すると、何が嬉しいのか? フーリエ変換っぽいことが定義できる → TV Transform [Gilboa. Journal of Mathematical

    Imaging and Vision 2015] フーリエ変換: ある信号の周波数を導出 TV Transform: ある信号の近傍に対する変化を抽出
  16. TV TransformのMotivation ここのEdgeは急峻な特徴が大きく、緩やかな特徴が小さい ここのEdgeは急峻な特徴が小さく、緩やかな特徴が大きい 急峻/緩やかな特徴をそれぞれ一種の関数として捉える (Fourier変換で高周波成分/低周波成分を分離するのと似ている )

  17. TV Transformの導入準備: 扱う信号が微分できない場合 TV flowを定義できない.... TV flow のときも定義できない...

  18. 凸関数の劣微分と広義固有関数 関数空間Χ上の凸関数J(今回の場合TV) の劣微分を以下で定義 この定義自体はよくあるものなので、詳しく知りたい場合は各自調べてください。 [Bellettini et al. Journal of Differential

    Equations 2002]: TV flowのreference の広義固有関数uは||u||=1であり、以下を満たす。
  19. 固有関数によるTV flowの表現 固有値λに対する固有関数 を用いるとTV flowは以下のように表せる これをtで微分すると、以下が得られる さらにtで微分すると、以下が得られる

  20. 固有関数によるTV flowを図示してみると...

  21. 固有関数によるTV flowを図示してみると... フーリエ変換のスペクトルっぽい!

  22. TV flowのスペクトル表現

  23. スペクトルの可視化 各tに対して、右の関数を定義 (縦軸: s(t), 横軸: t) s(t)は信号全体の特徴を表している

  24. スペクトル表現の導出 Alg.2は勾配法っぽいやつ(PDHG)

  25. スペクトル表現のより厳密な導出

  26. スペクトル表現から元の信号の復元 以下で容易に復元可能 論文中には とあるが、多分誤り

  27. スペクトルの使い方の例 基本的に以下の枠組みで用いる あるフィルタ作用素を適用するだけ!

  28. App例: Detail removal 以下のFilterを用いて、特定区間の特徴を除去

  29. Sourceのnormalの特徴を、Targetのnormalへ移したい App例: Detail Transfer ある全単射な写像 (2mesh間のtopologyを変換する写像) SourceのTV spectrum TargetのTV spectrum

  30. App例: Detail Transfer Targetのnormal 特定区間のsourceの特徴を targetにmapping

  31. Mesh上でのLow-pass filtering (左) source (中)Laplacian (右)提案手法 提案手法だと滑らかにしつつ Detailが失われていない! Point cloudのDenoise

    (右上の球はnormalの分布) 提案手法だとGTに近い形でDenoiseできる! Summary Background: あるgeometry上の信号が滑らかではない場合、愚直なスペクトル分解だと、 Detailが失われてしまう Novelty: Total variationをベースとしたスペクトル分解 (TV Transform)をMesh/点群に適用できるよう拡張
  32. 所感 Positive • Filterさえ変えれば、色々なAppを作れる点はNNベースの手法と相性良さそう • 全体的に説明がそこそこわかりやすい ◦ GitHubに実装ください....できればC++かPythonで... Negative •

    新規性がよくわからない ◦ TV Transform自体の提案は前からあるっぽい。3次元多様体に拡張したのがすごい? • 誤植が多い ◦ (6)式でt>0としているのに、Algorithm1ではt=0の場合を考慮している ◦ (12)式が多分誤植(前述) その他 • TV flow以外にフーリエ変換のアナロジーでスペクトル定義している手法があるかは気になる ◦ 何かご存知でしたらチャット欄で教えて下さい