Upgrade to Pro — share decks privately, control downloads, hide ads and more …

SIGGRAPH 2020: Geometric Deep Learning (Japanese)

SIGGRAPH 2020: Geometric Deep Learning (Japanese)

SIGGRAPH 2020勉強会で使ったスライドです。
https://siggraph.xyz/s2020/

94870c02836167043f37f05ae1032690?s=128

Tatsuya Yatagawa

August 15, 2020
Tweet

More Decks by Tatsuya Yatagawa

Other Decks in Technology

Transcript

  1. SIGGRAPH 2020 Seminar Geometric Deep Learning Tatsuya Yatagawa Aug. 15th,

    2020
  2. Geometric Deep Learning l Dynamic Graph CNN for Learning on

    Point Clouds → 点群データに対する⽬的に応じたグラフ変形を含むGCN l Point2Mesh: A Self-prior for Deformable Meshes → 点群データに対するCNNを⽤いた表⾯メッシュ⽣成 l MGCN: Descriptor Learning Using Multiscale GCNs → ウェーブレットに基づくスケールや三⾓化に⾮依存な特徴量学習 l CNNs on Surfaces Using Rotation-equivariant Features → 回転情報を含む特徴計算を⽬的としたHarmonic Networkの表⾯メッ シュへの拡張 Slide is available: http://bit.do/fHuzJ 2 , 2
  3. Dynamic Graph CNN for Learning on Point Clouds Slide is

    available: http://bit.do/fHuzJ ⼀⾔で⾔うと? 点群データを対象として, ⽬的に応じたグラフの変形を可能とするGCN
  4. 従来のグラフ構造に対するCNN GCNN [Masci et al. 2015] / ACNN [Boscaini et

    al. 2017] / MoNet [Monti et al. 2017] Slide is available: http://bit.do/fHuzJ l GCNN, ACNN l MoNet GMM , , ( [Monti et al. 2017] )
  5. 提案法のモチベーション 学習途中に点群に対するグラフの張り⽅も変更したい l グラフのエッジに対する畳み込み (EdgeConv)によりグラフ上の距離を動 的に変化させる Slide is available: http://bit.do/fHuzJ

    : kNN , : CNN , : EdgeConv
  6. EdgeConv エッジの両端の特徴をつなげたものを全結合層に⼊れて, 出⼒特徴を頂点回 りでpoolingする Slide is available: http://bit.do/fHuzJ

  7. EdgeConvと従来法の⽐較 EdgeConvはエッジ両端の特徴を⾒る, ⼀⽅で... l PointNet系 (上⼆つ)はエッジの⽚側の頂点が持つ特徴だけを⾒る l GCN系は (下⼆つ)エッジ両端の頂点位置から定まる座標上での畳み込み Slide

    is available: http://bit.do/fHuzJ ... (Dynamic Geodesic CNN)
  8. Playback: MeshCNN [Hanocka et al. 2019] 対象は違うものの類似性はある (と思った) l エッジを基本要素としたCNNである

    (下図) l 特徴量が⼀定以下のエッジを縮約する (右図) Slide is available: http://bit.do/fHuzJ ( [Hanocka et al. 2019] )
  9. 結果: 意味的領域分割 Slide is available: http://bit.do/fHuzJ , PointNet (not ++!),

    Why?
  10. 結果: 意味的領域分割 特定カテゴリに閉じたデータセットだと従来法にも分がある Slide is available: http://bit.do/fHuzJ , PointCNN ,

    . ( )
  11. Point2Mesh: A Self-prior for Deformable Meshes Slide is available: http://bit.do/fHuzJ

    ⼀⾔で⾔うと? 凸包メッシュの変形と細分化をCNNで学習し, 点群データに表⾯メッシュを⽣成
  12. 既存のメッシュ⽣成法の特徴 [Berger et al. 2017] ... l l l Slide

    is available: http://bit.do/fHuzJ CNN self-prior
  13. Self-priorとは? ⾃分を復元するようなネットワークの応⽤ [Ulyanov et al. 2018] Slide is available: http://bit.do/fHuzJ

    , CNN , ( [Ulyanov et al. 2018] )
  14. 提案法の概要 l MeshCNNに元メッシュと固定乱数 (移動量のタネのようなもの) を⼊れて, 正解メッシュに近づくための頂点移動量を推定する l 類似した形状に対して, 類似した変形を学習する (=

    self-prior) Slide is available: http://bit.do/fHuzJ , . watertight [Huang et al. 2018]
  15. 誤差関数の設計 (1) Mesh to Point Cloud Distance ⼀般的なChamfer距離を利⽤ Slide is

    available: http://bit.do/fHuzJ (2) Beam Gap Loss 表⾯⽅向の凹凸を重点的に学習するための誤差関数 ( , y )
  16. 結果 Slide is available: http://bit.do/fHuzJ , [Huang et al. 2018]

    , ( 16 ) , , (self-prior )
  17. MGCN: Descriptor Learning Using Multiscale GCNs ⼀⾔で⾔うと? ウェーブレットを利⽤した, メッシュのスケールや解像度にロバストな形状特徴の提案 Slide

    is available: http://bit.do/fHuzJ
  18. これまでの特徴量抽出法の問題点 l SplineCNN [Fey et al. 2018], ChebyCNN [Deferrard et

    al. 2018]など → k-リング近傍の 情報しか考慮しない l DGCNN [Wang et al. 2019] (1本⽬の論⽂), MeshCNN [Hanocka et al. 2019] → グラフ構造 や三⾓化に特徴が依存してしまう l Graph Wavelet Network [Xu et al. 2019] → 単 ⼀解像度のウェーブレットしか考慮しない Slide is available: http://bit.do/fHuzJ
  19. Laplacian Eigenfunction l Laplacian Beltrami演算⼦により定義される固有関数 l メッシュをグラフと⾒たときのラプラス⾏列の固有値に対応 Slide is available:

    http://bit.do/fHuzJ Bostch et al. 2008, Geometric Modeling Based on Polygonal Meshes Laplacian Eigenfunction
  20. Graph Wavelets ウェーブレット基底 Slide is available: http://bit.do/fHuzJ / v (

    ) Laplacian Eigenfunction
  21. Wavelet Energy Decomposition Signature この論⽂で提案する「学習に依らない」特徴量 Slide is available: http://bit.do/fHuzJ v

    WEDS (K+1 ) , l , l (Dirichlet energy) , l x (= )
  22. Multiscale Graph Convolution Network この論⽂が提案する「学習を⽤いた」特徴量 l ウェーブレット空間で畳み込んで戻す処理に対応 Slide is available:

    http://bit.do/fHuzJ ChebyNet [Defferrard et al. 2016] . (m ) , m- .
  23. 結果: WEDSによる特徴抽出 Slide is available: http://bit.do/fHuzJ ( ) k- (CMC,

    ) (CGE, )
  24. 結果: MGCNによる特徴量マッチング l MGCN + 別特徴でも, WEDS +別ネットワークでもあまり良くならない l ChebyNet

    + WEDSは検討しているものの, 提案法の組み合わせが最良(?) Slide is available: http://bit.do/fHuzJ
  25. CNNs on Surfaces Using Rotation-equivariant Features Slide is available: http://bit.do/fHuzJ

    ⼀⾔で⾔うと? 回転情報を含む特徴計算を⽬的としたHarmonic Networkの表⾯メッシュへの拡張
  26. “Equivariance” とは? Harmonic Networks [Worrall et al. 2017] より (直接の従来⼿法)

    l f , π ψ , f equivariant Slide is available: http://bit.do/fHuzJ ,
  27. メッシュの変形に対する “equivariance” メッシュを変形しても, 抽出される特徴が変わらないようにしたい Slide is available: http://bit.do/fHuzJ Harmonic Networks

  28. Harmonic Networks [Worrall et al. 2017] 複素数空間で定義される畳み込みカーネルを⽅向を変えながら適⽤する Slide is available:

    http://bit.do/fHuzJ harmonic networks ( )
  29. 表⾯メッシュへのHarmonic Networksの拡張 Riemannian logarithm map上でHNを使⽤ l RLM = 接平⾯から曲⾯への射影 l

    RLMの計算にはVector Heat Method [Sharp et al. 2019b]を使⽤ Slide is available: http://bit.do/fHuzJ (下図は[Sharp et al. 2019b]より引⽤) Riemannian logarithm map Vector heat . trivial?
  30. 結果: Equivariant特徴の有効性 Slide is available: http://bit.do/fHuzJ Equivariant (m = 1)

  31. 結果 Classification(左)とSegmentation(右)の結果の⽐較 Slide is available: http://bit.do/fHuzJ ( segmentation ... )

  32. 結果: 特徴量のマッチング 特徴がマッチした位置が実際のマッチとどのくらい誤差があるか? Slide is available: http://bit.do/fHuzJ