SIGGRAPH 2020: Geometric Deep Learning (Japanese)

SIGGRAPH 2020勉強会で使ったスライドです。
https://siggraph.xyz/s2020/

Transcript

1. SIGGRAPH 2020 Seminar
   Geometric Deep Learning
   Tatsuya Yatagawa
   Aug. 15th, 2020
   

   View Slide

2. Geometric Deep Learning
   l Dynamic Graph CNN for Learning on Point Clouds
   → 点群データに対する⽬的に応じたグラフ変形を含むGCN
   l Point2Mesh: A Self-prior for Deformable Meshes
   → 点群データに対するCNNを⽤いた表⾯メッシュ⽣成
   l MGCN: Descriptor Learning Using Multiscale GCNs
   → ウェーブレットに基づくスケールや三⾓化に⾮依存な特徴量学習
   l CNNs on Surfaces Using Rotation-equivariant Features
   → 回転情報を含む特徴計算を⽬的としたHarmonic Networkの表⾯メッ
   シュへの拡張
   Slide is available: http://bit.do/fHuzJ
   2 , 2
   

   View Slide

3. Dynamic Graph CNN for Learning on Point Clouds
   Slide is available: http://bit.do/fHuzJ
   ⼀⾔で⾔うと？
   点群データを対象として, ⽬的に応じたグラフの変形を可能とするGCN
   

   View Slide

4. 従来のグラフ構造に対するCNN
   GCNN [Masci et al. 2015] / ACNN [Boscaini et al. 2017] / MoNet [Monti et al. 2017]
   Slide is available: http://bit.do/fHuzJ
   l GCNN, ACNN
   l MoNet GMM ,
   ,
   ( [Monti et al. 2017] )
   

   View Slide

5. 提案法のモチベーション
   学習途中に点群に対するグラフの張り⽅も変更したい
   l グラフのエッジに対する畳み込み (EdgeConv)によりグラフ上の距離を動
   的に変化させる
   Slide is available: http://bit.do/fHuzJ
   : kNN , : CNN , : EdgeConv
   

   View Slide

6. EdgeConv
   エッジの両端の特徴をつなげたものを全結合層に⼊れて, 出⼒特徴を頂点回
   りでpoolingする
   Slide is available: http://bit.do/fHuzJ
   

   View Slide

7. EdgeConvと従来法の⽐較
   EdgeConvはエッジ両端の特徴を⾒る, ⼀⽅で...
   l PointNet系 (上⼆つ)はエッジの⽚側の頂点が持つ特徴だけを⾒る
   l GCN系は (下⼆つ)エッジ両端の頂点位置から定まる座標上での畳み込み
   Slide is available: http://bit.do/fHuzJ
   ...
   (Dynamic Geodesic CNN)
   

   View Slide

8. Playback: MeshCNN [Hanocka et al. 2019]
   対象は違うものの類似性はある (と思った)
   l エッジを基本要素としたCNNである (下図)
   l 特徴量が⼀定以下のエッジを縮約する (右図)
   Slide is available: http://bit.do/fHuzJ
   ( [Hanocka et al. 2019] )
   

   View Slide

9. 結果: 意味的領域分割
   Slide is available: http://bit.do/fHuzJ
   , PointNet (not ++!), Why?
   

   View Slide

10. 結果: 意味的領域分割
    特定カテゴリに閉じたデータセットだと従来法にも分がある
    Slide is available: http://bit.do/fHuzJ
    ,
    PointCNN , .
    ( )
    

    View Slide

11. Point2Mesh: A Self-prior for Deformable Meshes
    Slide is available: http://bit.do/fHuzJ
    ⼀⾔で⾔うと？
    凸包メッシュの変形と細分化をCNNで学習し, 点群データに表⾯メッシュを⽣成
    

    View Slide

12. 既存のメッシュ⽣成法の特徴
    [Berger et al. 2017] ...
    l
    l
    l
    Slide is available: http://bit.do/fHuzJ
    CNN self-prior
    

    View Slide

13. Self-priorとは？
    ⾃分を復元するようなネットワークの応⽤ [Ulyanov et al. 2018]
    Slide is available: http://bit.do/fHuzJ
    , CNN ,
    ( [Ulyanov et al. 2018] )
    

    View Slide

14. 提案法の概要
    l MeshCNNに元メッシュと固定乱数 (移動量のタネのようなもの) を⼊れて,
    正解メッシュに近づくための頂点移動量を推定する
    l 類似した形状に対して, 類似した変形を学習する (= self-prior)
    Slide is available: http://bit.do/fHuzJ
    , .
    watertight
    [Huang et al. 2018]
    

    View Slide

15. 誤差関数の設計
    (1) Mesh to Point Cloud Distance
    ⼀般的なChamfer距離を利⽤
    Slide is available: http://bit.do/fHuzJ
    (2) Beam Gap Loss
    表⾯⽅向の凹凸を重点的に学習するための誤差関数
    ( , y )
    

    View Slide

16. 結果
    Slide is available: http://bit.do/fHuzJ
    , [Huang et al. 2018]
    , ( 16 )
    , ,
    (self-prior )
    

    View Slide

17. MGCN: Descriptor Learning Using Multiscale GCNs
    ⼀⾔で⾔うと？
    ウェーブレットを利⽤した, メッシュのスケールや解像度にロバストな形状特徴の提案
    Slide is available: http://bit.do/fHuzJ
    

    View Slide

18. これまでの特徴量抽出法の問題点
    l SplineCNN [Fey et al. 2018], ChebyCNN
    [Deferrard et al. 2018]など → k-リング近傍の
    情報しか考慮しない
    l DGCNN [Wang et al. 2019] (1本⽬の論⽂),
    MeshCNN [Hanocka et al. 2019] → グラフ構造
    や三⾓化に特徴が依存してしまう
    l Graph Wavelet Network [Xu et al. 2019] → 単
    ⼀解像度のウェーブレットしか考慮しない
    Slide is available: http://bit.do/fHuzJ
    

    View Slide

19. Laplacian Eigenfunction
    l Laplacian Beltrami演算⼦により定義される固有関数
    l メッシュをグラフと⾒たときのラプラス⾏列の固有値に対応
    Slide is available: http://bit.do/fHuzJ
    Bostch et al. 2008, Geometric Modeling Based on Polygonal Meshes
    Laplacian Eigenfunction
    

    View Slide

20. Graph Wavelets
    ウェーブレット基底
    Slide is available: http://bit.do/fHuzJ
    /
    v
    ( )
    Laplacian Eigenfunction
    

    View Slide

21. Wavelet Energy Decomposition Signature
    この論⽂で提案する「学習に依らない」特徴量
    Slide is available: http://bit.do/fHuzJ
    v WEDS (K+1 ) ,
    l ,
    l (Dirichlet energy) ,
    l x
    (= )
    

    View Slide

22. Multiscale Graph Convolution Network
    この論⽂が提案する「学習を⽤いた」特徴量
    l ウェーブレット空間で畳み込んで戻す処理に対応
    Slide is available: http://bit.do/fHuzJ
    ChebyNet [Defferrard et al. 2016] .
    (m ) , m- .
    

    View Slide

23. 結果: WEDSによる特徴抽出
    Slide is available: http://bit.do/fHuzJ
    ( )
    k- (CMC, )
    (CGE, )
    

    View Slide

24. 結果: MGCNによる特徴量マッチング
    l MGCN + 別特徴でも, WEDS ＋別ネットワークでもあまり良くならない
    l ChebyNet + WEDSは検討しているものの, 提案法の組み合わせが最良(？)
    Slide is available: http://bit.do/fHuzJ
    

    View Slide

25. CNNs on Surfaces Using Rotation-equivariant Features
    Slide is available: http://bit.do/fHuzJ
    ⼀⾔で⾔うと？
    回転情報を含む特徴計算を⽬的としたHarmonic Networkの表⾯メッシュへの拡張
    

    View Slide

26. “Equivariance” とは？
    Harmonic Networks [Worrall et al. 2017] より (直接の従来⼿法)
    l f , π ψ
    , f equivariant
    Slide is available: http://bit.do/fHuzJ
    ,
    

    View Slide

27. メッシュの変形に対する “equivariance”
    メッシュを変形しても, 抽出される特徴が変わらないようにしたい
    Slide is available: http://bit.do/fHuzJ
    Harmonic Networks
    

    View Slide

28. Harmonic Networks [Worrall et al. 2017]
    複素数空間で定義される畳み込みカーネルを⽅向を変えながら適⽤する
    Slide is available: http://bit.do/fHuzJ
    harmonic networks
    ( )
    

    View Slide

29. 表⾯メッシュへのHarmonic Networksの拡張
    Riemannian logarithm map上でHNを使⽤
    l RLM = 接平⾯から曲⾯への射影
    l RLMの計算にはVector Heat Method
    [Sharp et al. 2019b]を使⽤
    Slide is available: http://bit.do/fHuzJ
    (下図は[Sharp et al. 2019b]より引⽤)
    Riemannian logarithm map
    Vector heat . trivial?
    

    View Slide

30. 結果: Equivariant特徴の有効性
    Slide is available: http://bit.do/fHuzJ
    Equivariant (m = 1)
    

    View Slide

31. 結果
    Classification(左)とSegmentation(右)の結果の⽐較
    Slide is available: http://bit.do/fHuzJ
    ( segmentation ... )
    

    View Slide

32. 結果: 特徴量のマッチング
    特徴がマッチした位置が実際のマッチとどのくらい誤差があるか？
    Slide is available: http://bit.do/fHuzJ
    

    View Slide