SIGGRAPH 2020: Geometric Deep Learning (Japanese)

SIGGRAPH 2020勉強会で使ったスライドです。
https://siggraph.xyz/s2020/

Transcript

1. SIGGRAPH 2020 Seminar Geometric Deep Learning Tatsuya Yatagawa Aug. 15th, 2020
2. Geometric Deep Learning l Dynamic Graph CNN for Learning on Point Clouds → 点群データに対する⽬的に応じたグラフ変形を含むGCN l Point2Mesh: A Self-prior for Deformable Meshes → 点群データに対するCNNを⽤いた表⾯メッシュ⽣成 l MGCN: Descriptor Learning Using Multiscale GCNs → ウェーブレットに基づくスケールや三⾓化に⾮依存な特徴量学習 l CNNs on Surfaces Using Rotation-equivariant Features → 回転情報を含む特徴計算を⽬的としたHarmonic Networkの表⾯メッ シュへの拡張 Slide is available: http://bit.do/fHuzJ 2 , 2
3. Dynamic Graph CNN for Learning on Point Clouds Slide is available: http://bit.do/fHuzJ ⼀⾔で⾔うと？ 点群データを対象として, ⽬的に応じたグラフの変形を可能とするGCN
4. 従来のグラフ構造に対するCNN GCNN [Masci et al. 2015] / ACNN [Boscaini et al. 2017] / MoNet [Monti et al. 2017] Slide is available: http://bit.do/fHuzJ l GCNN, ACNN l MoNet GMM , , ( [Monti et al. 2017] )
5. 提案法のモチベーション 学習途中に点群に対するグラフの張り⽅も変更したい l グラフのエッジに対する畳み込み (EdgeConv)によりグラフ上の距離を動 的に変化させる Slide is available: http://bit.do/fHuzJ : kNN , : CNN , : EdgeConv
6. EdgeConv エッジの両端の特徴をつなげたものを全結合層に⼊れて, 出⼒特徴を頂点回 りでpoolingする Slide is available: http://bit.do/fHuzJ
7. EdgeConvと従来法の⽐較 EdgeConvはエッジ両端の特徴を⾒る, ⼀⽅で... l PointNet系 (上⼆つ)はエッジの⽚側の頂点が持つ特徴だけを⾒る l GCN系は (下⼆つ)エッジ両端の頂点位置から定まる座標上での畳み込み Slide is available: http://bit.do/fHuzJ ... (Dynamic Geodesic CNN)
8. Playback: MeshCNN [Hanocka et al. 2019] 対象は違うものの類似性はある (と思った) l エッジを基本要素としたCNNである (下図) l 特徴量が⼀定以下のエッジを縮約する (右図) Slide is available: http://bit.do/fHuzJ ( [Hanocka et al. 2019] )
9. 結果: 意味的領域分割 Slide is available: http://bit.do/fHuzJ , PointNet (not ++!), Why?
10. 結果: 意味的領域分割 特定カテゴリに閉じたデータセットだと従来法にも分がある Slide is available: http://bit.do/fHuzJ , PointCNN , . ( )
11. Point2Mesh: A Self-prior for Deformable Meshes Slide is available: http://bit.do/fHuzJ ⼀⾔で⾔うと？ 凸包メッシュの変形と細分化をCNNで学習し, 点群データに表⾯メッシュを⽣成
12. 既存のメッシュ⽣成法の特徴 [Berger et al. 2017] ... l l l Slide is available: http://bit.do/fHuzJ CNN self-prior
13. Self-priorとは？ ⾃分を復元するようなネットワークの応⽤ [Ulyanov et al. 2018] Slide is available: http://bit.do/fHuzJ , CNN , ( [Ulyanov et al. 2018] )
14. 提案法の概要 l MeshCNNに元メッシュと固定乱数 (移動量のタネのようなもの) を⼊れて, 正解メッシュに近づくための頂点移動量を推定する l 類似した形状に対して, 類似した変形を学習する (= self-prior) Slide is available: http://bit.do/fHuzJ , . watertight [Huang et al. 2018]
15. 誤差関数の設計 (1) Mesh to Point Cloud Distance ⼀般的なChamfer距離を利⽤ Slide is available: http://bit.do/fHuzJ (2) Beam Gap Loss 表⾯⽅向の凹凸を重点的に学習するための誤差関数 ( , y )
16. 結果 Slide is available: http://bit.do/fHuzJ , [Huang et al. 2018] , ( 16 ) , , (self-prior )
17. MGCN: Descriptor Learning Using Multiscale GCNs ⼀⾔で⾔うと？ ウェーブレットを利⽤した, メッシュのスケールや解像度にロバストな形状特徴の提案 Slide is available: http://bit.do/fHuzJ
18. これまでの特徴量抽出法の問題点 l SplineCNN [Fey et al. 2018], ChebyCNN [Deferrard et al. 2018]など → k-リング近傍の 情報しか考慮しない l DGCNN [Wang et al. 2019] (1本⽬の論⽂), MeshCNN [Hanocka et al. 2019] → グラフ構造 や三⾓化に特徴が依存してしまう l Graph Wavelet Network [Xu et al. 2019] → 単 ⼀解像度のウェーブレットしか考慮しない Slide is available: http://bit.do/fHuzJ
19. Laplacian Eigenfunction l Laplacian Beltrami演算⼦により定義される固有関数 l メッシュをグラフと⾒たときのラプラス⾏列の固有値に対応 Slide is available: http://bit.do/fHuzJ Bostch et al. 2008, Geometric Modeling Based on Polygonal Meshes Laplacian Eigenfunction
20. Graph Wavelets ウェーブレット基底 Slide is available: http://bit.do/fHuzJ / v ( ) Laplacian Eigenfunction
21. Wavelet Energy Decomposition Signature この論⽂で提案する「学習に依らない」特徴量 Slide is available: http://bit.do/fHuzJ v WEDS (K+1 ) , l , l (Dirichlet energy) , l x (= )
22. Multiscale Graph Convolution Network この論⽂が提案する「学習を⽤いた」特徴量 l ウェーブレット空間で畳み込んで戻す処理に対応 Slide is available: http://bit.do/fHuzJ ChebyNet [Defferrard et al. 2016] . (m ) , m- .
23. 結果: WEDSによる特徴抽出 Slide is available: http://bit.do/fHuzJ ( ) k- (CMC, ) (CGE, )
24. 結果: MGCNによる特徴量マッチング l MGCN + 別特徴でも, WEDS ＋別ネットワークでもあまり良くならない l ChebyNet + WEDSは検討しているものの, 提案法の組み合わせが最良(？) Slide is available: http://bit.do/fHuzJ
25. CNNs on Surfaces Using Rotation-equivariant Features Slide is available: http://bit.do/fHuzJ ⼀⾔で⾔うと？ 回転情報を含む特徴計算を⽬的としたHarmonic Networkの表⾯メッシュへの拡張
26. “Equivariance” とは？ Harmonic Networks [Worrall et al. 2017] より (直接の従来⼿法) l f , π ψ , f equivariant Slide is available: http://bit.do/fHuzJ ,
27. メッシュの変形に対する “equivariance” メッシュを変形しても, 抽出される特徴が変わらないようにしたい Slide is available: http://bit.do/fHuzJ Harmonic Networks
28. Harmonic Networks [Worrall et al. 2017] 複素数空間で定義される畳み込みカーネルを⽅向を変えながら適⽤する Slide is available: http://bit.do/fHuzJ harmonic networks ( )
29. 表⾯メッシュへのHarmonic Networksの拡張 Riemannian logarithm map上でHNを使⽤ l RLM = 接平⾯から曲⾯への射影 l RLMの計算にはVector Heat Method [Sharp et al. 2019b]を使⽤ Slide is available: http://bit.do/fHuzJ (下図は[Sharp et al. 2019b]より引⽤) Riemannian logarithm map Vector heat . trivial?
30. 結果: Equivariant特徴の有効性 Slide is available: http://bit.do/fHuzJ Equivariant (m = 1)
31. 結果 Classification(左)とSegmentation(右)の結果の⽐較 Slide is available: http://bit.do/fHuzJ ( segmentation ... )
32. 結果: 特徴量のマッチング 特徴がマッチした位置が実際のマッチとどのくらい誤差があるか？ Slide is available: http://bit.do/fHuzJ