論文紹介 “CKGConv: General Graph Convolution with Continuous Kernels"

論文紹介 “CKGConv: General Graph Convolution with Continuous Kernels"
, ICML 2024 論文読み会資料, 2024/9/1

Transcript

1. 論文紹介 “CKGConv: General Graph Convolution with Continous Kernels[1]”, Shibo. L. et, al RICOS　坂本 陸
2. 論文紹介 “CKGConv: General Graph Convolution with Continuous Kernels", 2024/9/10 概要 • Positional Encodingとカーネルを導入し、 グラフ上で畳み込みを行うための手法を 提案した • 複数のデータセットについて、Graph Transformerと同等の性能を発揮すること を確認した 2 CKGConvの概要 （文献[1]のFigure1より抜粋）
3. 論文紹介 “CKGConv: General Graph Convolution with Continuous Kernels", 2024/9/10 目次 1. GNNの背景 1.1. グラフ構造 1.2. 関連研究 1.3. 課題 2. CKGConv 2.1. 研究背景 2.2. 畳み込み 2.3. 実験結果 3
4. 論文紹介 “CKGConv: General Graph Convolution with Continuous Kernels", 2024/9/10 目次 1. GNNの背景 1.1. グラフ構造 1.2. 関連研究 1.3. 課題 2. CKGConv 2.1. 研究背景 2.2. 畳み込み 2.3. 実験結果 4
5. 論文紹介 “CKGConv: General Graph Convolution with Continuous Kernels", 2024/9/10 GNNの背景：グラフ構造 ❏ グラフについて[2] 頂点（ノード）の集合 V と、辺の集合 E を用いて表 すことができる。 ここで E は、 5 ノード1 ノード2 ノード3 ノード4 ノード5
6. 論文紹介 “CKGConv: General Graph Convolution with Continuous Kernels", 2024/9/10 GNNの背景：グラフ構造 ❏ グラフで表現できるもの 6
7. 論文紹介 “CKGConv: General Graph Convolution with Continuous Kernels", 2024/9/10 目次 1. GNNの背景 1.1. グラフ構造 1.2. 関連研究 1.2.1. Message Passing Neural Network 1.2.2. Spectral Graph Neural Networks 1.2.3. Graph Transformers 1.3. 課題 7
8. 論文紹介 “CKGConv: General Graph Convolution with Continuous Kernels", 2024/9/10 GNNの背景：関連研究 ❏ Message-Passing Neural Networks[3] 8 j から i へ送る特徴量 （メッセージ） MLPを含む微分可能な関数 k 回目の頂点 i における特徴量 頂点 i, j を結ぶエッジの特徴量 微分可能な集約関数（sum、average）
9. 論文紹介 “CKGConv: General Graph Convolution with Continuous Kernels", 2024/9/10 GNNの背景：関連研究 ❏ Spectral Graph Neural Networks[4] 9 グラフフーリエ変換でスペクトル領域に変換した信号を、NNをつ かってフィルタリングする Frequency Spectrum GFT (Graph Fourier Transform) inverse GFT 頂点領域 スペクトル領域
10. 論文紹介 “CKGConv: General Graph Convolution with Continuous Kernels", 2024/9/10 GNNの背景：関連研究 ❏ グラフスペクトルの例 10 19次モードまでのアニメーション（ GIF画像）
11. 論文紹介 “CKGConv: General Graph Convolution with Continuous Kernels", 2024/9/10 GNNの背景：課題 ❏ GNN（MPNN）の課題 • 過平滑化（Over-Smoothing） ◦ GNNの出力が全ての頂点で同じような値になること • 過集中化（Over-Squashing） ◦ 長距離の影響を考慮できないこと • 限定的な表現能力 ◦ 全ての頂点の特徴量が等しい時、任意の次数 k-正則グラフ同士を区別できない 11 0.1 0.1 0.1 0.1 0.1 ・・・
12. 論文紹介 “CKGConv: General Graph Convolution with Continuous Kernels", 2024/9/10 GNNの背景：関連研究 ❏ Graph Transformers (GTs)[5] 12 • NLPにおけるTransformerと同様に Attention構造を導入した • λ はグラフラプラシアンの固有ベクトルを利 用したPositional Encoding 文献[5]Figure1より抜粋
13. 論文紹介 “CKGConv: General Graph Convolution with Continuous Kernels", 2024/9/10 目次 1. GNNの背景 1.1. グラフ構造 1.2. 関連研究 1.3. 課題 2. CKGConv 2.1. 研究背景 2.2. 畳み込み 2.3. 実験結果 13
14. 論文紹介 “CKGConv: General Graph Convolution with Continuous Kernels", 2024/9/10 CKGConv：研究背景 • Computer Visionの分野における、Transformerを使用したモデル（ ViTs ）と Convolutionを用いたモデルの関係性からの期待 ◦ より大きなカーネルを用いることで、 Transformerに匹敵する性能をだしている • グラフ上で畳み込みをより柔軟に行いたい ◦ GCNは幅１の畳み込みとみなすことができるが、幅を増やすことで長距離の影 響を考慮しやすくしたい 14
15. 論文紹介 “CKGConv: General Graph Convolution with Continuous Kernels", 2024/9/10 CKGConv：畳み込み ❏ 離散的な畳み込み 15 • ほとんどの場合、カーネル 𝜓 は有限の幅 を持つ • カーネル 𝜓 は有限の幅離れた点からの影響を考慮できる Index 離散信号 カーネル
16. 論文紹介 “CKGConv: General Graph Convolution with Continuous Kernels", 2024/9/10 CKGConv：畳み込み ❏ 離散的な畳み込み 16 • 添字の関係と位置の関係が一致してい ない ◦ x[k - 1] が x[k] より一つ前にいると は限らない ノード1 ノード2 ノード3 ノード4 ノード5
17. 論文紹介 “CKGConv: General Graph Convolution with Continuous Kernels", 2024/9/10 CKGConv：畳み込み ❏ グラフ上での畳み込み • PE (Positional Encoding)： グラフ上の位置関係を表したい • Kernel Design: 学習可能にしたい 17 離散畳み込み（再掲）：
18. 論文紹介 “CKGConv: General Graph Convolution with Continuous Kernels", 2024/9/10 CKGConv：畳み込み ❏ Positional Encoding 代表的な例としてRRWPs (Relative Random Walk Probabilities) を使用する。 18 次数行列 隣接行列 は、ノード i から j に移動する確率とみることができる
19. 論文紹介 “CKGConv: General Graph Convolution with Continuous Kernels", 2024/9/10 CKGConv：畳み込み ❏ RRWPsの図示 19 RRWPsを19回繰り返した様子（ GIF画像）
20. 論文紹介 “CKGConv: General Graph Convolution with Continuous Kernels", 2024/9/10 CKGConv：畳み込み ❏ Kernel の設計 ・Kernelの選択とPEの選択は独立しているため、自由度が大きい。 ・著者らは、下記のような構造を採用している。 20 FC：Fully Connected Layer （Wx + b） MLP：Residual Connection とFC、正則化層を組み合わせたモデル
21. 論文紹介 “CKGConv: General Graph Convolution with Continuous Kernels", 2024/9/10 CKGConv：畳み込み ❏ Global Kernel 著者らは、Global Kernelとして、全ノードを対象とするカーネルを設定した　 21
22. 論文紹介 “CKGConv: General Graph Convolution with Continuous Kernels", 2024/9/10 CKGConv：実験結果 以下２点を紹介する • 一般的なGraphBenchmarkによる性能確認 • LRGB（Long Range Graph Benchmark）による長距離の性能確認 ◦ ペプチドの高分子構造に関するデータセット 22
23. 論文紹介 “CKGConv: General Graph Convolution with Continuous Kernels", 2024/9/10 CKGConv：実験結果 ❏ Benchmarkによる性能確認 23 3番目に良い 2番目に良い 最も良い
24. 論文紹介 “CKGConv: General Graph Convolution with Continuous Kernels", 2024/9/10 CKGConv：実験結果 24 ❏ 長距離の性能確認（Long Range Graph Benchmark）[6] ペプチド分子に関するタスク タスク ラベル例 総グラフ数 平均ノード数 平均直径 Peptides-func 分類問題 抗ウィルス性, 抗バクテリア 15,535 150.94 56.99±28.72 Peptides-struct 回帰問題 質量,重心,長さ 15,535 150.94 56.99±28.72
25. 論文紹介 “CKGConv: General Graph Convolution with Continuous Kernels", 2024/9/10 CKGConv：実験結果 ❏ 長距離の性能確認（Long Range Graph Benchmark） 25 GTsと同等の性能を示しており、長距離の影響を考慮できている 3番目に良い 2番目に良い 最も良い
26. 論文紹介 “CKGConv: General Graph Convolution with Continuous Kernels", 2024/9/10 Limitation ❏ CKGConvの課題 26 • 精度の検証にはGlobal Kernelを利用したCKGConv を使用し、この 計算量は O(𝓥2) である。これはGraph Transformerと同等
27. 論文紹介 “CKGConv: General Graph Convolution with Continuous Kernels", 2024/9/10 結論 • Positional Encodingとカーネルを導入し、 グラフ上で畳み込みを行うための手法を 提案した • 複数のデータセットについて、現在SOTA （state-of-the-art）であるGraph Transformerと同等の性能を発揮すること を確認した 27 CKGConvの概要 （文献[1]のFigure1より抜粋）
28. 論文紹介 “CKGConv: General Graph Convolution with Continuous Kernels", 2024/9/10 参考文献 [1] Liheng Ma, Soumyasundar Pal, Yitian Zhang, Jiaming Zhou, Yingxue Zhang, Mark Coates, “CKGConv: General Graph Convolution with Continuous Kernels", 2024, ICML2024 [2] 佐藤竜馬, “グラフニューラルネットワーク”, 2024, 講談社 [3] “Creating Message Passing Networks”, https://pytorch-geometric.readthedocs.io/en/latest/notes/create_gnn.html, アクセ ス日2024.9.10 [4] David I Shuman, Sunil K. Narang, Pascal Frossard, Antonio Ortega and Pierre Vandergheynst, "The Emerging Field of Signal Processing on Graphs - Extending High-Dimensional Data Analysis to Networks and Other Irregular Domain", https://arxiv.org/pdf/1211.0053, 2012, IEEE Signal Processing Magazine [5] Vijay Prakash Dwivedi, Xavier Bresson, “A Generalization of Transformer Networks to Graphs”, 2021, AAAI [6] Vijay Prakash Dwivedi, Ladislav Rampášek, Mikhail Galkin, Ali Parviz, Guy Wolf, Anh Tuan Luu, Dominique Beaini, “Long Range Graph Benchmark”, NeurIPS 2022 28
29. 論文紹介 “CKGConv: General Graph Convolution with Continuous Kernels", 2024/9/10 29