Reconstruction_for_Powerful_Graph_Representations_260225_1.pdf

Transcript

1. 1 SOKENDAI SOKENDAI Reconstruction for Powerful Graph Representations (NeurIPS 2021) の紹介 君野 史明
2. 2 SOKENDAI ⾃⼰紹介 n 名前︓君野 史明（きみの ふみあき） n 所属︓総合研究⼤学院⼤学 情報学コース D1 n 専⾨︓ グラフ対照学習 グラフ表現学習
3. 3 SOKENDAI 背景と動機：なぜ「再構成」か n メッセージパッシング型GNNは表現⼒に限界（1-WLにより上界）。 n 直径・半径・サブグラフ数など、重要な構造量を近似できない例が知られる。 n より表現⼒の⾼いGRLは実装・計算が重く、スケールや実タスクの優位が⼗分に⽰されてい ない。 n ⽬標︓シンプル・スケーラブル・表現⼒が⾼く、実データでも改善する設計。 n 本論⽂全体での⼊⼒は、G=(V(G),E(G))で、出⼒は、r(G)∈Rdである。
4. 4 SOKENDAI グラフ再構成：deck と再構成予想 n 直感︓頂点を1つ削除した部分グラフ（カード）の多重集合 = deck から元のグラフを 復元できるか︖ n deck︓Dn­1(G) = { I(G[V{v}]) : v∈V }（同型型の多重集合） n 再構成予想︓|V|≥3の単純無向グラフは deck から同型まで⼀意に定まる。 n 拡張︓k-deck（k頂点誘導部分グラフの多重集合）＝k-再構成。
5. 5 SOKENDAI 本研究の貢献（全体像） n グラフ(k-)再構成を、グラフ表現学習（GRL）の設計原理として明確に接続。 n 表現クラス①︓k-Reconstruction Neural Networks（k頂点部分グラフ集合からの集 合関数）。 n 表現クラス②︓Full Reconstruction Neural Networks（再構成予想に基づく再帰的 表現︔理論的に最強だが⾼コスト）。 n 実⽤モデル︓k-Reconstruction GNNs（部分グラフ表現をGNNで近似し、サンプリング でスケール）。 n 理論︓表現⼒の増強＋頂点削除不変性（hereditary性）により分散を下げる誘導バイ アス。 n 実証︓合成タスクで解けない課題を解決し、実データでも性能を改善。
6. 6 SOKENDAI k-Reconstruction Neural Networks（定義と表現⼒） n アイデア︓k頂点誘導部分グラフごとに「同型を識別する表現」h^(k)を作り、集合関数 f で統合。 n 集合関数 f は順序不変（Deep Sets など）で、部分グラフの並びに依らない。 n 命題︓f が多重集合の普遍近似器なら、近似可能な関数 ⇔ k-再構成可能（k- reconstructible）。 n kが⼤きいほど情報が増え、表現⼒は単調に強くなる階層を持つ。 r^(k)(G) = f( CONCAT( { h^(k)( G[S] ) : S ∈ S^(k) } ) ) （S^(k)：|S|=k の頂点集合）
7. 7 SOKENDAI Full Reconstruction Neural Networks（最強だが⾼コスト） n 再構成予想を使い、(n­1)-deck からグラフを（同型まで）⼀意に決める発想を再帰 表現に落とす。 n 2頂点部分グラフ表現から始め、|S|を増やしながら r(G[S]) を構成。 n （予想が成⽴するクラスでは）無向・辺属性なし・サイズ上限 nの範囲で「最も表現⼒が ⾼い」表現を得る。 n ⼀⽅で計算量は指数的で実⽤には不向き（理論的上限として位置づけ）。 r(G[S]) = f^(|S|)( CONCAT( { r(G[S{v}]) : v∈S } ) ) (|S|≥3) r(G[{i,j}]) = h_{i,j}(G[{i,j}]) (|S|=2)
8. 8 SOKENDAI 実⽤化：k-Reconstruction GNNs n 課題︓k-Reconstruction NN は h^(k)（同型を完全識別）を要求し、k増⼤で計 算が困難。 n 解︓部分グラフ表現を「GNN埋め込み」で近似し、集合関数で統合する。 n 結果︓GNNの順列不変性を保ちつつ、部分グラフ集合から追加情報を注⼊。 n k = n­1, n­2, … のように「少数の頂点削除」でも局所対称性が崩れ、識別が容易 になる場合がある。 r^(k,GNN)(G) = f( CONCAT( { h_GNN( G[S] ) : S ∈ S^(k) } ) )
9. 9 SOKENDAI スケーリング：部分グラフのサンプリング近似 n 全てのk部分グラフを列挙すると |S^(k)| = C(n,k) で⾮現実的。 n Deep Sets 形式︓ ρ( Σ_{S} φ( h_GNN(G[S]) ) ) で集約し、サンプル集合 S_B^(k) に置換。 n 損失が凸などの条件下で、近似により「上界」を最⼩化する形になり学習が安定。 n 実験では、各データセットに応じてサンプル数を設定。 r ≈ ρ( |S^(k)|/|S_B^(k)| · Σ_{S∈S_B^(k)} φ( h_GNN(G[S]) ) )
10. 10 SOKENDAI 表現⼒（1）：サイクルグラフを識別できる n GNN（1-WL）は正則グラフを識別できないため、サイクルの区別が難しい。 n (n­ℓ)-Reconstruction GNN は、頂点を少数削除した部分グラフ集合からサイクルを ⼀意に表現できる条件を⽰す。 n 直感︓削除により局所対称性が壊れ、部分グラフが「⼿掛かり」になる。 Theorem 1：k=n−ℓ のとき、条件を満たせば cycle を一意表現 （詳細な不等式条件は論文参照）
11. 11 SOKENDAI 表現⼒（2）：CSL（Circular Skip Link）グラフ n CSL は4正則(各頂点の次数が4)で、標準GNNが苦⼿とする代表的クラス（局所構造 が均質）。 n Theorem 2︓⾮同型なCSLグラフの組を、(n­1)-Reconstruction GNN が区別で きる。 n → 元のGNN表現に加えて再構成表現を併⽤すると、厳密に表現⼒が増す。
12. 12 SOKENDAI アルゴリズム全体（Algorithm 1） n 単純な階層関係（GNN < (n­1)-Recon < …）は⼀般には成⽴しない。 n Proposition 2︓k≤⌈n/2⌉では、GNNが区別できてもk-Recon GNNが区別できない 例が存在。 n ⼀⽅で、再構成はGNNが苦⼿な正則グラフ（サイクル等）を区別できる場合がある。 n Proposition 3︓(n­2)-Recon GNN は 2-WL（≃2-GNN）でも区別できないグラ フ対を区別し得る。
13. 13 SOKENDAI 再構成は「追加の(extra)不変性（invariance）」 n GRLの基本︓頂点の置換（同型）に対する不変性。 n k-再構成ベースのモデルはさらに、同じk-deckを持つグラフ（同じ部分グラフ多重集合） を同⼀視する。 n これは置換不変性から⾃動的には出てこない（例︓有向グラフでは成り⽴たないが置換 不変性は成り⽴つ。また、有向グラフでは再構成予想が崩れる）。 n 適切なデータ⽣成分布では、この不変性が汎化を改善しうる(δ-hereditary distribution（頂点削除に対して不変な性質に基づく分布） の下で、k- Reconstruction GNN の経験リスクの分散が GNN 以下になる（Theorem 3）)。
14. 14 SOKENDAI 分散低減：δ-hereditaryタスクの理論 n hereditary性︓頂点削除に対して性質が不変（例︓平⾯性、⾮巡回性、彩⾊可能 性など）。 n δ-hereditary︓⼗分⼤きいグラフ（|V|>δ）では頂点削除してもラベルが変わらない。 n Theorem 3︓凸損失などの条件下で、k-Recon GNNの経験リスク推定はGNNより分 散が⼩さい。 n → 実タスクの性能向上は「表現⼒」だけでなく「推定分散の低減」でも説明できる。 Var[ R '_k ] ≤ Var[ R '_GNN ] （条件：δ-hereditary分布、凸性など）
15. 15 SOKENDAI 実験設定：問い（Q1‒Q3）とデータ n Q1︓表現⼒増強で、GNNが解けない合成グラフ性質タスクを解けるか︖ n Q2︓実データ（分⼦など）で性能が上がるか︖その理由は︖ n Q3︓部分グラフサイズ k（n­1, n­2, n­3, ⌈n/2⌉）の影響は︖ n 合成タスク︓CSL分類、Cycle detection（4/6/8 cycles）、Connectivity / Diameter / Spectral radius。 n 実タスク︓ZINC・ALCHEMY・OGBG分⼦データ（分類/回帰）。 n ベースGNN︓GIN / GCN / PNA（同⼀設定でRecon化）。
16. 16 SOKENDAI 結果①：合成グラフ性質タスク（Table 1） n CSLやCycle検出で、標準GNNを⼤幅に上回る（特にk=n­1/n­2）。 n 位置特徴（ID/Laplacian）に頼らず、頂点置換不変性を保ったまま改善。
17. 17 SOKENDAI 感度分析︓ハイパーパラメータと K（Q4） n OGBG分⼦データで多くの設定で改善（表では最⼤で約5%程度の向上も）。 n 論⽂全体では、他データセット含め最⼤25%の改善例も報告。 n 解析︓実データでは多くのグラフが1-WLで区別可能 → 改善の主因は「頂点削除不変性（分散低減）」と解釈。
18. 18 SOKENDAI 実⽤上の論点・限界 n 計算︓部分グラフ列挙は組合せ爆発 → サンプリング設計が鍵（分散・バイアスのトレー ドオフ）。 n kの選択︓⼤きいほど表現⼒は増える傾向だが、計算コストも増える。⼩さすぎると情報不 ⾜。 n 理論条件︓⼀部の保証は凸損失や無向・辺属性なし等の設定に依存。 n 有向グラフや豊富な辺属性では再構成予想がそのまま使えない場合がある。 n それでも「頂点削除に対する不変性」という設計原理は幅広く応⽤可能。
19. 19 SOKENDAI まとめ（Takeaways） n グラフ再構成（deck / k-deck）を、表現学習の中核概念として導⼊。 n 理論︓k-再構成可能性 ↔ 近似可能な関数、再構成でGNNの表現⼒を増強し得る。 n 実⽤︓k-Reconstruction GNN（部分グラフ＋Deep Sets＋サンプリング）でスケー ル。 n 経験︓合成タスクで解けない問題を解き、実データでも⼀貫して性能改善。 n 解釈︓表現⼒の増強に加え、頂点削除不変性が推定分散を下げ汎化を助ける。