GraphACL_presentation_kimino_250929_1.pdf

Transcript

1. 1 SOKENDAI SOKENDAI Simple and Asymmetric Graph Contrastive Learning without Augmentations︓ GraphACL ( NeurIPS 2023) の紹介 君野 史明
2. 2 SOKENDAI ⾃⼰紹介 n 名前︓君野 史明（きみの ふみあき） n 所属︓総合研究⼤学院⼤学 情報学コース D1 n 専⾨︓ グラフ対照学習 グラフ表現学習
3. 3 SOKENDAI 本論⽂研究の動機︓なぜ新しいグラフ対照学習が必要か n 従来の多くのGCL（Graph Contrastive Learning）は同 質性（homophily︓隣接ノードは似ている）を前提としてい る。 n 拡張（augmentation）ベースは低周波成分を温存しがち → ⾼周波成分の多い、異質グラフで性能低下。 n 拡張設計に依存しない、同質・異質双⽅で機能するシンプル な⽬的関数が必要。
4. 4 SOKENDAI 既存⼿法と限界 n 平滑化型︓隣接ノード同⼠を直接近づける（InfoNCE類似 ）→ 異質グラフで脆弱。 n 拡張ビュー対⽐︓2つの拡張ビューを同⼀化（表現を⼀致さ せる（invariance））し近づける（BGRL/BYOL型）→隣 接ノードを似せる⽅向に働きやすく、⾼周波成分が失われる。 n 多くは同質性や拡張の前提に依存。
5. 5 SOKENDAI GraphACL︓中⼼アイデア n 各ノードを「アイデンティティ（中⼼）」と「コンテクスト（1-hop 近傍ノードの“⽂脈表現”）」の2役で扱う。 n ⾮対称予測器 gϕ により、中⼼表現から近傍（⽂脈）表現 を予測。 n 隣接ノードを“同⼀化”する必要はない ̶̶ ⽂脈を正しく予 測できればよい。
6. 6 SOKENDAI ⽬的関数︓予測 + 均⼀性を基礎とした⾮対称コントラスト n 近傍予測（LPRE）︓v から gϕ(fθ(v)) で隣接 u のコンテク スト表現（ターゲット）を予測。 n 均⼀性（LUNI）︓崩壊回避のため、異なるノードを押し広げ る。 n ⾮対称コントラスト損失（LA）︓上式を⾜し合わせ、ノルムの スケール問題と表現崩壊を回避。
7. 7 SOKENDAI 主要な数式（損失関数） n 近傍予測（LPRE）︓ n 均⼀性（LUNI）︓ n ⾮対称コントラスト損失（LA）︓
8. 8 SOKENDAI GraphACLの学習アーキテクチャ n オンライン fθ（アイデンティティ）とターゲット fξ（⽂脈）の2エ ンコーダ。 n fξ は EMA 更新（Exponential Moving Average︓指 数移動平均）︓ξ ← λ ξ + (1­λ) θ（ターゲット側は勾配 更新の対象にせず、ゆっくり安定的に更新）。 n 予測器 gφ はアイデンティティ空間→⽂脈空間への写像。 n 負例はバッチからサンプリング、温度 τ を⽤いる。
9. 9 SOKENDAI GraphACLに対する直観︓なぜ効果があるか n 1-hop︓近傍⽂脈を直接予測、同⼀化を強制しない。→異 質グラフでも⾼周波情報（境界）を残せる n 2-hop︓共通の近傍を持つノードが同じ⽂脈ターゲットを再構 成→ 2-hopで⾃発的に整列。 n 拡張不要︓設計負荷と低周波バイアスを回避。 v（中⼼） オンライン fθ 予測器 gφ p_v u（隣接） ターゲット fξ fξ：EMA更新・ 停止勾配 ξ ← λξ + (1−λ)θ u の1-hop ⽂脈 A B C t_B = fξ(B) p_A = gφ(fθ(A)) p_C = gφ(fθ(C)) A と C は同じ B の文脈 t_B を再構成 ⇒ 2-hopで A と C が整列（モノフィリー） 1-hopの場合 2-hopの場合
10. 10 SOKENDAI 定理I︓近傍⽂脈と相互情報量 n LA（EMA 付き）最⼩化 ≈ -I(V;Y)（Y=1-hop 近傍パ ターン）相互情報量I(V;Y)最⼤化。 n ⇒ 異質グラフでも識別的な1-hop ⽂脈を保持。
11. 11 SOKENDAI 定理II︓ 2-hop整列（モノフィリー） n LA 最適化 ≈ 2-hop近傍間の平均⼆乗距離の最⼩化。 n ⇒ 直接の“同質性仮定”なしに2-hopでの類似を誘発。
12. 12 SOKENDAI 定理III︓下流分類誤差の上界 n 誤差 ≤ O(L · LA) + O(1 ­ ĥ₂) + 定数 （ĥ₂︓ 2-hop グラフの同質性⽐、L︓L-bi-Lipschitz定数（⼩さいほど滑ら か））。 n ⇒ LA が⼩さく、 2-hopモノフィリーが⾼いほど下流性能が良 い。
13. 13 SOKENDAI 使⽤しているベンチマーク・データセット n 異質︓Wisconsin, Cornell, Texas, Actor, Squirrel, Chameleon, Crocodile, Roman-empire, arXiv-year 。 n 同質︓Cora, Citeseer, Pubmed, Amazon- Computers, Amazon-Photo, ogbn-Arxiv。 n 評価︓線形分類器によるプロービング（凍結表現（frozen representations）上の線形分類（プローブ）） ／k- means クラスタリング。
14. 14 SOKENDAI 結果の概観（ノード分類） n 15データセットで強⼒なGCLベースラインと同等以上を安定して達成。 n 例（精度, 平均±標準偏差）︓ n Squirrel(異質): 54.05%（従来 ~52.94%）（L-GCL） n Chameleon(異質): 69.12%（従来 ~68.74%）（L-GCL） n Crocodile(異質): 66.17%（従来 ~62.98%）（DSSL） n Texas(異質) : 71.08%（従来 ~ 62.11%）（DSSL） n Wisconsin(異質): 69.22%（従来 ~ 65.28%）（L-GCL）
15. 15 SOKENDAI 他のモデルとの⽐較 n 平滑化型より︓異質グラフで優位（“同⼀化”を強制しないため）。 n 拡張型より︓低周波バイアスに依存せず、ビュー⽣成の設計不要。 n シンプル︓予測器 + EMA （Exponential Moving Average） だけで 成⽴。
16. 16 SOKENDAI アブレーションの結果 n 予測器gφ ≈ 恒等なら古典的“近傍平滑化GCL”に退化（異質で弱くなる ）。 n 均⼀性項（LUNI）が純粋予測の崩壊を抑制。 n バックボーン⾮依存︓各種GNNと統合可（どんな GNN が出してきた表現 でも、その表現間関係（中⼼ vs 近傍）に対して⾮対称な予測損失をかけ るため）。
17. 17 SOKENDAI GraphACLの限界 n 2-hopモノフィリーが極端に弱い／逆向き（2-hopが別クラス）な構造では 利得が⼩さい可能性がある。 n 超スパース・⾼雑⾳グラフでの挙動はさらなる検証が必要。 n 表現次元Dへの感度と過学習の懸念（異質グラフほど⾼次元で性能が伸び やすい⼀⽅、極端に⼤きな次元は性能低下（過学習）を招く場合がある）
18. 18 SOKENDAI まとめ n GraphACL︓簡潔・堅牢・拡張不要・異質グラフに親和的 n “隣接⽂脈を予測する”という⾮対称・拡張不要の枠組みで、異質グラフに強 い、⾃⼰教師あり学習を実現。 n 1-hop ⽂脈＋2-hop モノフィリーを同時に捉え、崩壊を回避。 n 理論的裏付け＋堅実な実験結果 → 実務でのデフォルト候補。