SGRL_presentation_251027_1.pdf

Transcript

1. 1 SOKENDAI SOKENDAI Exploita*on of a Latent Mechanism in Graph Contras*ve Learning: Representa*on Sca=ering ︓ SGRL(NeurIPS 2024) の紹介 君野 史明
2. 2 SOKENDAI ⾃⼰紹介 n 名前︓君野 史明（きみの ふみあき） n 所属︓総合研究⼤学院⼤学 情報学コース D1 n 専⾨︓ グラフ対照学習 グラフ表現学習
3. 3 SOKENDAI アジェンダ n 背景と問題設定 n 3つのGCL系（InfoNCE / DGI / BGRL）の再整理 n 中⼼概念︓表現スキャタリング（RS） n 提案︓SGRL（RSM + TCM + EMA） n 実験設定と主要結果 n アブレーションとハイパーパラメータ n 限界と今後の展望
4. 4 SOKENDAI 背景と動機 n GCLはラベルなしで性能を出すが、共通の駆動機構は⼗分に 説明されていない n ノード識別（InfoNCE）、群識別（DGI）、ブートストラップ （BGRL）が近い性能を出している n 問い︓それらを貫く“共通の原理”は何か︖
5. 5 SOKENDAI SGRL:本研究の貢献 n GCLに潜在する共通機構＝表現スキャタリング（RS）を同 定 n InfoNCE/DGI/BGRLをRSの観点で統⼀的に解釈（簡潔 な理論含む） n SGRL︓中⼼離反（center-away）＋トポロジ拘束（ TCM）を明⽰的に導⼊ n 5ベンチマークでSOTA/同等の結果を実証
6. 6 SOKENDAI 前提・記法 n グラフ G=(V,E), 特徴 X∈ℝ^{N×D}, 隣接 A∈ℝ^{N×N} n ⾃⼰ループ付き正規化隣接︓ n エンコーダ f(·)︓H = f(X, A), H∈ℝ^{N×K} n ⼊⼒はG=(V,E)で、出⼒は埋め込みHである。
7. 7 SOKENDAI 表現スキャタリング（RS）の定義 n 単位超球上に表現を正規化し、全体中⼼ c から離反させる （center-away） n 均⼀性（uniformity）︓表現を空間上に均等に分散させ る n ⽬的︓過度なクラスタ重なりや中⼼への収束を避ける
8. 8 SOKENDAI DGI系はRSとして解釈できる n “破損グラフ”との識別で分布のJensen-Shannon(JS)ダイバ ージェンスを最⼤化 n 破損後の分布は元の“平均的”表現に近づく傾向 n 結果として中⼼からの離反（RS）を促進
9. 9 SOKENDAI InfoNCE系はRSとして解釈できる n InfoNCEを最⼩化 ⇒ 平均ベクトルとの類似を下げる議論 (Jensen の不等式で InfoNCE を“ネガとの平均類似度” に結びつけ、その平均類似度が“重⼼との類似度”に等しい ことから、InfoNCE を下げると重⼼から遠ざかる) n 各ノードを重⼼から遠ざける効果（超球上の離反） n 課題︓負例コスト、偽負例の混⼊
10. 10 SOKENDAI BGRLとBNの役割 n BatchNormは各特徴を0平均・単位分散に正規化 ⇒ 中 ⼼シフト(平均を0に移す)＋分散拡⼤ n BN除去で性能劣化（報告）＝BNが暗黙のRSに相当 n ただし、“暗黙の表現スムージング（RS）効果”をどう置き換え るかについて“明⽰的な指針”はない
11. 11 SOKENDAI なぜ明⽰的RSか n 既存法はRSを“間接的”に達成（負例・破損・BN） n 問題︓計算負荷/偽負例/指針の弱さ n 解︓中⼼離反＋グラフトポロジ拘束を直接的に導⼊
12. 12 SOKENDAI SGRLの全体像 n オンライン f_θ とターゲット f_ϕ（EMA更新）の⼆系統 n RSM︓ターゲット表現を超球上に正規化し中⼼から離反 n TCM︓k-hop隣接でトポロジ整合性を加味 n 予測器 q_θ でオンライン表現をターゲットに整合（stop- grad）(ターゲット側には勾配を⼀切流さない)
13. 13 SOKENDAI RSM︓中⼼離反による散らし n 正規化 （単位超球） n 中⼼ n 散乱損失の例︓ n 負例不要で効率的・偽負例を回避
14. 14 SOKENDAI TCMとEMA n トポロジ考慮︓H_online^top = Â^k H_online + H_online n 予測器 q_θ︓Z_online = q_θ(H_online^top) を H_target とコサイ ン整合 n EMA更新︓ϕ ← τϕ + (1-τ)θ（安定化と情報伝搬(学習中の情報が 時間⽅向に伝わっていく)） n グローバル散乱と局所整合のトレードオフを調停
15. 15 SOKENDAI 主結果（分類・クラスタリング） n ノード分類︓5データセットでSGRLが全般に⾼精度 n 過学習しがちな負例駆動型より安定 n クラスタリング︓散乱にもかかわらずTCMが局所構造を保持し好成績
16. 16 SOKENDAI 限界と今後の展望 n 中⼼ c の選び⽅／クラス不均衡の影響(クラスが「⼀つに潰れる」) n GCL外領域（⽣成・予測型SSL）へのRS⼀般化 n Uniformity/Alignmentトレードオフとの理論的接続の深化 n 動的/異種グラフ・⼤規模分散学習への拡張
17. 17 SOKENDAI まとめ（Takeaways） n SGRL︓データ拡張不要の⾃⼰蒸留型GCLとして、targetで散らし・onlineでk-hop整 合する分離設計により、簡潔で堅牢、かつ異質グラフにも親和的な表現を学習する⼿法。 n 共通機構︓表現スキャタリング（RS）̶ 中⼼離反＋均⼀化でグローバルに散らす n SGRL︓RSM（散乱を明⽰的に最適化）＋ TCM（k-hop集約で局所整合）＋ EMA（安 定化） n 偽ネガ／負例計算の⾮効率を回避︓中⼼離反で直接散乱、⼿設計ネガに依存しない n ターゲット（散乱専任）とオンライン（トポロジ制約）を分離し、勾配の衝突を回避 n 実務⽰唆︓負例不要系＋トポロジ分離設計は、精度・計算効率・安定性に利点