Mitigating_Local_Cohesion_251222_1.pdf

Transcript

1. 1 SOKENDAI SOKENDAI Mitigating Local Cohesion and Global Sparseness in Graph Contrastive Learning with Fuzzy Boundaries (ICML 2025) の紹介 君野 史明
2. 2 SOKENDAI ⾃⼰紹介 n 名前︓君野 史明（きみの ふみあき） n 所属︓総合研究⼤学院⼤学 情報学コース D1 n 専⾨︓ グラフ対照学習 グラフ表現学習
3. 3 SOKENDAI 背景: Self-Supervised Graph Representation Learning n ⾃⼰教師ありグラフ表現学習 (SSGRL) は、ラベル無しグラフ からノード表現を学習する枠組み n Graph Contrastive Learning (GCL) は、 正例を近づけ、負例を遠ざけることで識別的表現を獲得 n 代表例: DGI, GRACE, GCA, BGRL, iGCL, SGRL など
4. 4 SOKENDAI 問題設定: 局所凝集性と⼤域的疎性 n GCLは、局所的に類似度の⾼いノードを強く凝集させる傾向を 持つ n 局所凝集性 (Local Cohesion): 同⼀クラス内が多数の⼩ さなグループに分断される現象 n ⼤域的疎性 (Global Sparseness): ⼩グループや孤⽴ノー ドがクラス境界全体にまばらに散らばる現象 n 結果として、クラス内コンパクトさ・クラス間分離といった理想的 なクラスタ構造が損なわれる
5. 5 SOKENDAI 現象の直感: t-SNE による可視化イメージ n 既存GCLでは、同⼀クラスでも複数の局所クラスタに分裂しが ち n 孤⽴ノードの数も増加し、決定境界の設計が難しくなる n 局所的には類似ノードがまとまる⼀⽅で、グローバルなクラスタ 構造は乱れている
6. 6 SOKENDAI 関連研究: データ拡張・負例設計・Representation Scattering n GRACE/GCA: 強⼒なグラフ拡張によりコントラスト学習を強 化 n AFGRL/iGCL: 負例の定義を⼯夫し，同クラスノードの誤っ た遠ざけを抑制 n SGRL: “representation scattering” という潜在メカニズ ムを解析し，トポロジー制約付きで散らす枠組みを提案 n しかし、「局所グループ」と「孤⽴ノード」が境界構造に与える影 響は⼗分に扱われていない
7. 7 SOKENDAI 提案: ファジィ境界による局所凝集性と⼤域的疎性の同時緩和 n クラス境界をファジィ集合として拡張し、「ファジィ境界 (fuzzy boundary)」を定義 n ファジィ境界構成: 元の境界を膨張させ、局所グループや孤⽴ ノードを橋渡しする領域を形成 n ファジィ境界収縮: ファジィ境界内のサンプル・局所グループを再 度凝集させることでクラスタを締める n ⽬的: ⾼いクラス内コンパクトさとクラス間分離を同時に満たす 表現分布を獲得すること
8. 8 SOKENDAI モデル全体構成: GAE + ファジィ境界 n ベースモデルとして Graph Auto-Encoder (GAE) を採⽤ n ステップ1: GAE によりノード属性を再構成し，初期潜在表現 H を学習 n ステップ2: K-means によりクラスタ中⼼ (プロトタイプ) を抽 出 n ステップ3: ファジィ境界の構成・収縮を通じて表現分布を再整 形 n ⼊⼒はG=(V,E)で、出⼒は埋め込みH:H={h1,h2…hn}
9. 9 SOKENDAI ステップ1: Graph Auto-Encoder による事前学習 n ⼊⼒: ノード属性⾏列 X と隣接⾏列 A n エンコーダ: GCN によりノード潜在表現 H を⽣成 n デコーダ: H から X を再構成し、再構成損失 L_rec を最⼩ 化 n 隣接⾏列の再構成よりも属性再構成に重きを置くことで、特 徴情報を忠実に保持
10. 10 SOKENDAI ステップ2: クラスタとプロトタイプの構成 n 潜在表現 H に対して K-means を適⽤し，K個のクラスタ 中⼼ {μ_k} を得る n クラスタ中⼼は各クラスの「プロトタイプ」として解釈される n ノードのクラスタ割当と距離に基づき、実際のクラス構造に対応 するクラスタを近似 n これらのプロトタイプが、後段のファジィ境界構成・収縮の基準 点となる
11. 11 SOKENDAI ファジィ境界: クリスプ境界からファジィ集合へ n 従来の境界は「属する / 属さない」の⼆値的 (クリスプ) な集合として扱われ る n 本論⽂では、各ノードに対して「境界へのメンバーシップ値」を連続的に付与 n クラスタ中⼼からの距離などに基づき、境界近傍ノードに⾼いメンバーシップを 与える n これにより、⼩さな局所グループや孤⽴ノードも柔軟に境界へ取り込むことが可 能となる
12. 12 SOKENDAI ステップ3-1: ファジィ境界構成 (Construction) n クラスタ中⼼とノード表現の距離に基づき、メンバーシップ関数 (ガウス型) を定義 n 元のクリスプ境界を外側に拡張し、局所グループ同⼠を接続す る「橋渡し領域」を形成 n 境界付近のノードをファジィポジティブとして扱い、学習中に積 極的に利⽤ n 同⼀クラス内のグループ間のギャップを埋め、散逸した表現を再 びつなぎ直す
13. 13 SOKENDAI ステップ3-2: ファジィ境界収縮 (Contraction) n プロトタイプに対するプロトタイプ型コントラスト損失 L_pro を導⼊ n ファジィ境界内のサンプル・局所グループを⾃クラスプロトタイプに引き寄せ、他 クラスプロトタイプから遠ざける n これにより、局所グループと孤⽴ノードがクラスタ中⼼の周りに再凝集 n 結果として、⾼いクラス内コンパクトさとクラス間分離を同時に実現する表現分 布が形成される
14. 14 SOKENDAI 学習⽬的: 再構成損失とプロトタイプコントラスト損失 n 最終損失関数: L = L_pro + α · L_rec n L_rec: GAE によるノード属性再構成損失 (情報保持を促す) n L_pro: プロトタイプを介したコントラスト損失 (クラスタ構造の整形を促す) n α は、再構成と境界整形のバランスを制御するハイパーパラメータ n 事前学習 (GAE) 後にクラスタリングとファジィ境界学習を段階的に⾏う学習 戦略を採⽤
15. 15 SOKENDAI 実験設定: データセットとベースライン n 7つの公開グラフデータセットを使⽤: Cora, Citeseer, Pubmed, DBLP, ogbn-arxiv, Amazon-Photo, Amazon-Computers など n ベースライン: DeepWalk, DGI, GMI, GRACE, GCA, COAST, AFGRL, iGCL, NCLA, GREET, HomoGCL, PiGCL, SGRL など n 下流タスク: ノード分類 (線形プローブ) とノードクラスタリング (K-means) n 評価指標: 分類精度，Acc / NMI / ARI / Macro-F1 などの標準指標 を採⽤
16. 16 SOKENDAI 結果1: ノード分類性能 n 全てのデータセットで既存 GCL と同等以上の性能を達成 n Citeseer, Amazon-Photo, Amazon-Computers など，難 しいデータセットで SOTA を更新 n 局所凝集性・⼤域的疎性を緩和することで、複雑な構造をもつグラ フでもロバストな表現を獲得
17. 17 SOKENDAI 結果2: ノードクラスタリング性能 n 4つのデータセットで，Acc / MaF1 / NMI(相互情報量) / ARI( 修正ランド指数) が強⼒なベースラインを上回る n クラスタ内のまとまり (コンパクトさ) が顕著に向上し、クラス境界がよ り明瞭に n クラスタリング性能の向上は、表現空間におけるクラスタ構造が理想 的な形に近づいていることを⽰唆
18. 18 SOKENDAI 結果3: Local Cohesion / Global Sparseness の定量評価 n 新しい指標を定義: Mean Groups (MGs) と Total Isolated Nodes (TINs) n DBSCAN により、各クラス内の独⽴グループ数と孤⽴ノード数を計測 n MGs → 1 に近いほど、同⼀クラス内のグループ数が少なく、局所凝集性が 緩和されている n TINs → 0 に近いほど、孤⽴ノードが少なく、⼤域的疎性が緩和されている n 提案⼿法は MGs と TINs の両⽅で最⼩値を達成し、設計⽬的が達成さ れていることを定量的に⽰す
19. 19 SOKENDAI 本論⽂と 10⽉末紹介のSGRLの関係 n SGRL (“Exploitation of a Latent Mechanism in Graph Contrastive Learning: Representation Scattering”) は、GCL で⾃然に⽣じる "representation scattering" を解析した研究 n SGRL は、トポロジー制約付きの散逸により「グローバルには散らしつつ、ローカルな意味的 まとまり」を維持することを⽬指す n 本論⽂ (ファジィ境界) は、その延⻑として，散逸した表現分布における「局所グループ」と 「孤⽴ノード」に着⽬し、クラスタ境界そのものをファジィ集合として再設計 n SGRL が散逸の「原因とメリット」を分析したのに対し、本論⽂は散逸の「副作⽤」である局 所凝集性・⼤域的疎性を、ファジィ境界の構成・収縮によって補正するという位置づけ n 実験では、SGRL を含む最新 GCL と⽐較し、クラスタ構造の定量指標 (MGs, TINs) でも優位性を⽰している
20. 20 SOKENDAI まとめ n GCL には、局所凝集性と⼤域的疎性という潜在的な⽋点が存在し，理想的なクラス構 造を損なう可能性がある n 本論⽂は、クラスタ境界をファジィ集合として再定義し、「境界を広げてから締める」という⼆ 段階で表現分布を再整形する枠組みを提案した n Graph Auto-Encoder + ファジィ境界 + プロトタイプコントラストにより，⾼いクラス内コ ンパクトさとクラス間分離を両⽴し、ノード分類・クラスタリングで SOTA レベルの性能を達 成 n Mean Groups / Total Isolated Nodes による定量評価により、局所凝集性・⼤域 的疎性の緩和効果が明確に⽰された