Architecture_Matters_251125_1.pdf

Transcript

1. 1 SOKENDAI SOKENDAI Architecture Matters: Uncovering Implicit Mechanisms in Graph Contrastive Learning ( NeurIPS 2023) の紹介 君野 史明
2. 2 SOKENDAI ⾃⼰紹介 n 名前︓君野 史明（きみの ふみあき） n 所属︓総合研究⼤学院⼤学 情報学コース D1 n 専⾨︓ グラフ対照学習 グラフ表現学習
3. 3 SOKENDAI 動機と問題設定 n 対⽐学習は画像で成功→グラフへ転⽤（GCL） n しかしVCLの常識がGCLでも成り⽴つとは限らない n 本研究: GCLの“暗黙のバイアス”を理論+実験で解明 n 本研究における⼊⼒はG=(V, E)で、出⼒は、埋め込みHである。
4. 4 SOKENDAI 本論⽂の主張（要点） n ① 正例（positive）が無くてもGCLは機能する（多くの設定で性能維持 ） n ② 負例（negative）無しでも“グラフ分類”は良好、ノード分類は⼯夫が 必要 n ③ データ拡張への依存が⼩さく、ガウス雑⾳でも⼗分に学習可能 l ※ 画像の対⽐学習(VCL)とは対照的な振る舞い
5. 5 SOKENDAI 背景︓対⽐学習の基本（Alignment / Uniformity） n InfoNCE損失は正例の“整合（Alignment）”と負例の“均⼀化 （Uniformity）”に分解可 n VCL: 正例・負例・⼊念なデータ拡張が不可⽋という通説 n GCL: グラフ構造×GNNが相互作⽤し、この通説が崩れる
6. 6 SOKENDAI 観察①︓正例なしでも動く（Positive-free GCL） n 多様な⼿法（GRACE/GCA/ProGCL 等）と複数データセットで検証 n InfoNCEと“正例無し（Uniformityのみ）”の性能差が⼩さい例が多数 n ⼀⽅、MLPバックボーンではこの性質は消失 → GC(Convolution)Nの役 割が鍵
7. 7 SOKENDAI 理論①︓GraphConvは“近傍整合”を暗黙に最⼩化 n GraphConvは隣接ノードの特徴を近づける（スムージング） n 理論︓GraphConvの1ステップ更新 ≒ 近傍誘導のAlignment損失 を減少 n → 同質的（homophily）なグラフでは“近傍=良質な正例”として機能
8. 8 SOKENDAI 観察②︓負例なしでも“グラフ分類”は学べる n VCLでは負例無し＝崩壊（全ベクトル⼀定）になりやすい n GCL（グラフ分類）では正例のみでも競合性能に到達 n 鍵︓投影ヘッドg(·)が低ランク部分空間を選ぶ“受け⽫”として崩壊を吸収 （崩壊（rank collapse）は主にZ-空間で起きる バックボーン表現Hの多様性はある程度守られる）
9. 9 SOKENDAI 理論②︓投影ヘッドは“低ランク選択”で崩壊を隔離 n 表現H（エンコーダ出⼒）とZ（投影後）を⽐較 → Zの類似度が⾼くランク が低い n 下流では投影ヘッドを捨てHを使うため、学習時のZ崩壊は下流性能に 直結しない n 投影ヘッドを外すとH*のランクは中間に位置（実験的観察）
10. 10 SOKENDAI 観察③︓ノード分類では負例無しで“崩壊”が発⽣ n ノード毎に表現が同⼀点へと収束（H, Zともに類似度→1） n 局所（⼀ノード）の整合を全ノードで満たすにはエンコーダ側の崩壊が 起きやすい n → グラフ分類と異なり、追加の⼯夫が必要
11. 11 SOKENDAI 提案（実務的処⽅）︓ContraNormをエンコーダへ導⼊ n ContraNorm: H ← H ­ α D Â H（特徴間の相関に基づく正規化） n 効果︓ノード間の多様性（Uniformity）を暗黙に促進→崩壊を防⽌ n 結果︓負例無しでもノード分類で性能を⼤幅回復（GRACE等で実証）
12. 12 SOKENDAI 理論③︓ContraNormは“近傍誘導のUniformity”を最⼩化 n 定義︓同⼀グラフ内ノード間の近傍誘導Uniformity損失 n 勾配更新（Luniform を H について勾配降下するときの更新）が ContraNormの更新式に⼀致（Theorem 5.1）→ 多様性を押し上げ る n GraphConv（整合）＋ContraNorm（均⼀化）＝“暗黙の対⽐学習”
13. 13 SOKENDAI 観察④︓拡張の影響は⼩さい（雑⾳拡張でも強い） n VCL: 強⼒な画像拡張が必須、ガウス雑⾳のみだと激しく性能低下 n GCL: FM+EP（特徴マスク+辺摂動）と“ガウス雑⾳のみ”の差は⼩さい n 理由︓GraphConvによる整合が“拡張弱化”を下⽀え
14. 14 SOKENDAI 実験設計の要点 n ノード分類︓Cora/CiteSeer/PubMed/Photo/Computers 等 n グラフ分類︓MUTAG/PROTEINS/IMDB/REDDIT 等 n ⼿法︓GRACE, GCA, ProGCL, GraphCL, ADGCL, JOAO, InfoGraph, AutoGCL ほか l ※ 線形プロービングで検証。
15. 15 SOKENDAI 結果 n 正例無し︓多くの設定でInfoNCEとの差は限定的 n 負例無し︓グラフ分類では良好、ノード分類は素のままでは困難 n ContraNorm︓負例無しノード分類を実⽤域へ押し上げ
16. 16 SOKENDAI 実務者への⽰唆（設計指針） n GNNの伝播層（GraphConv/ContraNorm）の“暗黙損失”を意識する n 正例・負例・拡張に過度に依存せず、アーキテクチャで補う n 投影ヘッドは“学習時の緩衝材”であり、下流では外す前提で設計
17. 17 SOKENDAI 限界と今後 n 本研究は“新規GCL⼿法の提案”ではなく、役割検証と理論解明にとどまって はいる。 n 他のSSL（マスク予測など）への⼀般化は今後の課題
18. 18 SOKENDAI 論⽂紹介の3つのドキュメントの関係性 n 共通テーマ︓グラフ対⽐学習(GCL)の“暗黙メカニズム”をどう理解・活⽤するか l ① Architecture Matters（PKU, NeurIPS 2023）: GNNの暗黙損失を理論化 l ・GraphConv ≈ 近傍整合（Alignment）を暗黙に最⼩化 l ・ContraNorm ≈ 近傍誘導の均⼀化（Uniformity）→ 正/負/拡張への依存低減 l ② GraphACL（PSUほか, NeurIPS 2023）: 拡張なし・⾮対称予測で実装が簡潔 l ・1-hop⽂脈と2-hopモノフィリーを捉え、異質グラフにも強い l ③ SGRL（TJUほか, NeurIPS 2024）: “表現スキャタリング”で三系統を統⼀ l ・RSM: 中⼼離れ＋⼀様化スキャタリング / TCM: 位相制約で過散逸防⽌ n 位置づけ︓ ②GraphACL＝シンプル実装 ▶ ①Architecture Matters＝なぜ効くかの理論 ▶ ③SGRL＝統⼀概 念と新⼿法（互いに引⽤関係はない） n 対応関係︓GraphConv↔Alignment、ContraNorm/BN↔Uniformity(スキャタリング)、⾮対称予測↔2-hop 類似の誘導 Architecture Matters （暗黙バイアス︓ Alignment/Uniformity） GraphACL （拡張なし・⾮対称予測︓ 1-hop⽂脈＋2-hopモノフィリー） SGRL （表現スキャタリング︓ RSM＋TCMで統⼀）
19. 19 SOKENDAI まとめ n GCLはVCLの常識に従わない︓正例・負例・拡張への依存が⼩さい n 理由︓GraphConv/ContraNormが“近傍整合・均⼀化”を暗黙に実現 しているから n 実務︓投影ヘッドの使い分け＋ContraNorm導⼊で安定・簡潔な設計が 可能