HYPERION_260205_1.pdf

Transcript

1. 1 SOKENDAI SOKENDAI HYPERION: Fine-Grained Hypersphere Alignment for Robust Federated Graph Learning (NeurIPS 2025) の紹介 君野 史明
2. 2 SOKENDAI ⾃⼰紹介 n 名前︓君野 史明（きみの ふみあき） n 所属︓総合研究⼤学院⼤学 情報学コース D1 n 専⾨︓ グラフ対照学習 グラフ表現学習
3. 3 SOKENDAI アジェンダ n ⽬的︓HYPERION の研究課題・⽅法・実験結果を、背景→提案→検証 →議論の順に短時間で理解できる形に整理する。 n 背景︓Federated Graph Learning（FGL）と「ノイズ付きラベル」問題 n 課題︓粗い表現によるノイズ増幅・局所視点の限界 n 提案︓超球⾯表現での fine-grained アライメント（TP-HSL / HS-CNC / GA-HSP） n 実験︓5データセット・複数ノイズ⽐（0.2/0.5/0.7）、主要ベースライン⽐ 較 n 考察︓アブレーション、感度分析、限界と今後
4. 4 SOKENDAI 背景︓FGL とノイズ付きラベル（noisy labels） n Federated Learning（FL）は「データを共有せずに」複数クライアントで学習する枠組 み。 n FGL はグラフ構造（GNN）を対象に拡張する。 n 実運⽤ではラベルノイズが頻出︓ ・アノテーション誤り、バイアス、ドメイン差、⾮i.i.d.(independent and identically distributed) など ・GNN の message passing により誤りが「エッジ経由で伝播」しやすい n 既存の robust FL は「グラフの複雑なトポロジ」を明⽰的に扱わない n 粗い表現の平均化により「正しい信号」と「ノイズ」が混ざる
5. 5 SOKENDAI 研究課題（論⽂の問い） n Q1︓同⼀クラス内でも微妙に異なる構造差を捉えつつ、ノイズに頑健な表現を 学習できるか︖ n Q2︓ノイズが構造（エッジ）を通じて増幅・伝播する問題をどう抑えるか︖ n Q3︓クライアントの「局所視点」では検出できないノイズを、サーバ側でどう精製 して伝播させるか︖ n 鍵になる観点︓ n (1) 表現空間を「⾓度（⽅向）」で⽐較できる超球⾯へ移し、細かな差を分 離 n (2) クライアント側＝安定ノードの選別／サーバ側＝幾何に基づく精製・蒸留
6. 6 SOKENDAI 提案の要点︓HYPERION（統⼀超球⾯空間） n TP-HSL ・（Topological Prototypes） ・クラスごとに複数プロトタイプ ・fine-grained なトポロジ差を表現 n HS-CNC ・ （Consistency Noise Calibration） ・2ビュー整合性で安定ノードを選択 ・ノイズ混⼊を抑制 n ⼊⼒はG=(V,E) (V:Vm={V i=1 Nm})で、出⼒は埋め込みZm : Z={z1 ,z2 …zNm }である(M個の参加者 (mでインデックス付け)) 。
7. 7 SOKENDAI 設定︓ノイズモデルと評価軸 n 評価は 4つの軸で整理（論⽂の Q1〜Q4）︓ n Q1 Superiority（性能） / Q2 Resilience（クライアント数） n Q3 Effectiveness（アブレーション） / Q4 Sensitivity（ハイパーパラメ ータ感度） n ノイズ︓ n uniform noise︓ラベルを⼀様にランダム置換 n pair noise︓特定のクラス対へ置換（真のラベルは固定確率εで特定のペ アクラスにのみ反転でき、確率1 - εで変化しないことを仮定）→（誤りが偏 る）
8. 8 SOKENDAI 鍵アイデア①︓超球⾯（hypersphere）で「⾓度」を学習 n 粗いユークリッド表現では、同⼀クラス内の構造差が平均化されやすい。 → 超球⾯に射影し、⽅向（⾓度）に基づく類似度で fine-grained に分離する。 射影（例）︓ z' = θᵖ(X, A) z = z'/||z'||₂ （単位球⾯へ正規化） → ⾓度差を von Mises-Fisher(vMF)分布で扱える n ⾼次元では「⾓度」が意味的類似度を捉えやすく、特徴量スケールの影響を受けにくい n 結果として、ラベルノイズや構造ゆらぎに対して頑健になりやすい
9. 9 SOKENDAI TP-HSL︓Topological Prototypes Hyperspherical Learning n 単⼀プロトタイプ（中⼼）ではトポロジの多様性を表現しきれない。 → 各クラスに K 個のプロトタイプ（位相サブスペース）を割り当てる。 例︓混合（Mixture）でクラス確率を計算 viewsp(z) = Σₖ ωₖ · Zᴰ(κ) · exp(κ · pₖ · z) p(y= c | z) ∝ Σₖ ωᶜ,ₖ exp(κ · pᶜ,ₖ · z) n 狙い︓同⼀クラス内の「構造差」をプロトタイプ群で吸収し、ノイズの混⼊を抑 える
10. 10 SOKENDAI HS-CNC︓Hyperspherical Consistency Noise Calibration n アイデア︓ クライアント内で「構造・特徴」を摂動した 2つのビューを作り、予測が⼀致するノードを “安定（ clean）” とみなして学習に使う。 n 整合性に基づく損失（概念）︓ L_CNC = Σᵥ 1[ f(G,v)=f(Ĝ,v) ] · L( f(G,v), Y(v) ) （予測が⼀致したノードだけを学習に寄与させる） n 情報ボトルネック観点︓エッジドロップ＝圧縮（接続を刈り取ることで、モデルは⼀貫して摂動に耐 える関係を保持しなければならず、これはタスクに関連するコア構造を反映している可能性が⾼い ） n ノイズ⼀般化観点︓構造化ノイズで「過適合」を抑え(⼤域的な特性は保持するが、壊れやすい 細部へのオーバーフ ィッティングを防ぐ構造化されたノイズを注⼊)、より平坦な最⼩へ誘導
11. 11 SOKENDAI GA-HSP︓Geometric-Aware Hyperspherical Purification（サーバ側） n 課題︓⾮IID分布では各クライアントが局所的にしか⾒えず、ノイズを⾒逃しうる n ⽅針︓サーバ側で「グローバル分布」を使って知識精製（purification）する n ⼿段︓①プロトタイプに基づくクライアント分類（GMM） ②蒸留（Wasserstein） ③Mahalanobis によるノード剪定 n （例）︓ ・Wasserstein distillation︓プロトタイプ次元間の転送コストを最⼩化(DWASを最⼩化 することで、特徴空間内 の近接次元間で確率質量が効果的に再配分され、それによって⼤ 域的なプロトタイプ間の 良性特徴の相関が⾃然に強化される⼀⽅で、異常な特徴の影響が 効果的に減少) ・Mahalanobis︓共分散で正規化した距離で分布外(OOD) を検出し、上位η%を剪定
12. 12 SOKENDAI アルゴリズム全体（Algorithm 1） n Algorithm 1︓クライアント側＋サーバ側の処理 n 各ラウンド︓クライアントで (HS-CNC) 安定ノード選別 → (TP-HSL) プロトタイプ学習 n サーバ︓プロトタイプでクライアント分類（GMM）→ クリーン 側を集約 → 悪性側を蒸留で矯正 n 最後に Mahalanobis による近傍スパース化（剪定）で、⾒ 逃しノイズを削る
13. 13 SOKENDAI 実験設定︓データセット・分割・⽐較対象 n データセット︓Cora / CiteSeer / PubMed / Physics / Amazon_ratings（規模・分布が異なる5種類） n 分割︓train/val/test = 20% / 40% / 40%（固定） n クライアント数︓基本は M=10 n ⽐較︓ ・FL（FedAvg/FedProx/FedNova/MOON） ・FGL（FGSSL/FedTAD/FedGTA）
14. 14 SOKENDAI 主要結果︓SOTA ⽐較（Tab.1） n Tab.1︓5データセット（50% uniform / 50% pair） n 読み取り例︓0.5 ノイズ（上段）で、HYPERION は多数の設定で最⾼ or 次点。 n 例えば Citeseer-uniform では ACC=47.11% とし、最良ベースライン（ 41.93%）を +5.18pt 上回る。
15. 15 SOKENDAI ロバスト性︓ノイズ⽐・クライアント数への耐性 n Figure 3︓20%（軽度）〜70%（重度）ノイズ、クライアント数 5〜20 n 観察（Obs.2）︓ノイズ⽐が上がっても、HYPERION は⼀貫して既存⼿ 法より優位 n ⾼ノイズ環境でも、平均で 8.1%〜10.1% の性能改善が報告される n Resilience︓クライアント数が増えても、FedAvg を少なくとも 13.69% 上 回り、トップベースラインに対しても最低 6% の差を維持
16. 16 SOKENDAI アブレーション︓どの要素が効いているか（Q3） n クライアント側︓L_STR （構造損失）、L_SEM （意味損失）、L_CNC （安定ノ ード選別）を外すと性能が低下 n サーバ側︓Distillation（SD）や Neighborhood Pruning（NP）を外す と顕著に悪化 n 結論︓3要素を組み合わせることで、局所・グローバル双⽅のノイズ耐性が成⽴
17. 17 SOKENDAI 感度分析︓ハイパーパラメータと K（Q4） n Figure 4︓λ/η（GA-HSP）と α/β（TP-HSL） n Figure 5︓K の影響 n λ・η（GA-HSP）は広い範囲で性能影響が⼩さい（安定） n α・β（TP-HSL）は性能に効き、良い範囲（例︓ α∈[0.55,0.6], β∈[0.7,0.75]）が⽰された n K は 1 だと under-learning、3〜4 で改善は頭打ち → 以 降は K=3 を採⽤
18. 18 SOKENDAI 考察︓なぜ効くのか／限界は何か n なぜ効くか︖（整理） ・表現空間︓⾓度ベース（超球⾯）で、微妙な構造差を分離しやすい ・クライアント︓整合性で安定ノードを使い、ノイズ学習を抑える ・サーバ︓幾何（Wasserstein / Mahalanobis）で局所では⾒えないノイズを精製 n 限界（論⽂記載）︓ 現状は主に「クラスラベルノイズ」を対象。 特徴ノイズや adversarial edge perturbations 等は、追加の仕組みが必要になりうる。 n 今後の⽅向性（例）︓ ・他のノイズ型への拡張 ・スケール拡⼤（より⼤規模グラフ／通信効率） ・理論︓プロトタイプ配置と収束の解析強化
19. 19 SOKENDAI まとめ（Takeaways） n HYPERION の結論︓ n 超球⾯空間での fine-grained アライメントにより、ノイズ付き FGL を頑健化する。 ① TP-HSL ・複数プロトタイプで同⼀クラス内の構造差を表現 ・⾓度ベースの類似度で分離 ② HS-CNC ・摂動2ビュー整合性で安定ノードを選別 ・ノイズ混⼊を学習段階で抑制 ③ GA-HSP ・サーバ側で蒸留＋Mahalanobis 剪定 ・局所視点で⾒逃すノイズを精製 n 実験的帰結︓複数データセット・ノイズ⽐で⼀貫して優位（例︓Cora 50%-pair で 29.7%↑ の F1-macro）