DRAGON_260427_1.pdf

Transcript

1. 1 SOKENDAI SOKENDAI Distributed-Order Fractional Graph Operating Network (NeurIPS 2024) の紹介 君野 史明
2. 2 SOKENDAI ⾃⼰紹介 n 名前︓君野 史明（きみの ふみあき） n 所属︓総合研究⼤学院⼤学 情報学コース D1 n 専⾨︓ グラフ対照学習 グラフ表現学習
3. 3 SOKENDAI 1. 研究背景: 連続時間GNNは何を拡張したいのか 連続時間GNNは、メッセージ伝播を微分⽅程式として記述し、層の深さを時間軸に置き換える枠組みとして発展してきた。 しかし、従来モデルの多くは整数階、または単⼀の分数階に依存しており、グラフ上の特徴更新に含まれる複数の記憶スケールを⼗分に表現でき ない。 本論⽂全体での⼊⼒は、⼊⼒: G=(V, W), X)、出⼒: ζ(X(T))（最終的なノード埋め込み: 指定された積分時間 Tまで計算された特徴状態 X(T)を、 デコーダー関数 ζによって変換したもの ）である 。 整数階の連続GNN 例: CGNN, GRAND, GraphCON, CDE 局所的な変化率を前提にした 時間発展 Markov的な更新に近い解釈が 中⼼ 利点: 解析しやすい 単⼀分数階の拡張 FROND は D^α を導⼊し、 履歴依存の記憶効果とロバス ト性向上を⽰した。 ただし、α が⼀つに固定され るため、表せる待ち時間分布 は限定される。 課題: α のチューニングが重い 本論⽂の問い 次数を単⼀点ではなく分布と して学習すれば、 複数の時間スケールを重ねた ノード特徴更新を表現できる のではないか。 DRAGON はこの問いへの⼀般化された 答えである。
4. 4 SOKENDAI 2. 先⾏研究との位置づけ 論⽂の主張は「DRAGONは既存の連続時間GNN群を包含しつつ、記憶表現の⾃由度を増やす⼀般化」である。以下では、各枠組みの違いを4つの観 点で⽐較する。 整数階モデル 次数 1 または 2 局所的で⽐較的単純な 記憶 例: GRAND, CDE, GraphCON TDE-GNN 複数の整数階 ⾼次時間依存を導⼊ ただし分数階の⾮局所 記憶はない FROND 単⼀の実数 α 分数階の記憶効果を導 ⼊ しかし待ち時間分布は 1 つの α に固定 DRAGON 区間 [a,b] 上の分布 μ(α) 複数スケールの記憶 を重ね合わせる 本論⽂の提案 差分の核⼼は、単⼀の最適 α を探すことではなく、次数分布 そのものをデータから学習する点にある。 したがって DRAGON の表現⼒は、複数次数の重ね合わせで⽣ まれる動的更新の豊かさに由来する。
5. 5 SOKENDAI 3. なぜ単⼀の分数階では⾜りないのか 5 著者らは、粘弾性体の古典モデルを⽤いた予測実験で、DRAGON型 の学習器が single-order, multi-order, distributed-order のいずれの ダイナミクスにも対応しやすいことを⽰す。 この⽐較は、DRAGONの「複数次数の重ね合わせ」が単⼀ α よりも 広い⼒学系を吸収できることの直感的な証拠になっている。 • • Maxwell: 単⼀次数モデル • • • Zener: 多項の次数を含むモデル • • • Kelvin‒Voigt: 分布次数モデル • • • DRAGON-NN は 3 例すべてで FROND-NN より ⼩さい MSE を達成 論⽂本⽂では、3 モデルすべてで DRAGON-NN の誤差が FROND-NN より 1 桁程度⼩さいと要約されている。 表1: 構成⽅程式の学習実験
6. 6 SOKENDAI 4. 分数階微分の要点: 記憶を持つ微分 論⽂は Marchaud‒Weyl 分数階微分を導⼊点として使う。重要なのは、現在時刻 t における変化率が、過去の 関数値 f(t-τ) を積分的に参照する⾮局所演算⼦だという点である。 • • τ 全域にわたる積分なので、変化率が履歴全体 に依存する • • • α→1 で通常の⼀次微分に近づく • • • 確率過程の側から⾒ると、待ち時間を伴う non- Markov 過程に対応する 分数階微分は「過去を忘れない微分」であり、ここが通常の連続GNNとの最初の違いである。 論⽂中の解釈 整数階微分が局所変化率を扱うのに対し、 分数階微分は「どれだけ⻑く待ってから跳 ぶか」という待ち時間分布を通じて、履歴 依存を粒度⾼く表現できる。 そのため、複雑な拡散・異常拡散・粘弾性 のような現象と相性がよい。 DRAGON はこの分数階演算⼦を単⼀ α ではなく、 α の分布へ拡張する。
7. 7 SOKENDAI 5. DRAGONの中⼼式 DRAGON の基本⽅程式は、微分次数 α を⼀つ選ぶ代わりに、区間 [a,b] 上の学習可能な測度 μ(α) で積分する。 • • X(t): ノード特徴の時間発展 • • • F(W,X(t)): グラフ上の動的作⽤素 • • • μ(α): 次数ごとの重みを与える学習対象 • • • 単⼀次数ではなく「次数の確率分布」を学ぶ点が本 質 直感図 0 0.25 0.5 0.75 1.0 分布 μ(α) が複数の時間スケー ルに質量を置くほど、 更新ダイナミクスは多様な記憶⻑ を同時に持てる。 従来の FROND は 1 点、DRAGON は「分布全体」を最適化する。
8. 8 SOKENDAI 6. 既存の連続時間GNNをどう包含するか μ(α)=δ(α-1) ⼀次の連続GNN GRAND, CDE など μ(α)=δ(α-α₀) 単⼀分数階 FROND μ が整数点に離散分 布 複数整数階 TDE-GNN [a,b]=[0,2] まで拡 張 ⼆次系も包含 GraphCON の⼀般化 含意: DRAGON は個別モデルを置き換えるというより、連続時間GNNを再記述する抽象レイヤとして働く。 論⽂は DRAGON を「既存モデルの上位概念」として位置づける。μ の取り⽅を変えると、先⾏研究が特別な場合として現れる。
9. 9 SOKENDAI 7. ランダムウォーク解釈: DRAGONは何を記憶しているのか 図1: ⾮Markovグラフランダムウォーク 単⼀の α に対しては、ランダムウォーカー が各ノードで待つ時間が ψ_α(n) ∝ n^{-(1+α)} のべき分布に従う。 つまり、移動は「毎時刻ただちに起こる」の ではなく、待ち時間を伴う。 • • 待つ時間が⻑いほど、過去状態への依存 が強まる • α が変わると、待ち時間分布の減衰の仕⽅ も変わる • DRAGON は複数 α の重ね合わせにより、 単⼀のべき分布ではない柔軟な記憶を表す 「特徴更新の柔軟性」を、待ち時間分布の柔軟性として 読み替えられる点がこの論⽂の美しい部分である。
10. 10 SOKENDAI 8. 理論的含意: 任意の待ち時間分布を近似できる 論⽂の理論的な核は Theorem 2 にある。増加列 (α_m)⊂[0,1] に対し、対応する待ち時間分布 ψ_{α_m} の線形 包は C₀(ℕ) に⼀様収束の意味で稠密になる。 • • 待ち時間分布の基底として ψ_{α} 群が⼗分に 豊かである • • • したがって、DRAGON は単⼀ power-law を 超えた待機パターンを近似できる • • • これは FROND に対する表現⼒上の理論的優 位を与える 研究者向けの読み⽅ この定理は「μ を学ぶと何が嬉しいか」を、 単なる経験的改善ではなく関数近似能⼒とし て裏づける。 特に、グラフ上の特徴更新を待ち時間過程の 混合として解釈することで、連続時間GNNの 表現⼒が動的システムの近似能⼒へ接続され る。 要するに、DRAGON は「どれくらい待ってから情 報が伝わるか」の分布そのものを設計可能にする。
11. 11 SOKENDAI 9. どうやって解くのか: 数値解法と実装 分布次数の微分⽅程式は、そのままでは扱いにくい。論⽂はまず積分を多項和へ近似し、ついで multi-term FDE を既 存の分数階ソルバで解く。 • 区間 [a,b] を補間点 α_j で離散化 • 重み w_j を学習パラメータとして直接最適化 • Caputo 微分を採⽤し、初期条件を⾃然に扱う • Adams‒Bashforth‒Moulton 法などで逐次解く 実装上のポイント • • 実験では α_j を主に [0,1] に 10 点 程度配置 • 既存 continuous GNN の encoder / decoder をそのまま流⽤可能 • FROND で必要だった exhaustive な α の⼿調整を軽減 理論上の⼀般性と実装可能性の両⽅を確保する ために、「連続分布→離散近似→multi-term solver」という三段構えを採っている。
12. 12 SOKENDAI 10. DRAGON化された具体モデル D-GRAND 拡散型の連続GNNを分布 次数へ拡張 ⻑距離依存の捕捉を強化 D-GraphCON 振動⼦ネットワーク型を ⼀般化 1階と2階の間をまたぐ動 ⼒学も視野 D-CDE 対流拡散型の CDE を分 布次数化 異質グラフでの性能向上 を狙う 論⽂は DRAGON を複数の backbone に差し込んで評価する。ここでは 3 つの代表例が⽰される。
13. 13 SOKENDAI 11. 実験設定: 何を検証したのか 実験の⽬的は、DRAGON が「柔軟な記憶効果」を通じて既存 continuous GNN backbone を⼀貫して強化できるかを確かめることにあ る。 ⻑距離依存 • LRGB の Peptides-func • LRGB の Peptides-struct • 分類は AP, 回帰は MAE で評 価 同質グラフ • Cora, Citeseer, Pubmed • CoauthorCS, Computer, Photo, CoauthorPhy • Airport, Disease も含む 異質グラフ • Roman-empire, Wiki-cooc • Minesweeper, Questions, Workers • Amazon-ratings ⽐較対象は、元の backbone, FROND 版, さらに各タスクでの強い既存⼿法である。
14. 14 SOKENDAI 12. 結果① LRGB: ⻑距離依存で強い 表2: LRGB テスト結果 Peptides-func では D-GRAND-l が 0.7571 AP を達成し、 GRAND-l の 0.6962, F-GRAND-l の 0.7126 を上回る。 Peptides-struct でも 0.2461 MAE と最良。 分類では約 +4〜6% の改善、回帰ではより低い MAE を実現。 ⻑距離依存を持つ分⼦グラフで、柔軟な記憶効 果が実効的に働いている。 • 単なる backbone の置換ではなく、 時間発展の設計変更が効いている • ⻑距離伝播が必要な場⾯で DRAGON の価値が⾒えやすい • 論⽂の中⼼主張と最も整合的な結果 群といえる
15. 15 SOKENDAI 13. 結果② 同質グラフ: 既存backboneを⼀貫して上乗せ 15 表3: 同質グラフでのノード分類結果 D-GRAND と D-GraphCON は、多くの データセットで対応する元モデルや FROND 版を上回る。 特に Airport と Disease では改善幅が⼤ きく、⽊構造に近いデータでも柔軟な記 憶が効くことが⽰唆される。 例: Airport では D-GRAND-l が 98.5%、D- GraphCON-l / nl も 98.3% と⾼⽔準。 Disease でも D-GRAND-l と D-GraphCON-l が 93% 台に到達。 • 改善は⼀部データに限らず、複 数 backbone にまたがる • 従って DRAGON の効果はモデル 依存の偶然ではない • 「⼀般化レイヤ」としての位置 づけを経験的に⽀持する
16. 16 SOKENDAI 14. 結果③ 異質グラフ: D-CDEが5/6データセットで改善 表4: 異質グラフでのノード分類結果 異質グラフでは CDE 系列を⽤いて評価される。 論⽂は、D-CDE が 6 つ中 5 つのデータセット で元の CDE および F-CDE を改善したとまと める。 Roman-empire 93.87, Questions 75.53, Workers 83.02, Amazon-ratings 49.43 など、 複数指標で最良または同等の⽔準。 • heterophily では情報伝播⽅向が単純 でないため、時間スケールの混合が特 に効きやすい • DRAGON の利点は⻑距離依存だけで なく、複雑な伝播構造にも及ぶ
17. 17 SOKENDAI 15. 計算量: 表現⼒の代償として何が増えるか 分数階ソルバでは、時間離散ステップごとの履歴和が必要になるため、通常の ODE 系より計算が重くなりやすい。論 ⽂は次の計算量を⽰す。 E = T/h は時間ステップ数、C は backbone の F(W,X) を計算するコス ト。 ⾼速な畳み込み計算を使える場合 • GRAND を⽤いると C ≈ |E|d、GREAD ではより⼤きい • 過去の履歴を保持するため、メモリと時間の両⾯でコス ト増が起こる • ⼀⽅で、α の⼿動チューニングを減らせるなら、探索 コストとのトレードオフとも解釈できる 実⽤上は「性能向上が必要な難しいグラフ課題でのみ使う」の が⾃然で、あらゆる場⾯で常に軽量という主張ではない。
18. 18 SOKENDAI 16. 学術的な評価: 強みと今後の論点 強み • 連続時間GNNを統⼀的に再記述できる • 単⼀ α の細かな⼿調整に依らず、次数分布を直接 学習できる • 待ち時間分布近似という理論的解釈があり、表現 ⼒の源泉が明確 • ⻑距離依存・異質グラフの双⽅で改善を⽰した 今後の論点 • μ(α) の解釈可能性をどう⾼めるか • ソルバの⾼速化と安定化をどう進めるか • より⼤規模なグラフ、時系列グラフ、⽣成モデ ルへ拡張できるか • α>1 の領域や連続⽀持の設計をどう活かすか 学術的には、DRAGON は「新しい1モデル」というより、分数階連続GNNの設計空間そのものを広げた点に価値がある。
19. 19 SOKENDAI 17. ·ͱΊʢTakeawaysʣ 最後に、読みどころを3点に要約する。 1 次数を「値」ではなく「分布」として学ぶ DRAGON の本質は、連続時間GNNの時間発展を distributed-order fractional dynamics へ⼀般化した点にある。 2 待ち時間分布の近似能⼒で表現⼒を説明する Theorem 2 により、柔軟な記憶効果が単なる経験則でなく、待ち時間過程の近似能⼒として意味づけられる。 3 複数 backbone で⼀貫した性能改善を⽰す LRGB、同質グラフ、異質グラフのいずれでも、元モデルや FROND 版を上回る結果が報告されている。 DRAGON は、分数階微分をグラフ学習へ⼊れるだけでなく、連続時間GNNに「学習可能な記憶分布」という設計⾃由 度を持ち込んだ。