論文紹介: Multi-task DAG Learning for Multi-modal Data

研究室の勉強会に使用した資料

Transcript

1. MM-DAG: Multi-task DAG Learning for Multi-modal Data - with Application for Traffic Congestion Analysis 2025.05.29 ⼤阪⼤学 産業科学研究所 千原 直⼰
2. 紹介する論⽂ 2025.05.29 © 2025 Naoki Chihara et al. 2 • KDD 2023 に採択された論⽂
3. Summary 複雑なシステムから得られる multi-modal なデータから 因果関係を学習するための multi-task learning • スカラー / ベクトル / 関数という複数種類のデータ間の線形な因果 関係を表現可能である • 重複していないノードが含まれていてもDAGの違いを評価可能な新 たなスコア関数を提供 • 提案⼿法を交通データに対して適⽤して、交通の意思決定に関する 価値ある知⾒を取得 2025.05.29 © 2025 Naoki Chihara et al. 3
4. Challenges in this work 本研究における課題は以下の３つ Ø Multi-modal • スカラー / ベクトル / 関数 Ø Multi-task • 因果なら multi-context と呼称されている⽅が多いがする • 信号のある交差点 vs ない交差点 • 静的だが異なるデータの特性は異なる因果関係を持つという考え Ø Overlapping and Distinct variables • タスク毎にノードが統⼀されていない • 信号機の点滅周期 2025.05.29 © 2025 Naoki Chihara et al. 4
5. Challenges in this work 本研究における課題は以下の３つ Ø Multi-modal • スカラー / ベクトル / 関数 Ø Multi-task • 因果なら multi-context と呼称されている⽅が多いがする • 信号のある交差点 vs ない交差点 • 静的だが異なるデータの特性は異なる因果関係を持つという考え Ø Overlapping and Distinct variables • タスク毎にノードが統⼀されていない • 信号機の点滅周期 2025.05.29 © 2025 Naoki Chihara et al. 5 例：１⽇の⾞の速度曲線 𝑣 𝑡 ※ 実際に得られるデータは有限次元 ※ 関数データとして扱いたいかどうか ※ 特徴：なめらか，稠密
6. 本研究における課題は以下の３つ Ø Multi-modal • スカラー / ベクトル / 関数 Ø Multi-task • 因果なら multi-context と呼称されている⽅が多いがする • 信号のある交差点 vs ない交差点 • 静的だが異なるデータの特性は異なる因果関係を持つという考え Ø Overlapping and Distinct variables • タスク毎にノードが統⼀されていない • 信号機の点滅周期 Challenges in this work 2025.05.29 © 2025 Naoki Chihara et al. 6
7. Challenges in this work 本研究における課題は以下の３つ Ø Multi-modal • スカラー / ベクトル / 関数 Ø Multi-task • 因果なら multi-context と呼称されている⽅が多いがする • 信号のある交差点 vs ない交差点 • 静的だが異なるデータの特性は異なる因果関係を持つという考え Ø Overlapping and Distinct variables • タスク毎にノードが統⼀されていない • 信号機の点滅周期 2025.05.29 © 2025 Naoki Chihara et al. 7 Figure 1: Overview of MM-DAG
8. Challenges in this work 本研究における課題は以下の３つ Ø Multi-modal • スカラー / ベクトル / 関数 Ø Multi-task • 因果なら multi-context と呼称されている⽅が多いがする • 信号のある交差点 vs ない交差点 • 静的だが異なるデータの特性は異なる因果関係を持つという考え Ø Overlapping and Distinct variables • タスク毎にノードが統⼀されていない • 信号機の点滅周期 2025.05.29 © 2025 Naoki Chihara et al. 8 Figure 1: Overview of MM-DAG
9. Notations • 𝐿：タスクの数 • 𝑃!：タスク 𝑙 に対応するノードの数 • 𝒱!：タスク 𝑙 に対応するノード集合 • 𝑥# $ ∈ ℝ%! " ：タスク 𝑙 における 𝑗 番⽬のノードのデータ • 𝑇! " の次元に合わせてスカラー / ベクトル / 関数データが分かれる • 𝒢$ = 𝒱$ , ℰ$ ：タスク 𝑙 に対応するグラフ 2025.05.29 © 2025 Naoki Chihara et al. 9
10. Multi-mode DAG with Known Structure 最初は Single-task learning の場合を考える 2025.05.29 © 2025 Naoki Chihara et al. 10 Q. どうやって表現する？ A. 拡張ベイジアンネットワークと４種類の回帰式
11. Multi-mode DAG with Known Structure 最初は Single-task learning の場合を考える 𝑝 𝑥" , … , 𝑥# = + $%" # 𝑝 𝑥$ | 𝑝𝑎$ • Bayesian network で因果を表現している Ø 𝑝 𝑥# | 𝑝𝑎# を重回帰でモデリングする 𝑥$ = / $!∈'(" ℓ$!$ 𝑥$! + 𝑒$ • ℓ$!$ ：線形変換 2025.05.29 © 2025 Naoki Chihara et al. 11 Markov条件の仮定
12. Multi-mode DAG with Known Structure 回帰式はデータの特性に沿って４種類必要 2025.05.29 © 2025 Naoki Chihara et al. 12 • 通常の回帰でモデリング • ℓ!!! : 𝑇!" → 𝑇!
13. Multi-mode DAG with Known Structure 回帰式はデータの特性に沿って４種類必要 2025.05.29 © 2025 Naoki Chihara et al. 13 • 係数の役割をする関数 𝛾!!!# 𝑠 : ℝ → ℝ を⽤いる • 無限の情報の圧縮 ⇨ 関数の内積の計算
14. Multi-mode DAG with Known Structure 回帰式はデータの特性に沿って４種類必要 2025.05.29 © 2025 Naoki Chihara et al. 14 • 影響先が関数データ ⇨ 無限の影響を考えてやっとデータが構成される • 近傍への影響は類似するはず ⇨ 係数が関数
15. Multi-mode DAG with Known Structure 回帰式はデータの特性に沿って４種類必要 2025.05.29 © 2025 Naoki Chihara et al. 15 • ⼊⼒の無限のデータを内積で圧縮したものを 無限に⽤意する ⇨ 係数が⼊⼒が２つの関数になる
16. © 2025 Naoki Chihara et al. Multi-mode DAG with Known Structure 回帰式はデータの特性に沿って４種類必要 2025.05.29 基底の数 基底関数 Functional PCA • 関数データ 𝑥! 𝑡 を 𝐾! < ∞ 次元のベクトルで表現 Ø Case 1 の解き⽅と統⼀できる 16
17. © 2025 Naoki Chihara et al. Multi-mode DAG with Known Structure 回帰式はデータの特性に沿って４種類必要 2025.05.29 17 これまでの話を統合する エッジの強さ (⾏列) 上記の式を線形の構造因果モデルとしてみなす = 𝐚(%) 𝐚(%) 𝐂 𝐶𝟐𝟏 𝐶𝟑𝟏 𝐶𝟑𝟐 𝑀 = 5, 𝑃 = 3
18. Multi-task Learning of Multi-mode DAG １つのタスクが存在する状況における最適化 2025.05.29 © 2025 Naoki Chihara et al. 18 重み⾏列 𝐖 ， 最⼩⼆乗誤差 正則化 ⾮巡回制約
19. Multi-task Learning of Multi-mode DAG 複数のタスクが存在する状況における最適化 2025.05.29 © 2025 Naoki Chihara et al. 19 ， : Differentiable Causal Difference 最⼩⼆乗誤差 過度な構造の乖離の防⽌ 正則化 ⾮巡回制約
20. Design the Causal Difference 因果構造の差分を意味する微分可能な指標 DCD について Ø 既存の指標：Matrix distance • 𝒢< または 𝒢= どちらか⼀⽅のものでしかないエッジの数 • ノード集合が同じもの同⼠のグラフの⽐較しかできない 2025.05.29 © 2025 Naoki Chihara et al. 20 😢
21. Design the Causal Difference 因果構造の差分を意味する微分可能な指標 DCD について 2025.05.29 © 2025 Naoki Chihara et al. 21 ：値が⼩さいほど根ノードに近いことを⽰す • 因果順序 𝜋 によって親⼦関係が判断できない部分は 0.5 として考える • 疑似相関として妥当に⽣じてしまうエッジにペナルティを設けないようにした
22. Design the Causal Difference 因果構造の差分を意味する微分可能な指標 DCD について 2025.05.29 © 2025 Naoki Chihara et al. 22 新たな差分の定量化の定義 • 因果順序 𝜋 によって親⼦関係が判断できな い部分は 0.5 として考える • 疑似相関として妥当に⽣じてしまうエッジ にペナルティを設けないようにした
23. Design the Causal Difference 提案した差分 CD の Topological な解釈について 2025.05.29 © 2025 Naoki Chihara et al. 23 あるノード集合 𝒱 を持つグラフを想定して考え得る全ての 𝒯∗ で構成された集合 • エッジの組み合わせの１つを１つの点として捉えた空間を考える 定義した空間 𝒦𝒱 は Kolmogrov 空間であると⾔える
24. Design the Causal Difference 提案した差分 CD の Topological な解釈について 2025.05.29 © 2025 Naoki Chihara et al. 24 空間 𝒦𝒱 に対して距離‧射影を定義できる • 𝒦𝒱 が Kolmogrov 空間であるおかげ？（∵ Lemma 1）
25. Design the Causal Difference 提案した差分 CD の Topological な解釈について 2025.05.29 © 2025 Naoki Chihara et al. 25 定義２で得た CD が空間 𝒦𝒱%∩𝒱& 上における距離 であるということが証明された • 共通のノードで構成された新たな Kolmogrov 空間 𝒦𝒱%∩𝒱& に点 (DAG) を射影して、同⼀空 間上で扱える • 距離が⾃然に導⼊されている
26. Design the Causal Difference 提案した差分 CD の Topological な解釈について 2025.05.29 © 2025 Naoki Chihara et al. 26 微分できた⽅が嬉しいので、 シグモイド函数を使って 不連続部分を補完 元の距離の話を損っていない • ⼗分⼤きい c を⽤いるのが⼤事
27. Structural Learning Algorithm 拡張ラグランジュによる最適化 • NOTEARS で使われているものと全く同じ（なはず） 2025.05.29 © 2025 Naoki Chihara et al. 27 等式制約の書き換え
28. Experiments ベースライン • Separate: Single-task learning を タスクの数だけ⾏う • Order-consistency: タスク間の因果 順序が等しいことを仮定 • 既存⼿法っぽい • MV-DAG: 関数データを平均値による 離散化によりベクトル化 • Matrix-Difference: 既存の Δ を使⽤ • MM-DAG: 提案⼿法 2025.05.29 © 2025 Naoki Chihara et al. 28
29. Experiments 渋滞の原因分析 Ø データセット 2025.05.29 © 2025 Naoki Chihara et al. 29 ü 移動量が渋滞の⼤きな影響である ü 信号の周期は影響を与えない