拡散モデルを用いた時系列データの欠損補間

2023年3月2日 第49回IBISML研究会 招待講演資料

Transcript

1. IBISML企画招待講演 拡散モデルを用いた 時系列データの欠損補間 発表者：田代 雄介 （三菱UFJトラスト投資工学研究所 (MTEC) ) e-mail: tashiro@mtec-institute.co.jp 2023年3月2日 第49回IBISML研究会 ※本発表の内容は報告者個人の見解であり、所属組織の公式見解ではありません
2. • 三菱UFJトラスト投資工学研究所 (MTEC) 主任研究員 – 三菱UFJ信託銀行グループ100%保有の研究所 • 定量的な資産運用やリスク管理のための研究やモデル開発が主要業務 • 近年は金融データ分析全般に業務を拡大し、機械学習も積極的に活用 – 個人としては最近は機械学習関連PJ中心に従事 自己紹介 2 • 2019-2021：スタンフォード大学 Computer Science Departmentへ客員研究員として派遣 – Stefano Ermon先生の研究室に所属し、機械学習の 研究に取り組む • 拡散モデルに早期から取り組んでいた研究室の1つ – 機械学習の国際学会NeurIPSで論文発表 • 2020年: 機械学習安全性, 2021年: 時系列欠損補間
3. • 拡散モデルの応用先の1つとして、時系列欠損補間への適用を紹介 本日の内容 3 Yang et al. Diffusion Models: A Comprehensive Survey of Methods and Applications (2022) より引用
4. • 拡散モデルの応用先の1つとして、時系列欠損補間への適用を紹介 – 以下の論文の内容を中心に紹介 – Tashiro et al., CSDI: Conditional Score-based Diffusion Models for Probabilistic Time Series Imputation. NeurIPS’21 • アジェンダ – 背景 – 既存の時系列欠損補間手法 – 拡散モデルによる欠損補間 – モデルの評価（実験結果） – 発展・応用例、他ドメインでの事例 本日の内容 4
5. • 実社会には様々な分野の時系列データが存在 – 金融、医療、交通、気象、etc. • 時系列データには様々な原因で欠損が生じうる – 原因： 計測コスト、センサの故障、人的エラー、etc. 背景とモチベーション 5 Silva et al. (2010) より引用 例：ICUでの各項目の観測データ
6. • 時系列の欠損値を補間する方法の研究は古くから活発 – 値を知ることで知見を得たい – 補間した時系列データを用いて別のタスクを考えたい（例：健康状態の 予測等、何らかの将来予測） • 本日考えるタスク：多変量時系列の欠損補間 背景とモチベーション 6 入力：一部の観測値 出力：欠損値の補間 長さL K 本の系列
7. • 単純な欠損補間手法（平均値、直近値など） • 伝統的な欠損補間手法 – k-近傍法, 状態空間モデル, ガウス過程 , 行列分解(Matrix Factorization), etc. • 深層学習を用いたアプローチ – RNN, Attention, GAN, VAE, etc. 時系列欠損補間の既存手法 7 例: RNNによる補間 欠損がある時点においては前のステップ の推定値を入力値として学習 Cao et al. (2018) より引用
8. • 深層学習を用いた既存手法の多くは、欠損補間の不確実性を捉える ことが不得手 – 例えば右図の補間は左図よりも不確実性が高いと考えられるが、点補間 では違いを表現することができない • GANやVAEといった生成モデルを用いた補間手法も存在するが、既存手法は不確実 性をうまく捉えられていないものが多い • 精度が良い生成モデルの活用で不確実性を捉えたい 時系列欠損補間の既存手法 8
9. • 2020年頃から注目度が拡大している生成モデル – 代表例：denoising diffusion probabilistic model(DDPM) (Ho et al. (2020)) • forward processとreverse processで構成される。後者のモデルを学習 • 生成の際は reverse processによるサンプリングを繰り返すことで、ノイズを徐々に データへと近づけていく – 確率密度関数のスコア ∇ log ( ) に関連することから、スコアベース 生成モデルとも呼ばれる 拡散モデル (Diffusion model) 9 reverse process forward process 生成（推論）の各ステップでは、reverse processで少しずつノイズを除去
10. • 大きく分けて２種類のアプローチが存在 • アプローチ1: 生成のために学習された拡散モデルを欠損補間に適 用（非条件付き拡散モデルによる方法） – モデルを補間用に再学習する必要がない • アプローチ2: 部分的な観測データを入力とする条件付き拡散モデル を学習して利用 拡散モデルを用いた欠損補間 10
11. • 生成用の拡散モデルに合わせた入力を利用 (Song et al. (2021)) – 例：DDPMを利用した画像欠損補間 • ステップ における補間を考える 非条件付き拡散モデルによる欠損補間 11 観測データ 単純な結合は に入力できない （ の分布から乖離）
12. • 生成用の拡散モデルに合わせた入力を利用 (Song et al. (2021)) – 例：DDPMを利用した画像欠損補間 非条件付き拡散モデルによる欠損補間 12 観測データ 不要部分を除去 forward process ( ∣ ) で観測にノイズを加える ( ∣ ) でノイズ除去
13. • 欠点：欠損補間に用いる観測情報が毀損している – 精度の良い補間を目指すならば、観測をそのまま補間に活用したい 非条件付き拡散モデルによる欠損補間 13 観測データ ノイズを加えることで情報が毀損
14. • Conditional Score-based Diffusion model for time series Imputation (CSDI) – 時系列の部分観測が与えられたとき、部分観測を陽に入力として用いて 残りの欠損部分を生成する 条件付き拡散モデルを用いた欠損補間 14
15. • 条件付きモデルによる時系列欠損補間のポイント – 学習方法 • 非条件付きモデルの学習方法を、部分観測を入力し欠損補間を学習 できるように拡張 – モデルアーキテクチャ • 多変量時系列に合わせた構造 – 推論方法 • 非条件付きのモデルと同様の手法を適用 条件付き拡散モデルを用いた欠損補間 15
16. • 前提：非条件付き拡散モデルの学習方法 – DDPMなどで用いられる拡散モデルのパラメータ推定問題(ELBO最大化) はデータに加えたノイズ量の予測問題として解くことが可能 モデル：学習方法 16 学習データ denoising function ( , ) ノイズ + ノイズの大きさレベル ノイジー入力 ノイズ推定値 − , を最小化
17. モデル：学習方法 • 条件付き拡散モデル（CSDI）の学習方法 – 言語モデル学習などに用いられる自己教師学習のフレームワークを活用 17 条件付き観測 学習データ 補間ターゲット 分割 ノイジー入力 denoising function ( , t| ) ノイズ + ノイズのレベル ノイズ推定値 − ( , t| ) を最小化
18. モデル：学習方法 • 観測される欠損パターンはランダムとは限らない – 例：PM2.5の観測データ @ 北京 (白抜きの部分が欠損を表す) • 学習時にランダムな分割を行うだけだと、実際の欠損パターンを捉えられない – 対処法：学習のデータ分割時、他の学習サンプルに含まれる欠損パター ンによる分割をランダム分割と併用し、多様なパターンを学習 18 時刻 場所 1地点の 連続欠損 複数の地点が同時に連続欠損 1地点の 単発欠損
19. （参考）モデル：アーキテクチャ • denoising function ( , ∣ ) の全体像 19
20. モデル：アーキテクチャ • マスク情報の入力 – 条件付き観測や補間ターゲットの分割は動的に変わるため、実装上は K特徴量 x L時点の２次元データとして入力 • マスクによって条件付き観測のインデックスを明示化 • ２次元のアテンション機構を活用した改良 – K特徴量 x L時点のデータなので、それぞれの方向にAttentionを適用する 20 K 特徴量 L 系列長 C チャネル 時間方向の関係を学習 特徴量間の関係を学習 × 複数回
21. • 非条件付き拡散モデルの推論と同様の方法を適用可能 モデル：推論方法 21 「推定したノイズを取り除き、誤差項を加える」 を繰り返す (Langevin dynamics) 非条件付き拡散モデル (DDPMの場合) 条件付き拡散モデル (CSDI) = 1/ − ( , ∣ ) + 誤差関数部分を条件付きのものに置換
22. 実験による評価 • 各時系列に対して100回補間を行い確率分布を作り、その分布の 良さを評価 – 定性：見た目の当てはまりの良さの比較 – 定量：分布評価の指標の比較 • 対象データ – データ1: 気象 (PM2.5 の観測データ in 北京, 36地点, 36時間) • 正解データの欠損パターンはランダムでない – データ2: 医療 (ICUの計測データ, 35変数, 48時間) • 欠損の正解データは存在しない – ランダムに観測データをテストデータから取り除いて正解データとする – データ3: 交通 (サンフランシスコの交通量データ, 963地点, 192時間) 22
23. 定性評価: 気象データ(PM2.5) • 補間サンプルの比較 (赤: 観測値, 青: 補間対象。１地点のみを抜粋) – 条件付きモデルで生成した確率分布が補間対象を捉えている – 時点10-20では自信のある補間、時点20-30では幅をもった補間 • 次ページに見るように、他の地点の時系列との相関を捉えた補間となっている 23 緑：条件付き拡散モデルによる補間 灰：非条件付き拡散モデルによる補間 （線はmedian, 影は5%-95%パーセンタイル) 時間(1時間毎)
24. （参考）気象データの別地点の補間 – 前ページは赤枠部分を抜き出したもの 24
25. 定性評価: 医療データ (ICU観測値) • 補間サンプルの比較 (赤: 観測値, 青: 補間対象。１特徴のみを抜粋) – 条件付きモデルで生成した確率分布が補間対象を捉えている – 生成した確率分布は裾の厚さや非対称性を捉えた補間が可能 • 正規分布などによるパラメトリックな分布での補間では表現できない 25 緑：条件付き拡散モデルによる補間 灰：非条件付き拡散モデルによる補間 （線はmedian, 影は5%-95%パーセンタイル) 時間(1時間毎) 値
26. （参考）医療データの別の特徴量の補間 – 前ページは赤枠部分を抜き出したもの 26
27. 定性評価: 交通データ • 時系列予測は欠損補間の一種と見なすことができる – 過去の観測を条件として、将来の値を補間（左図） – 右図：予測サンプル (赤: 観測値, 青: 予測対象。１地点のみを抜粋) • 時系列の周期パターンを捉えた予測ができている 27 … ? ある地点の交通量予測 (サンフランシスコ) (1時間毎) 緑：条件付き拡散モデルによる補間 （線はmedian, 影は5%-95%パーセンタイル)
28. 定量的な評価 • 分布のあてはまりの良さ、分布の中央値の補間の良さを比較 – 非条件付きモデルや他手法に比べて精度向上 28 CRPS (分布の比較) MAE (補間値の比較) ※拡散モデルは100サンプルの中 央値と正解値との誤差。小さいほ ど良い ※各手法の分布は100サンプル 生成して評価。小さいほど良い
29. （参考）CRPSの定義 • CRPS (continuous ranked probability score) 29 確率 1 0 累積分布 関数 観測値 値 CRPS (continuous ranked probability score): 斜線部の面積で計算される、分布フィットを表す指標 （観測値をシャープに捉える分布ほど値が小さい）
30. • アーキテクチャを改良した後続研究が存在 – 時点間の依存関係の改良 • S4 (長い系列に適した状態空間モデル) の導入 (Alcaraz and Strodthoff 2022) – 時系列の間の依存関係の改良 • グラフ深層学習の導入 (Wen et al. 2023) 発展・応用例：モデルアーキテクチャの改良 30
31. • 拡散モデルによる株価時系列の生成例の紹介 – 生成モデルによりリアルな株価生成ができると、シミュレーション等に応 用しうる 発展・応用例：株価時系列データの生成 31 観点1: 分布の裾の厚さを反映した株価生成 ⇨ 株価の変化率は、正規分布に比べて裾が厚いことが知られている 株価変化率（日次） 頻度 赤：観測値 青：生成値 生成 変化率 の分布 を確認
32. • 拡散モデルによる株価時系列の生成例の紹介 – 生成モデルによりリアルな株価生成ができると、シミュレーション等に応 用しうる 発展・応用例：株価時系列データの生成 32 観点2：時系列の相関を捉えた株価生成 観点3: イベントの影響を捉えた株価生成 生成 イベントフラグ (決算発表) 生成
33. • 条件付き拡散モデルを欠損補間や着色に応用 (Saharia et al. 2022) – 学習方法は時系列での方法と類似（ランダムなマスクを利用して学習） 他領域：画像の欠損補間 33 Saharia et al., Palette: Image-to-Image Diffusion Models. (2022)
34. • 条件付き拡散モデルをビデオ生成に応用 (Harvey et al. 2022) – 起こり得そうな欠損パターンを作成し学習に利用 他領域：ビデオの補間・生成 34 Harvey et al. Flexible Diffusion Modeling of Long Videos. (2022)
35. • CSDIをテーブルデータに応用 (Zheng and Charoenphakdee 2022) – テーブルデータを長さ1の多変量時系列と見なすことで基本的に適用可能 • モデル上の違いは、カテゴリカルデータの数値変換を行っている部分など 他領域：テーブルデータの欠損補間 35 Zheng and Charoenphakdee., Diffusion models for missing value imputation in tabular data. (2022)
36. • 拡散モデルの応用例として、時系列欠損補間への適用を紹介 – 拡散モデルを条件付きに拡張して学習することで、非条件付き拡散モデル に比べて精度良いモデルを実現 • 自己教師学習のフレームワークを用いて欠損パターンに対応した補間を学習 – 他のドメインでも条件付き補間の事例が増えている • 余談：拡散モデル研究について – 最近目立つ大規模モデルでなくとも、拡散モデルは活用可能 • GANなどと比べて学習も安定しており、応用に取り組みやすい • 生成が遅いのが欠点だが、高速化の研究も進んで緩和された まとめ 36
37. • Alcaraz and Strodthoff , Diffusion-based Time Series Imputation and Forecasting with Structured State Space Models. 2022. • Cao et al., BRITS: Bidirectional Recurrent Imputation for Time Series. 2018. • Harvey et al. Flexible Diffusion Modeling of Long Videos. 2022. • Ho et al., Denoising Diffusion Probabilistic Models. 2020. • Saharia et al., Palette: Image-to-Image Diffusion Models. 2022. • Silva et al., Predicting In-Hospital Mortality of ICU Patients: The PhysioNet/Computing in Cardiology Challenge 2012. 2010. • Song et al., Score-Based Generative Modeling through Stochastic Differential Equations. 2021. • Tashiro et al., CSDI: Conditional Score-based Diffusion Models for Probabilistic Time Series Imputation. 2021. • Wen et al., DiffSTG: Probabilistic Spatio-Temporal Graph Forecasting with Denoising Diffusion Models. 2023. • Yang et al., Diffusion Models: A Comprehensive Survey of Methods and Applications. 2022. • Zheng and Charoenphakdee., Diffusion models for missing value imputation in tabular data. 2022. 参考文献 37