論文紹介：TS-RAG: Retrieval-Augmented Generation based Time Series Foundation Models are Stronger Zero-Shot Forecaster

Transcript

1. 2026/7/10 NeurIPS 2025
2. 研究背景 ~ 時系列予測とは︖~ 2 ▶時系列データは⾄る所で利⽤されている ▶予測⼿法の歴史 • 統計モデル(ARIMA) • 機械学習(XGBoost, Random Forest) • 深層学習(LSTM, Transformer) • ⼤規模事前学習モデル(時系列Foundation Models) ←now!! 分野 データの例 ⾦融 株価・為替レート 医療 ⼼電図・EEG エネルギー 電⼒消費量 気象 気温・降⽔量 各時代で精度向上してきたが 未知ドメインへの汎化性と 解釈性は未解決のまま・・・ 2
3. 研究背景 ~ 時系列予測とは︖~ 3 ▶時系列 Foundation Models (=TSFM) • TSFM︓多様な時系列データで事前学習した⼤規模モデル 未知のデータに対してFTなし, 0-shotで予測できる • (例) Chronos, TimesFM, MOMENT, Moirai, TTM… • 限界︓ 1. ゼロショットの限界 • 事前学習データにない分布に弱い • 外部の⽂脈知識を動的に取り込む仕組みがない 2. 解釈性の⽋如 • 予測の根拠がブラックボックス • 「なぜこの値を予測したのか︖」 RAGで解決できないか︖ 3
4. 研究背景 ~RAGとは~ 4 ▶Retrieval-Augmented Generation(RAG) • NLP分野で⼤きな成功を収めた⼿法（Lewis et al., NeurIPS 2020） • メリット︓ 1. 外部知識で補完するため、未知の情報にも対応できる 2. どこから取ってきた情報か、が明⽰できる 質問 LLM 回答 知識ベースを検索し関連情報を取得 より正確な回答 RAGを時系列予測に持ち込み、 TSFMの汎化と解釈性の問題を同時に解決する 4
5. 提案⼿法 ~TS-RAG~ 5 ▶TS-RAGのコンポーネント 1. Retriever(検索器)︓クエリ系列と類似した時系列を知識から取得 2. ARM(Adaptive Retrieval Mixer)︓取得した系列を予測に融合 3. TSFM Backbone︓時系列基盤モデル❄を利⽤ ▶処理の流れ - ⼊⼒時系列をエンコードしクエリを作る - 埋め込みベクトルで知識ベースと類似度計算しTop-kを取得 - TSFM Backboneの内部表現と取得系列をARMで融合 - 最終予測値を出⼒ 5
6. 提案⼿法 ~TS-RAG概要図~ 6 クエリ⽣成 6 FAISS で検索 TSFM
7. 提案⼿法 ~TS-RAGデータの流れ~ 7 7 上︓検索 下︓予測 「TSFMの内部表現」を同じ空間 に揃えるための変換器 ⭐ ⭐ ⭐
8. ⭐提案⼿法の⼯夫 ~Retrieval Encoder~ 8 ▶Retrival Encoder❄︓埋め込みを⽣成する - クエリ時系列𝑥! は事前学習済みエンコーダで埋め込みベクトルに変換 - 𝑒! = 𝑓"#$ (𝑥! ) - 知識ベース内の全埋め込みとユークリッド距離を計算 - 距離が最⼩の上位 k個を取得 ポイント • エンコーダはTSFMの事前学習済みエンコーダをそのまま利⽤ • 距離計算はユークリッド距離 • K=10がデフォルト • エンコーダの種類を変えても性能がほとんど変わらず汎⽤的 8
9. ⭐提案⼿法の⼯夫 ~Retriever~ 9 ▶Retriever︓知識ベースの構築 • 時系列のコンテキスト窓→対応する未来系列のペアを蓄積 • FAISSという⾼速探索ライブラリで類似系列のTop-kを取得する • 𝑥% : コンテキスト窓 • 𝑒% : 𝑥% の埋め込みベクトル • 𝑦% : 対応する未来の系列 ▶規模 • Chronosの事前学習データから5000万点をサンプリング • さらに500万点を知識ベースとして構築 知識ベースは事前に構築してインデックス化するため 推論時の検索は⾮常に⾼速（9.2 ms/クエリ）︕︕ 9
10. ⭐提案⼿法の⼯夫 ~ARM~ 1 0 ▶ARM🔥︓ 取得したk個の未来系列とTSFMが⽣成した内部表現を融合して最終予測 - 取得したk個の未来系列をMLPで埋め込み空間に変換（各々独⽴に） - クエリのTSFM内部表現と結合 - マルチヘッドアテンションでクエリと各候補の相互作⽤を学習 - FFN+Dropoutでさらに変換 - Softmaxで各埋め込みに重みを付与（重要な候補を優先する） - スキップ接続で元のTSFM予測を保持しながら拡張 - 出⼒層で最終予測値を⽣成 10
11. ARMが賢い理由 1 1 ▶なぜ単純な平均・結合ではいけないか • 取得系列の中にも予測に役⽴つものとあまり役⽴たないものがある • Attentionによって適応的に重み付けする 設計要素 役割 Projector(MLP) 取得系列をTSFMの埋め込み空間に変換 Multi-Head Attention クエリと取得系列の相互作⽤を学習 Mixing (Softmax重み付け) K個の候補のうち最も関連性が⾼いもの を優先 Skip Connection TSFMの予測能⼒を保持しながら拡張 11
12. ARMが賢い理由 1 2 ▶アブレーション︓ARMとGate(単純な線型結合)の⽐較 ⼿法 Avg. MSE↓ Avg.MAE↓ w/o RAGベース 0.200 0.252 w/ Gate線形 0.198 0.251 w/ ARM提案 0.194 0.249 ARMはGate⽐でも安定して 優れており、 Attentionによる適応的な 融合が効いている 12
13. 学習戦略とゼロショット学習 1 3 ▶学習 • TSFMとRetrieval Encoderは凍結❄ • ProjectorとARMを学習対象とする • オプティマイザ︓AdamW • バッチサイズ︓256, 10000ステップ • 学習時間1時間 ▶ゼロショット推論 - ⼊⼒時系列をRetrieval Encoderでエンコード - 知識ベースから類似系列Top-kを検索 - ARMで融合して予測を⽣成 ファインチューニングが不要︕ 未知のドメインデータにも即対応︕ 13
14. 実験設定 1 4 ▶評価データセット • ETTh1/ETTh2: 電⼒変圧器温度 (サンプリング間隔60分) • ETTm1/ETTm2: 電⼒変圧器温度 (サンプリング間隔15分) • Weather: 気象 (サンプリング間隔10分) • Electricity: 電⼒消費量 (サンプリング間隔60分) • Exchange Rate: 為替レート (⽇次) ▶⽐較ベースライン ▶評価指標 • Chronos-Bolt ・MSE↓ • MOMENT ・MAE ↓ • TTM • Moirai • TimesFM • Chronos 14
15. 実験設定 ▶評価データセット • Chronos-Bolt⽐でMSE 3.54減少 • Exchange RateでMSE 6.84減少 • 7データセット全てで最も優れた結果 15
16. 解釈性 ▶2軸の解釈性 1. Retrieval-as-Evidence • 予測の根拠となったTop-k類似系列を⽰せる 2. Transparent Weighting • ARMのαにより、各候補の貢献度スコアがわかる この予測はこのパターンを参考にして その中でもこの候補を最も重視した 16
17. 解釈性 ▶Case Study１: 通常ケース • クエリ系列と取得Tok-3系列がトレンドと周期性において強く⼀致 • 検索がうまく機能していることが確認できる 17
18. 解釈性 ▶Case Study２: 急激な下降トレンド • w/o RAG: 急激な下降トレンドを捉えきれていない • w/ RAG: 類似パターンを参照し、急降下を正確に予測 18
19. 解釈性 ▶Case Study３: 突発的なトレンド変化 • w/o RAG: 変化を⾒逃して直線的な予測 • w/ RAG: 取得系列の変化パターンを参考にして対応 19
20. 解釈性 ▶Case Study４: ピーク予測 • w/o RAG: ピークを過⼩評価 • w/ RAG: 類似のピーク系列を取得し、正確なピーク値を予測 20
21. 推論速度の⽐較 ▶RAFと⽐較する • RAFより360倍以上⾼速 →実⽤的なリアルタイム応⽤にも⼗分対応できる なぜTS-RAGが速いのか︖ • FAISSによる⾼速近傍探索（埋め込み空間での検索） • ⽣の時系列ではなく埋め込みベクトルを検索するため⽐較が早い 21
22. TS-RAGが効く時系列の性質 ▶統計的特性との相関分析 • ⾃⼰相関が強い＝RAGの効果が⼤きい （過去パターンが将来に繰り返されやすい） • ノイズ・ボラリティが⾼い＝RAGの効果が⼩さい （ランダム性が強く類似パターンの参照が無意味） 少し当たり前の結果 22
23. まとめ ▶TS-RAGの貢献 • 新しいフレームワーク︓RAGを時系列予測にも導⼊ • ARMモジュール︓Attentionベースの適応的融合 • SOTA性能︓7ベンチまーく全てでゼロショット予測が1位 • 解釈性︓検索根拠と重みつけを可視化 • 実⽤的な速度︓9.62ms/クエリで従来の360倍 ▶限界 • 時系列データのみが対象でテキストやグラフなどのマルチモーダル化 • 標準ベンチマークのみの評価で実応⽤での検証が必要 • 検索ランキングの最適化は無着⼿で課題が残る 23