時系列基盤モデルは作れるのか？ Can We Build a Foundation Model for Time Series?

Transcript

1. 時系列基盤モデルは作れるのか？ 株式会社ニューロジカ 開発部 ⻑嶋隼⽮ 時系列基盤モデルは作れるのか？
2. • はじめに: なぜ時系列基盤モデルか • 基盤モデルとは: CRFMとCLIP • 時系列予測とは: 基礎&弊社での研究事例 • 時系列の難しさ: ⼊⼒形式・データ・評価 • 既存⼿法: Chronos / TimesFM / Moirai / MOMENT • まとめ: 時系列特有の課題と⽅向性 アジェンダ はじめに 基盤モデルとは 時系列予測とは 既存⼿法 まとめ 時系列の難しさ © Neurogica Inc.
3. • 2021年、Stanford CRFM*が広く定義した呼称 • ⼤量データで事前学習した汎⽤モデル • 個別タスクごとにゼロから作らない • 下流タスクへ転⽤できる表現を持つ ◦ zero-shot / fine-tuningで使える はじめに： 基盤モデルとは何か On the Opportunities and Risks of Foundation Models [1] ※ 本資料では、基盤モデル（Foundation Model）をFMと略記する * CRFM（Center for Research on Foundation Models）は、Stanford HAI内に設⽴された基盤モデル研究センター [1] : Bommasani, Rishi, et al. "On the opportunities and risks of foundation models." arXiv preprint arXiv:2108.07258 (2021). はじめに 基盤モデルとは 時系列予測とは 既存⼿法 まとめ 時系列の難しさ © Neurogica Inc.
4. • 画像・⾔語のマルチモーダル基盤モデル • Web上の約4億画像・テキストペアで学習 • 画像と⾔語を同じ空間にそろえる • 分類専⽤ではなく、幅広いタスクに転⽤できる 基盤モデルの例: CLIP Learning Transferable Visual Models From Natural Language Supervision [2] [2] : Radford, Alec, et al. "Learning transferable visual models from natural language supervision." International conference on machine learning. PmLR, 2021. はじめに 基盤モデルとは 時系列予測とは 既存⼿法 まとめ 時系列の難しさ © Neurogica Inc.
5. • 過去の観測から未来を推定する • 電⼒、交通、気象、医療、設備で使われる • 実務では⽋損補完や異常検知も重要 弊社での研究事例[3]： 時系列予測とは 時系列予測タスク概要図 [3] [3] : https://speakerdeck.com/neurogica/decompssm-a-decomposition-based-state-space-model-for-multivariate-time-series-forecasting-icassp-2026 はじめに 基盤モデルとは 時系列予測とは 既存⼿法 まとめ 時系列の難しさ © Neurogica Inc.
6. • テキストには単語、画像にはパッチがある • 時系列は連続値で単位もスケールも違う ◦ 同じ数値でも温度・電⼒・⼼拍で意味が違う • トークン化や正規化で情報を落としやすい 難しさ1: 共通トークンがない 画像テキストのトークン化[4] vs 時系列のトークン化 [5] [4] : Zha, Kaiwen, et al. "Language-guided image tokenization for generation." Proceedings of the Computer Vision and Pattern Recognition Conference. 2025. [5] : Ansari, Abdul Fatir, et al. "Chronos: Learning the Language of Time Series." Transactions on Machine Learning Research. はじめに 基盤モデルとは 時系列予測とは 既存⼿法 まとめ 時系列の難しさ © Neurogica Inc.
7. 難しさ2: データと評価が揃わない 実務で壊れる例 (天気予測にて、研究⽤時系列予測モデルと実運⽤NWPの性能差を⽰す) [6] • 時系列データは企業内部に閉じがち、公開データはドメインや頻度が偏る ◦ 変数数・⽋損・サンプリングも揃わない • ベンチマークで強くても実務で崩れる [6] : Han, Tao, et al. "How far are today's time-series models from real-world weather forecasting applications?." arXiv preprint arXiv:2406.14399 (2024). はじめに 基盤モデルとは 時系列予測とは 既存⼿法 まとめ 時系列の難しさ © Neurogica Inc.
8. 時系列FM⽅向性1: 時系列を⾔語のように扱う Chronos⼿法概念図 [5] • Chronos[5]: 連続値を離散トークンに変換することで、⾔語モデル的に予測する • 公開データと合成データで事前学習 • ⽰唆: LLMのレシピは⼀部使える? [5] : Ansari, Abdul Fatir, et al. "Chronos: Learning the Language of Time Series." Transactions on Machine Learning Research. はじめに 基盤モデルとは 時系列予測とは 既存⼿法 まとめ 時系列の難しさ © Neurogica Inc.
9. 時系列FM⽅向性2: スケールが効くことを⽰す TimesFMの⼿法概念図 [5] • TimesFM[7]: ⼤規模な時系列観測点で事前学習 ◦ patch単位で⻑い系列を扱う ◦ zero-shot forecastingを狙う ◦ 100B(数千億)time-points規模を使⽤ • ⽰唆: データ規模と事前学習が重要(⾃明だが) [7] : Das, Abhimanyu, et al. "A decoder-only foundation model for time-series forecasting." Proceedings of the 41st International Conference on Machine Learning. 2024. はじめに 基盤モデルとは 時系列予測とは 既存⼿法 まとめ 時系列の難しさ © Neurogica Inc.
10. 時系列FM⽅向性3: ⼤規模データで学習する Moiraiの⼿法概念図 [8] • Moirai[8]: 多ドメイン・多頻度・多変量を扱う ◦ LOTSA(独⾃構築)で⼤規模事前学習 ▪ LOTSA: 約27.6B 観測 / 9 ドメイン ◦ 可変の予測⻑や変数数に対応する • ⽰唆: ⼊⼒形式の⼀般化が重要 [8] : Woo, Gerald, et al. "Unified Training of Universal Time Series Forecasting Transformers." Proceedings of Machine Learning Research 235 (2024): 53140-53164. はじめに 基盤モデルとは 時系列予測とは 既存⼿法 まとめ 時系列の難しさ © Neurogica Inc.
11. 時系列FM⽅向性4: 予測前に表現を学習する Moiraiの⼿法概念図 [8] • MOMENT[9]: マスク予測だけで学習 ◦ Fully self supervised ◦ 予測だけでなく表現を作る⽅向 ◦ 分類・異常検知・補完にも転⽤する • ⽰唆: 基盤モデルにはlatent表現が必要(⾃明だが) [9] : Goswami, Mononito, et al. "MOMENT: A Family of Open Time-series Foundation Models." Forty-first International Conference on Machine Learning. はじめに 基盤モデルとは 時系列予測とは 既存⼿法 まとめ 時系列の難しさ © Neurogica Inc.
12. まとめ • テキストや画像に⽐べ、時系列は形式が揃わない ◦ データ、スケール、変数構造、評価が難しい • ベンチマークで強くても実務で崩れる可能性がある • 既存⼿法の⽅向性はtoken化、patch化、汎⽤⼊⼒、表現学習 • 時系列FMは作れる可能性があるが、時系列ならではの設計が不可⽋ ⽅向性①:token化 ⽅向性②:patch化 ⽅向性③:汎⽤⼊⼒ ⽅向性④:表現学習 はじめに 基盤モデルとは 時系列予測とは 既存⼿法 まとめ 時系列の難しさ © Neurogica Inc.