時系列基盤モデルの世界

Slide 1

Slide 1 text

Slide 2

Slide 2 text

2 ● r-kagaya(@ry0_kaga) ● 株式会社ログラス ● 生成AI/LLMアプリケーションエンジニア ● 最近の趣味・興味 ○ ダーツ(SaaSカップとか開催したい) ○ AIエージェント(特に音声絡む) 2022年に株式会社ログラスに入社マスタ管理機能等の開発、開発生産性向上に取り組んだのち、生成AI/LLMチームを立ち上げ自己紹介

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

7 ©2024 Loglass Inc. 今⽇の内容 ● 時系列基盤モデルは、様々な時系列データセットで事前学習された基盤モデル   ● GoogleのTimesFM、AmazonのChronosなどが登場  ● 多様なドメインの時系列データに対して、ゼロショットで予測を行うことが可能   ● 既存の統計モデル・機械学習モデルと比較し、精度は同程度でゼロショットで予測できるなら使い道は多いのではないか  ● 今後はLLMをより活用して説明可能性や数値以外の定性情報 (4Mなど)も加味できる方向に進化？(してほしい) 

Slide 8

Slide 8 text

Slide 9

Slide 9 text

9 ©2024 Loglass Inc. そもそも時系列予測とは -> 過去の時系列データを用いて将来の時系列を予測する統計的または機械学習的アプローチ   ● 時間と共に変化するデータの続きを予測   ● 時系列データは一定間隔で測定されたデータであり、株価、気温、売上高などが該当   ● 統計モデルや機械学習モデルが主に利用されてきた     出典：時系列予測とは - Google Cloud（https://cloud.google.com/learn/what-is-time-series?hl=ja）  需要予測 / キャパシティプランニング・商品の小売需要予測・商品価格予測・キャッシュフローの予測異常検出・需要予測を使用した異常検出・製造品質管理と指標モニタリング・価格設定の誤り因果推論・広告効果・主要なイベントが及ぼす影響

Slide 10

Slide 10 text

10 ©2024 Loglass Inc. 時系列予測の特徴と課題 ● 時系列データの特性を理解し、適切な手法を選定する必要   出典：時系列予測とは - Google Cloud（https://cloud.google.com/learn/what-is-time-series?hl=ja）  季節性休日効果トレンドの変化年間、月間、週間、または日単位で繰り返されるパターン。アイスクリームの売上は夏に増加し、冬に減少する傾向祝日やイベントによるイレギュラーな変動。例えば、クリスマスの時期には小売業の売上が増加する傾向長期的な傾向の変化。スマートフォンの普及に伴い、固定電話の需要は減少傾向データスパース性データが十分に存在しない期間があること。新製品の売上データは、発売直後は限られた期間しか存在しない

Slide 11

Slide 11 text

11 ©2024 Loglass Inc. 時系列基盤モデルとは？ ● 広範なデータに基づき事前学習され、様々な時系列タスクに適用できる汎用的なモデル   ● ゼロショットで様々な時系列データの予測ができる   ● LLMによりAI利用のハードルが下がり、活用範囲の幅が広がったの同じことが、時系列予測の分野で起きるかも？  出典：A decoder-only foundation model for time-series forecasting  柔軟性多様なデータセットに対応でき、予測、分類、異常検知、補完など、さまざまな時系列タスクに対応ゼロショット学習特定のタスクやデータドメインに対する事前学習なしで、タスクを実行できる効率性従来のモデルに比べてデータの注釈や特定のタスク向けの再訓練に依存しない

Slide 12

Slide 12 text

Slide 13

Slide 13 text

13 ©2024 Loglass Inc. Position Paper: What Can Large Language Models Tell Us about Time Series Analysis LLMの時系列分析への今後の応用を予測。時系列分析モデルの世代を分類   ● 統計的モデル(1950年代〜2000年代)：ARIMA, Holt-Winters、タスク特化型  ● ニューラルネットワークモデル(2010年代)：ドメイン特化型だがタスク非依存   ● 事前学習モデル(2022年)：大規模な時系列データで事前学習し、ドメイン非依存およびタスク非依存で時系列タスクをこなす  ● LLM中心モデル(2024年)：LLMを活用することで、予測だけでなく、より複雑なタスクをこなすことを期待  出典 Position Paper: What Can Large Language Models Tell Us about Time Series Analysis 

Slide 14

Slide 14 text

14 ©2024 Loglass Inc. Position Paper: What Can Large Language Models Tell Us about Time Series Analysis 時系列分析モデルを4つの世代に分類した図  出典 Position Paper: What Can Large Language Models Tell Us about Time Series Analysis 

Slide 15

Slide 15 text

15 ©2024 Loglass Inc. Position Paper: What Can Large Language Models Tell Us about Time Series Analysis 出典 Position Paper: What Can Large Language Models Tell Us about Time Series Analysis  LLMの時系列分析での活用アプローチを提案・予測  ● 時系列データそのもの、既存の分析手法を強化  ● LLMの知識と推論能力を用いて、優れた予測モデルを構築  ● 時系列分析エージェント   

Slide 16

Slide 16 text

16 ©2024 Loglass Inc. TEST: Text Prototype Aligned Embedding to Activate LLM's Ability for Time Series 現在のLLMの文脈で時系列(TS)タスクを達成する2つの方法  ● LLM-for-TS (モデル中心)  ○ 時系列データ用の大規模モデルを設計、各タスク用にファインチューニング   ○ もしくは既存の事前学習済LLMを時系列タスク向けにファインチューニング   ● TS-for-LLM (データ中心)  ○ 時系列データをLLMが扱いやすい形に変換し、LLMで時系列データを扱う  ● TESTは、LLMを用いて時系列データを処理する手法（ TS-for-LLM）    出典 TEST: Text Prototype Aligned Embedding to Activate LLM's Ability for Time Series 

Slide 17

Slide 17 text

17 ©2024 Loglass Inc. PromptCast: A New Prompt-based Learning Paradigm for Time Series Forecasting LLMで時系列予測タスクをこなす手法の提案（ TS-for-LLM）  ● 入力と出力をプロンプトに変換し、文から文を生成するタスクとして LLMで時系列予測を行う  ○ e.g.) 「5月1日から15日までの気温は、15度、16度、14度、...」  ● プロンプトに渡すことで、定性/4M情報を時系列予測での利用可能性   ● LLMも時系列予測も本質的にシーケンス（系列）を扱うタスクのため、時系列データにも適していると考察  出典 PromptCast: A New Prompt-based Learning Paradigm for Time Series Forecasting 

Slide 18

Slide 18 text

18 ©2024 Loglass Inc. (再掲)Position Paper: What Can Large Language Models Tell Us about Time Series Analysis LLMの時系列分析への今後の応用を予測。時系列分析モデルの世代を分類   ● 統計的モデル(1950年代〜2000年代)：ARIMA, Holt-Winters、タスク特化型  ● ニューラルネットワークモデル(2010年代)：ドメイン特化型だがタスク非依存   ● 事前学習モデル(2022年)：大規模な時系列データで事前学習し、ドメイン非依存およびタスク非依存で時系列タスクをこなす  ● LLM中心モデル(2024年)：LLMを活用することで、予測だけでなく、より複雑なタスクをこなすことを期待  出典 Position Paper: What Can Large Language Models Tell Us about Time Series Analysis 

Slide 19

Slide 19 text

19 ©2024 Loglass Inc. (再掲)Position Paper: What Can Large Language Models Tell Us about Time Series Analysis LLMの時系列分析への今後の応用を予測。時系列分析モデルの世代を分類   ● 統計的モデル(1950年代〜2000年代)：ARIMA, Holt-Winters、タスク特化型  ● ニューラルネットワークモデル(2010年代)：ドメイン特化型だがタスク非依存   ● 事前学習モデル(2022年)：大規模な時系列データで事前学習し、ドメイン非依存およびタスク非依存で時系列タスクをこなす  ● LLM中心モデル(2024年)：LLMを活用することで、予測だけでなく、より複雑なタスクをこなすことを期待  出典 Position Paper: What Can Large Language Models Tell Us about Time Series Analysis  時系列基盤モデルは事前学習モデルに該当

Slide 20

Slide 20 text

20 ©2024 Loglass Inc. 今登場している時系列基盤モデル（観測範囲内） ● これらのモデル・論文はゼロショット予測の性能でも、特定のデータセットに合わせて訓練されたモデルと同等以上の性能を示したと主張 ● 前述の分類における事前学習モデルに該当すると理解 TimesFM Googleにより開発された200Mパラメータの時系列予測用モデル。 decoder-only foundation Model Chronos Amazonが公開した時系列予測のための事前学習された確率的言語モデルのフレームワーク Moment カーネギーメロン大学のチームが公開した時系列基盤モデル。予測・分類・異常検知等のタスクが可能 Granite Timeseries TTM IBMによる多変量時系列予測向けの事前学習モデル。少ないパラメータ数で優れた予測性能を発揮 Lag-Llama 多数の時系列データで学習させた確率的予測・時系列予測のためのOSSモデル TimeGPT 時系列データの予測に特化した大規模な基盤モデルで、Transformerベースのアーキテクチャを採用

Slide 21

Slide 21 text

21 ©2024 Loglass Inc. 時系列基盤モデル〜TimesFM〜 ● Googleが開発した時系列予測のための基盤モデル ● 多様な分野の時系列データで事前学習し、ゼロショットで高精度な予測が可能 ● Decoder Only Architecture、時系列データに適した工夫 ● Google検索トレンド、Wikipedia、電力、交通、気象などの実データと合成データを学習に使用 ● 評価実験では、複数のベンチマークデータセットでゼロショットの性能を評価し、個別にチューニングした教師あり手法と同等以上の予測精度を達成出典：A decoder-only foundation model for time-series forecasting 

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

26 ©2024 Loglass Inc. まとめ ● 時系列基盤モデルは、様々な時系列データセットで事前学習された基盤モデル   ● GoogleのTimesFM、AmazonのChronosなどが登場  ● 多様なドメインの時系列データに対して、ゼロショットで予測を行うことが可能   ● 既存の統計モデル・機械学習モデルと比較し、精度は同程度でゼロショットで予測できるなら使い道は多いのではないか  ● 今後はLLMをより活用して説明可能性や数値以外の定性情報 (4Mなど)も加味できる方向に進化？(してほしい)   