Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
論文紹介:Time Series Forecasting with LLMs: Underst...
Search
Arai M
June 30, 2026
Research
17
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
論文紹介:Time Series Forecasting with LLMs: Understanding and Enhancing Model Capabilities
Arai M
June 30, 2026
Transcript
13 slides
論⽂紹介 2540641 M1 新井深⽉ 2025/7/4
本⽇のアウトライン 1. 研究背景 • なぜ今、LLMによる時系列予測が注⽬されているのか︖ 2. 問い • 解き明かそうとしている疑問点 3.
実験1 • LLMの「好み」の理解 – どんな時系列データが得意か︖ 4. 実験2 • LLMの能⼒の深掘り – なぜ得意なのか︖ 5. 提案⼿法 • LLMの性能向上策 - 「好み」を利⽤してどう改善するのか︖ 6. まとめと今後の課題 2
研究背景と⽬的 ⭐背景 o近年、LLMは多様な分野で急速に発展している o時系列予測の分野でも、LLMを微調整なし(0shot)で⽤いる oしかし、未解明な点が多い︓ • LLMがどのような種類の時系列データを好む(得意とする)のか • 季節性やトレンドの有無が、LLMの予測精度にどう影響するのか ⭐本研究の⽬的
• 0shot設定におけるLLMの時系列予測の「好み」を明らかにし、 その能⼒と限界を理解する • 得られた知⾒をもとに、LLMの予測性能をさらに向上させる⼿法を提案する 3
問い Research Question 1. LLMの「好み」は︖ • LLMはどのような特性を持つ時系列データの予測が得意なのか︖ • e.g., トレンドが強い、季節性がある
2. なぜそのデータが得意なのか︖ • 季節性の強いデータの予測が得意なのは、LLMがデータに潜む「周期」を 認識できるからではないか︖ 3. どうすれば性能を向上できるか︖ • 知⾒を活かし、プロンプトや⼊⼒データを⼯夫することで、 予測精度を⾼められるか︖ 4
1 LLMの能⼒を「理解」する ⭐分析の全体像 5
1 LLMの能⼒を「理解」する ⭐実験1-1︓LLMは「トレンドと季節性」が強いデータを好む Ø分析⼿法 • 時系列データを「トレンド」「季節性」「残差」に分解 • トレンドの強さ(𝑸𝑻 )と季節性の強さ(𝑸𝑺 )を算出
• 各データにおける予測誤差(MAPE)と𝑄# , 𝑄$ の相関を調査 Ø結果 • Q$ とMAPEの間に強い負の相関(-0.67~-0.68) → LLMは季節性のパターンが明確な時系列データの予測を得意とする 6
1 LLMの能⼒を「理解」する ⭐実験1-2︓LLMは⼊⼒系列の「終盤」を重視する Ø分析⼿法(counter-factual分析) • ⼊⼒時系列データの⼀部(10%の区間)に意図的にノイズを付与 • ノイズを付与する区間を、系統の先頭から終盤(予測対象の直前)へとスライド Ø結果 •
終盤に近い部分にノイズを加えるほど予測誤差(MAPE)が著しく増⼤ → LLMは予測を⾏う際に、特に予測時点に近い最新のデータを重視する傾向 7
1 LLMの能⼒を「理解」する ⭐実験2︓なぜ得意︖ー LLMは「周期」を認識できる Ø仮説 • 季節性の強いデータに強いのはLLMがそのデータの周期性を捉えているから Ø検証⽅法 • 季節性が強い5つのデータ
• LLMに直接「このデータの周期はいくつか︖」と10回質問 • 最も頻繁に出現した回答(最頻値)を記録 8
1 LLMの能⼒を「理解」する ⭐実験2︓なぜ得意︖ー LLMは「周期」を認識できる Ø結果 • LLMは実際の周期をほぼ正確に⾔い当てた → LLMは時系列データから周期的なパターンを認識する能⼒を持つ →
これが季節性の強いデータで⾼い予測性能を発揮する理由となる 9
2 LLMの能⼒を「向上」させる ⭐改善⼿法1︓外部知識の付与(External Knowledge Enhancing) Ø提案 • 予測の際にデータに関する背景知識をプロンプトに含める Ø結果 •
ベースラインと⽐較して性能向上 10
2 LLMの能⼒を「向上」させる ⭐改善⼿法2︓⾃然⾔語による系列の⾔い換え(NL Paraphrasing) Ø提案 • 数値の羅列を⾃然⾔語によるトレンド記述に変換 • 「値は100から120に上昇し次に120から115に下降します…」 Ø結果
• ベースライン⼿法を⼤幅に上回る性能 11
まとめ ü LLMの予測性能の「好み」を解明 • LLMはトレンドや季節性が明確な時系列データの予測が得意 • 予測時には⼊⼒系列の「最新」の部分を特に重視する ü 性能の理由を特定 •
季節性の強いデータに強いのは、LLMがデータに内在する「周期」を認識できる ため ü 性能向上のための2つの⼿法を提案・実証 • 外部知識の付与→性能向上 • ⾃然⾔語への⾔い換え→性能⼤幅に向上 12
今後の課題と感想 ⭐今後の課題 § 複数の周期をもつデータの認識は困難 § 周期が⾮常に短いデータで周期を誤って認識する傾向がある →包括的な分析が必要 <感想> - 周期性の確認⽅法に違和感..LLMに答えさせるので良いのか?
- ⾃然⾔語の説明にするときは漏れなくできるものなのか、気になった - 季節性があるデータが得意→周期性の理解が得意であることが原因、のような流れだった。 全ての時系列構成要素について何が得意か調べてから「周期性の理解」が得意そうだから、 このような仮説がたった。とした⽅が良いのでは︖ 13
More Decks by Arai M
See All by Arai M
論文紹介:Agents' Room: Narrative Generation through Multi-step Collaboration
araim10
0
6
論文紹介:TS-RAG: Retrieval-Augmented Generation based Time Series Foundation Models are Stronger Zero-Shot Forecaster
araim10
0
22
LLMの解釈手法基礎まとめ
araim10
0
77
論文紹介:Bridging the Gap between Expert and Language Models: Concept-guided Chess Commentary Generation and Evaluation
araim10
0
20
論文紹介:Causal Head Gating: A Framework for Interpreting Roles of Attention Heads in Transformers
araim10
0
19
論文紹介:Language Models Use Trigonometry to Do Addition
araim10
0
14
Other Decks in Research
See All in Research
共感型採用に関する採用サイト意識調査 2026
gpol
1
120
Physical AIでモデリングはどう変わるか/How Physical AI Will Change Modeling
stktu
0
360
TESSERA: Temporal Embeddings of Surface Spectra for Earth Representation and Analysis
satai
3
130
[IEICE-Soceity-Conf2026] セマンティック通信を見据えたマルチスケールセンシングと 学習の融合によるデジタルツイン基盤 / Digital Twin Infrastructure via the Fusion of Multi-Scale Sensing and Learning toward Semantic Communications
pman0214
0
150
JPA2026_NetworkTutorial_JunKashihara
junkashihara
0
280
HackSick vol.7 LT資料【LLMアーキテクチャ入門・事前学習時の躓き所解説】 スパースなAttention・状態空間モデル
rikkabotan7
0
250
Byzantine Eventual Consistency for Reliable Local-First Software
ept
0
420
最先端NLP 2026 論文紹介: Wait, Wait, Wait... Why Do Reasoning Models Loop? / SNLP Paper Review: Wait, Wait, Wait... Why Do Reasoning Models Loop?
tkng
0
280
山中市政が招いた組織崩壊:よこはま安心ボックスを例に
sishi
0
380
就労支援の現場での生成AI活用
enochan
0
220
J-STAGEの現況と全文XML登載必須化について
xspa2012
0
420
L’albédo:levier d’atténuation du changement climatique dans les systèmes fourragers
institutdelelevage
PRO
0
170
Featured
See All Featured
What’s in a name? Adding method to the madness
productmarketing
PRO
24
4.2k
コードの90%をAIが書く世界で何が待っているのか / What awaits us in a world where 90% of the code is written by AI
rkaga
63
48k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
12
2k
How to Build an AI Search Optimization Roadmap - Criteria and Steps to Take #SEOIRL
aleyda
1
2.3k
Crafting Experiences
bethany
1
450
Marketing to machines
jonoalderson
1
6k
Agile that works and the tools we love
rasmusluckow
331
22k
A Soul's Torment
seathinner
9
3.9k
Making the Leap to Tech Lead
cromwellryan
135
10k
Dominate Local Search Results - an insider guide to GBP, reviews, and Local SEO
greggifford
PRO
0
410
DBのスキルで生き残る技術 - AI時代におけるテーブル設計の勘所
soudai
PRO
68
61k
HDC tutorial
michielstock
2
1k