Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
時系列データ分析とPython 〜カルマンフィルタによる状態推定〜
Search
tsurubee
June 17, 2017
Technology
0
4.2k
時系列データ分析とPython 〜カルマンフィルタによる状態推定〜
時系列解析に使えるPythonライブラリとカルマンフィルタによる状態推定の話
tsurubee
June 17, 2017
Tweet
Share
More Decks by tsurubee
See All by tsurubee
大規模言語モデルにおけるData-Centric AIと合成データの活用 / Data-Centric AI and Synthetic Data in Large Language Models
tsurubee
0
33
言語モデルによるAI創薬の進展 / Advancements in AI-Driven Drug Discovery Using Language Models
tsurubee
2
460
AIトップカンファレンスからみるData-Centric AIの研究動向 / Research Trends in Data-Centric AI: Insights from Top AI Conferences
tsurubee
3
2.9k
DeepCrysTet: A Deep Learning Approach Using Tetrahedral Mesh for Predicting Properties of Crystalline Materials
tsurubee
0
1.1k
3次元メッシュで表現した結晶構造を用いた材料物性の予測に向けた深層学習モデルの設計 / Design of Deep Learning Model for Predicting Material Properties Using Crystal Structure Represented by Three-Dimensional Mesh
tsurubee
1
2.3k
分散システムの性能異常に対する機械学習の解釈性に基づく原因診断手法 / A Method for Diagnosing the Causes of Performance Issues in Distributed Systems Based on the Interpretability of Machine Learning
tsurubee
0
1.5k
機械学習の解釈性に関する研究動向とシステム運用への応用 / A Survey on Interpretable Machine Learning and Its Application for System Operation
tsurubee
0
360
機械学習モデルの局所的な解釈に着目したシステムにおける異常の原因診断手法の構想
tsurubee
0
7.9k
アニーリングマシンを活用したエッジAIにおける 生成モデルの学習効率化のためのアーキテクチャ
tsurubee
0
1.6k
Other Decks in Technology
See All in Technology
All About Sansan – for New Global Engineers
sansan33
PRO
1
1.2k
Implementing and Evaluating a High-Level Language with WasmGC and the Wasm Component Model: Scala’s Case
tanishiking
0
170
現場データから見える、開発生産性の変化コード生成AI導入・運用のリアル〜 / Changes in Development Productivity and Operational Challenges Following the Introduction of Code Generation AI
nttcom
1
430
もう外には出ない。より快適なフルリモート環境を目指して
mottyzzz
11
8k
Kubernetes self-healing of your workload
hwchiu
0
340
旅で応援する✈️ NEWTが目指すコミュニティ支援とあたらしい旅行 / New Travel: Supporting by NEWT on Your Journey
mii3king
0
140
[OCI Skill Mapping] AWSユーザーのためのOCI – IaaS編(Compute/Storage/Networking) (2025年10月8日開催)
oracle4engineer
PRO
1
170
Copilot Studio ハンズオン - 生成オーケストレーションモード
tomoyasasakimskk
0
190
AI AgentをLangflowでサクッと作って、1日働かせてみた!
yano13
1
120
AI時代、“平均値”ではいられない
uhyo
8
2k
AWS UG Grantでグローバル20名に選出されてre:Inventに行く話と、マルチクラウドセキュリティの教科書を執筆した話 / The Story of Being Selected for the AWS UG Grant to Attending re:Invent, and Writing a Multi-Cloud Security Textbook
yuj1osm
1
120
だいたい分かった気になる 『SREの知識地図』 / introduction-to-sre-knowledge-map-book
katsuhisa91
PRO
3
1.2k
Featured
See All Featured
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
48
9.7k
Leading Effective Engineering Teams in the AI Era
addyosmani
7
570
Put a Button on it: Removing Barriers to Going Fast.
kastner
60
4k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
35
3.2k
For a Future-Friendly Web
brad_frost
180
10k
Measuring & Analyzing Core Web Vitals
bluesmoon
9
630
Producing Creativity
orderedlist
PRO
347
40k
Writing Fast Ruby
sferik
629
62k
Unsuck your backbone
ammeep
671
58k
RailsConf 2023
tenderlove
30
1.3k
How to Ace a Technical Interview
jacobian
280
24k
Optimising Largest Contentful Paint
csswizardry
37
3.5k
Transcript
࣌ܥྻσʔλੳͱ1ZUIPO ʙΧϧϚϯϑΟϧλʹΑΔঢ়ଶਪఆʙ ୈ̏ճσʔλαΠΤϯε̡̩ˍษڧձ JO-*/&Ԭ
⽬次 • 時系列データの特性 • Pythonによる時系列データの取り扱い • Pythonで解析やってみた!(解析例)
⾃⼰紹介 2016年11⽉ カラビナ⼊社 趣味:筋トレ・登⼭ プログラミング歴1年 ⼤学の専攻は化学 鶴田 (!UTVSVCFF)
時系列データとは 時間の推移とともに観測されるデータのことで、 観測される順序に意味があることが⼤きな特徴 である。 <例> 経済・ファイナンシャルデータ(GDP・株価など) 気象データ(気温・湿度・⾬量など) 医療データ(脳波・⼼電図など) アクセスログデータ etc.
http://www.kabu-1.jp/beginner/shikumi/kabuka-chart/
統計⼿法の多くは、データを「同⼀の確率分布 から得られた、互いに独⽴な標本の集まり」と ⾒なしています。 時系列データでは成り⽴たない!
よく⾒かける光景 その1 ヒストグラム ヒストグラムでは標本抽出の順序を考慮していないため、 毎回の標本抽出は互いに独⽴であることを認めているこ とになる。 時間情報の消失
よく⾒かける光景 その2 最尤推定 観測点 ", " が得られる確率 | " ,
2 = 1 22 exp − " − " 2 22 トレーニングセット " , " "34 5 が得られる確率 = 1 | 1 , 2 × ⋯× | , 2 = ∏ | , 2 5 "34 データが互いに独⽴と仮定している
参考書 Pythonでやります!
時系列解析に使えるPythonライブラリ • pandas • matplotlib • statsmodels
リッチなデータ構造と関数を提供 ⾦融データ分析のために開発されたため、 時系列分析に最適 DataFrame:2次元データ
データの可視化に有⽤ IPython + matplotlibは科学計算にとって⾮常に ⽣産的な環境を提供 最近はSeabornもよく⾒かけるが、いまだ デファクトスタンダード
statsmodels statistical modeling and econometrics in Python 数多くの統計モデリング⼿法を提供 (⼀般化線形モデル、状態空間モデル、etc.) scipy.statsなどもあるが、おそらく⼀番機能が
充実している。
時系列解析やってみた! 東京都における⽕災件数の推移
解析の⽬的 観測される現象の背後にある「しくみ」の理解 例えば・・・ 年々⽕災件数は減少している →住宅⽤⽕災警報機の普及 →IHコンロの普及 冬場は⽕災が多い →空気が乾燥していて⽕災が起きやすい →暖房器具が稼働している たまたま多い、たまたま少ないなどのノイズを
除去した形でデータを眺めたい・・
状態空間モデル • ⾮常に幅広い概念で、もともとは物理システム の記述に使われていたが、1990年代頃から⾦ 融データをはじめとする時系列データに対する 応⽤が盛んになる • 状態空間モデルは、観測できない隠れた「状態 モデル」と観測した結果である「観測モデル」 からなる。
• 状態空間モデルを利⽤する最⼤のメリットは、 モデリングの柔軟性と増減要因の説明⼒
状態空間モデル 観測できない隠れた(状態モデル) xt-1 xt xt+1 隠れた状態から観測した結果(観測モデル) yt-1 yt yt+1 ϩʔΧϧϨϕϧϞσϧ
= < + ~ 0, 2 :観測値撹乱項 <A4 = < + ~(0, 2):状態撹乱項 :潜在変数
すべてのデータ4:F が与えられたもとでのす べての潜在変数(真の⽔準)を知りたい・・ 4:F |4:F 事後同時分布 計算きびしい・・・ カルマンフィルタを使おう! 線形ガウス状態空間モデルに対する計算アルゴリズム
༧ଌͱϑΟϧλϦϯά 条件付き分布を1時点ずつ更新して求めていく 逐次計算アルゴリズム カルマンフィルタのイメージ 時間 変数 t-1 t t+1 観測値
予測値 予測 フィルタリング
解析結果
解析結果
今後やりたいこと 「予測にいかす統計モデリングの基本」より抜粋