Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
時系列データ分析とPython 〜カルマンフィルタによる状態推定〜
Search
tsurubee
June 17, 2017
Technology
0
4.1k
時系列データ分析とPython 〜カルマンフィルタによる状態推定〜
時系列解析に使えるPythonライブラリとカルマンフィルタによる状態推定の話
tsurubee
June 17, 2017
Tweet
Share
More Decks by tsurubee
See All by tsurubee
AIトップカンファレンスからみるData-Centric AIの研究動向 / Research Trends in Data-Centric AI: Insights from Top AI Conferences
tsurubee
3
1.1k
DeepCrysTet: A Deep Learning Approach Using Tetrahedral Mesh for Predicting Properties of Crystalline Materials
tsurubee
0
800
3次元メッシュで表現した結晶構造を用いた材料物性の予測に向けた深層学習モデルの設計 / Design of Deep Learning Model for Predicting Material Properties Using Crystal Structure Represented by Three-Dimensional Mesh
tsurubee
1
2k
分散システムの性能異常に対する機械学習の解釈性に基づく原因診断手法 / A Method for Diagnosing the Causes of Performance Issues in Distributed Systems Based on the Interpretability of Machine Learning
tsurubee
0
1.3k
機械学習の解釈性に関する研究動向とシステム運用への応用 / A Survey on Interpretable Machine Learning and Its Application for System Operation
tsurubee
0
310
機械学習モデルの局所的な解釈に着目したシステムにおける異常の原因診断手法の構想
tsurubee
0
7.8k
アニーリングマシンを活用したエッジAIにおける 生成モデルの学習効率化のためのアーキテクチャ
tsurubee
0
1.4k
さくらインターネット研究所で研究に再挑戦した私の半年間の取り組み
tsurubee
1
2.9k
さくらインターネット研究所と鶴田の取り組みのご紹介
tsurubee
0
120
Other Decks in Technology
See All in Technology
CloudWatch Container Insightsを使ったAmazon ECSのリソース監視
umekou
1
120
トレードオフスライダーにおける品質について考えてみた
suzuki_tada
3
180
(Simutrans) 所要時間ベース経路検索のご紹介
teamhimeh
0
100
一人から始めたSREチーム3年の歩み - 求められるスキルの変化とチームのあり方 - / The three-year journey of the SRE team, which started all by myself
vtryo
7
5.7k
panicを深ぼってみる
kworkdev
PRO
2
150
さいきょうのアーキテクチャを生み出すセンスメイキング
jgeem
0
270
顧客の声を集めて活かすリクルートPdMのVoC活用事例を徹底解剖!〜プロデザ!〜
recruitengineers
PRO
0
200
re:Invent Recap (January 2025)
scalefactory
0
340
バクラクの組織とアーキテクチャ(要約)2025/01版
shkomine
13
3k
ハンズオンで学ぶ Databricks - Databricksにおけるデータエンジニアリング
taka_aki
1
2.1k
現実的なCompose化戦略 ~既存リスト画面の置き換え~
sansantech
PRO
0
160
Oracle Cloud Infrastructure:2025年1月度サービス・アップデート
oracle4engineer
PRO
0
200
Featured
See All Featured
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
226
22k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
356
29k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
33
2.8k
The Web Performance Landscape in 2024 [PerfNow 2024]
tammyeverts
3
380
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
29
990
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
113
50k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
29
2.4k
Fashionably flexible responsive web design (full day workshop)
malarkey
406
66k
What’s in a name? Adding method to the madness
productmarketing
PRO
22
3.3k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
248
1.3M
Testing 201, or: Great Expectations
jmmastey
41
7.2k
We Have a Design System, Now What?
morganepeng
51
7.4k
Transcript
࣌ܥྻσʔλੳͱ1ZUIPO ʙΧϧϚϯϑΟϧλʹΑΔঢ়ଶਪఆʙ ୈ̏ճσʔλαΠΤϯε̡̩ˍษڧձ JO-*/&Ԭ
⽬次 • 時系列データの特性 • Pythonによる時系列データの取り扱い • Pythonで解析やってみた!(解析例)
⾃⼰紹介 2016年11⽉ カラビナ⼊社 趣味:筋トレ・登⼭ プログラミング歴1年 ⼤学の専攻は化学 鶴田 (!UTVSVCFF)
時系列データとは 時間の推移とともに観測されるデータのことで、 観測される順序に意味があることが⼤きな特徴 である。 <例> 経済・ファイナンシャルデータ(GDP・株価など) 気象データ(気温・湿度・⾬量など) 医療データ(脳波・⼼電図など) アクセスログデータ etc.
http://www.kabu-1.jp/beginner/shikumi/kabuka-chart/
統計⼿法の多くは、データを「同⼀の確率分布 から得られた、互いに独⽴な標本の集まり」と ⾒なしています。 時系列データでは成り⽴たない!
よく⾒かける光景 その1 ヒストグラム ヒストグラムでは標本抽出の順序を考慮していないため、 毎回の標本抽出は互いに独⽴であることを認めているこ とになる。 時間情報の消失
よく⾒かける光景 その2 最尤推定 観測点 ", " が得られる確率 | " ,
2 = 1 22 exp − " − " 2 22 トレーニングセット " , " "34 5 が得られる確率 = 1 | 1 , 2 × ⋯× | , 2 = ∏ | , 2 5 "34 データが互いに独⽴と仮定している
参考書 Pythonでやります!
時系列解析に使えるPythonライブラリ • pandas • matplotlib • statsmodels
リッチなデータ構造と関数を提供 ⾦融データ分析のために開発されたため、 時系列分析に最適 DataFrame:2次元データ
データの可視化に有⽤ IPython + matplotlibは科学計算にとって⾮常に ⽣産的な環境を提供 最近はSeabornもよく⾒かけるが、いまだ デファクトスタンダード
statsmodels statistical modeling and econometrics in Python 数多くの統計モデリング⼿法を提供 (⼀般化線形モデル、状態空間モデル、etc.) scipy.statsなどもあるが、おそらく⼀番機能が
充実している。
時系列解析やってみた! 東京都における⽕災件数の推移
解析の⽬的 観測される現象の背後にある「しくみ」の理解 例えば・・・ 年々⽕災件数は減少している →住宅⽤⽕災警報機の普及 →IHコンロの普及 冬場は⽕災が多い →空気が乾燥していて⽕災が起きやすい →暖房器具が稼働している たまたま多い、たまたま少ないなどのノイズを
除去した形でデータを眺めたい・・
状態空間モデル • ⾮常に幅広い概念で、もともとは物理システム の記述に使われていたが、1990年代頃から⾦ 融データをはじめとする時系列データに対する 応⽤が盛んになる • 状態空間モデルは、観測できない隠れた「状態 モデル」と観測した結果である「観測モデル」 からなる。
• 状態空間モデルを利⽤する最⼤のメリットは、 モデリングの柔軟性と増減要因の説明⼒
状態空間モデル 観測できない隠れた(状態モデル) xt-1 xt xt+1 隠れた状態から観測した結果(観測モデル) yt-1 yt yt+1 ϩʔΧϧϨϕϧϞσϧ
= < + ~ 0, 2 :観測値撹乱項 <A4 = < + ~(0, 2):状態撹乱項 :潜在変数
すべてのデータ4:F が与えられたもとでのす べての潜在変数(真の⽔準)を知りたい・・ 4:F |4:F 事後同時分布 計算きびしい・・・ カルマンフィルタを使おう! 線形ガウス状態空間モデルに対する計算アルゴリズム
༧ଌͱϑΟϧλϦϯά 条件付き分布を1時点ずつ更新して求めていく 逐次計算アルゴリズム カルマンフィルタのイメージ 時間 変数 t-1 t t+1 観測値
予測値 予測 フィルタリング
解析結果
解析結果
今後やりたいこと 「予測にいかす統計モデリングの基本」より抜粋