Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
時系列データ分析とPython 〜カルマンフィルタによる状態推定〜
Search
tsurubee
June 17, 2017
Technology
0
4.1k
時系列データ分析とPython 〜カルマンフィルタによる状態推定〜
時系列解析に使えるPythonライブラリとカルマンフィルタによる状態推定の話
tsurubee
June 17, 2017
Tweet
Share
More Decks by tsurubee
See All by tsurubee
AIトップカンファレンスからみるData-Centric AIの研究動向 / Research Trends in Data-Centric AI: Insights from Top AI Conferences
tsurubee
3
1.7k
DeepCrysTet: A Deep Learning Approach Using Tetrahedral Mesh for Predicting Properties of Crystalline Materials
tsurubee
0
840
3次元メッシュで表現した結晶構造を用いた材料物性の予測に向けた深層学習モデルの設計 / Design of Deep Learning Model for Predicting Material Properties Using Crystal Structure Represented by Three-Dimensional Mesh
tsurubee
1
2.1k
分散システムの性能異常に対する機械学習の解釈性に基づく原因診断手法 / A Method for Diagnosing the Causes of Performance Issues in Distributed Systems Based on the Interpretability of Machine Learning
tsurubee
0
1.3k
機械学習の解釈性に関する研究動向とシステム運用への応用 / A Survey on Interpretable Machine Learning and Its Application for System Operation
tsurubee
0
310
機械学習モデルの局所的な解釈に着目したシステムにおける異常の原因診断手法の構想
tsurubee
0
7.8k
アニーリングマシンを活用したエッジAIにおける 生成モデルの学習効率化のためのアーキテクチャ
tsurubee
0
1.5k
さくらインターネット研究所で研究に再挑戦した私の半年間の取り組み
tsurubee
1
2.9k
さくらインターネット研究所と鶴田の取り組みのご紹介
tsurubee
0
120
Other Decks in Technology
See All in Technology
PHPカンファレンス名古屋-テックリードの経験から学んだ設計の教訓
hayatokudou
2
530
PHPで印刷所に入稿できる名札データを作る / Generating Print-Ready Name Tag Data with PHP
tomzoh
0
180
分解して理解する Aspire
nenonaninu
2
550
ローカルLLMを活用したコード生成と、ローコード開発ツールへの応用
kazuhitoyokoi
0
140
Autonomous Database Serverless 技術詳細 / adb-s_technical_detail_jp
oracle4engineer
PRO
17
45k
プロダクトエンジニア 360°フィードバックを実施した話
hacomono
PRO
0
130
Two Blades, One Journey: Engineering While Managing
ohbarye
3
680
データエンジニアリング領域におけるDuckDBのユースケース
chanyou0311
5
1.7k
Raycast Favorites × Script Command で実現するお手軽情報チェック
smasato
1
120
Goで作って学ぶWebSocket
ryuichi1208
3
2.4k
日経のデータベース事業とElasticsearch
hinatades
PRO
0
190
Potential EM 制度を始めた理由、そして2年後にやめた理由 - EMConf JP 2025
hoyo
2
1.5k
Featured
See All Featured
Imperfection Machines: The Place of Print at Facebook
scottboms
267
13k
Fashionably flexible responsive web design (full day workshop)
malarkey
406
66k
How GitHub (no longer) Works
holman
314
140k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
280
13k
Bash Introduction
62gerente
611
210k
Faster Mobile Websites
deanohume
306
31k
How to train your dragon (web standard)
notwaldorf
91
5.9k
Speed Design
sergeychernyshev
27
800
Understanding Cognitive Biases in Performance Measurement
bluesmoon
27
1.6k
Become a Pro
speakerdeck
PRO
26
5.2k
The Pragmatic Product Professional
lauravandoore
32
6.4k
Scaling GitHub
holman
459
140k
Transcript
࣌ܥྻσʔλੳͱ1ZUIPO ʙΧϧϚϯϑΟϧλʹΑΔঢ়ଶਪఆʙ ୈ̏ճσʔλαΠΤϯε̡̩ˍษڧձ JO-*/&Ԭ
⽬次 • 時系列データの特性 • Pythonによる時系列データの取り扱い • Pythonで解析やってみた!(解析例)
⾃⼰紹介 2016年11⽉ カラビナ⼊社 趣味:筋トレ・登⼭ プログラミング歴1年 ⼤学の専攻は化学 鶴田 (!UTVSVCFF)
時系列データとは 時間の推移とともに観測されるデータのことで、 観測される順序に意味があることが⼤きな特徴 である。 <例> 経済・ファイナンシャルデータ(GDP・株価など) 気象データ(気温・湿度・⾬量など) 医療データ(脳波・⼼電図など) アクセスログデータ etc.
http://www.kabu-1.jp/beginner/shikumi/kabuka-chart/
統計⼿法の多くは、データを「同⼀の確率分布 から得られた、互いに独⽴な標本の集まり」と ⾒なしています。 時系列データでは成り⽴たない!
よく⾒かける光景 その1 ヒストグラム ヒストグラムでは標本抽出の順序を考慮していないため、 毎回の標本抽出は互いに独⽴であることを認めているこ とになる。 時間情報の消失
よく⾒かける光景 その2 最尤推定 観測点 ", " が得られる確率 | " ,
2 = 1 22 exp − " − " 2 22 トレーニングセット " , " "34 5 が得られる確率 = 1 | 1 , 2 × ⋯× | , 2 = ∏ | , 2 5 "34 データが互いに独⽴と仮定している
参考書 Pythonでやります!
時系列解析に使えるPythonライブラリ • pandas • matplotlib • statsmodels
リッチなデータ構造と関数を提供 ⾦融データ分析のために開発されたため、 時系列分析に最適 DataFrame:2次元データ
データの可視化に有⽤ IPython + matplotlibは科学計算にとって⾮常に ⽣産的な環境を提供 最近はSeabornもよく⾒かけるが、いまだ デファクトスタンダード
statsmodels statistical modeling and econometrics in Python 数多くの統計モデリング⼿法を提供 (⼀般化線形モデル、状態空間モデル、etc.) scipy.statsなどもあるが、おそらく⼀番機能が
充実している。
時系列解析やってみた! 東京都における⽕災件数の推移
解析の⽬的 観測される現象の背後にある「しくみ」の理解 例えば・・・ 年々⽕災件数は減少している →住宅⽤⽕災警報機の普及 →IHコンロの普及 冬場は⽕災が多い →空気が乾燥していて⽕災が起きやすい →暖房器具が稼働している たまたま多い、たまたま少ないなどのノイズを
除去した形でデータを眺めたい・・
状態空間モデル • ⾮常に幅広い概念で、もともとは物理システム の記述に使われていたが、1990年代頃から⾦ 融データをはじめとする時系列データに対する 応⽤が盛んになる • 状態空間モデルは、観測できない隠れた「状態 モデル」と観測した結果である「観測モデル」 からなる。
• 状態空間モデルを利⽤する最⼤のメリットは、 モデリングの柔軟性と増減要因の説明⼒
状態空間モデル 観測できない隠れた(状態モデル) xt-1 xt xt+1 隠れた状態から観測した結果(観測モデル) yt-1 yt yt+1 ϩʔΧϧϨϕϧϞσϧ
= < + ~ 0, 2 :観測値撹乱項 <A4 = < + ~(0, 2):状態撹乱項 :潜在変数
すべてのデータ4:F が与えられたもとでのす べての潜在変数(真の⽔準)を知りたい・・ 4:F |4:F 事後同時分布 計算きびしい・・・ カルマンフィルタを使おう! 線形ガウス状態空間モデルに対する計算アルゴリズム
༧ଌͱϑΟϧλϦϯά 条件付き分布を1時点ずつ更新して求めていく 逐次計算アルゴリズム カルマンフィルタのイメージ 時間 変数 t-1 t t+1 観測値
予測値 予測 フィルタリング
解析結果
解析結果
今後やりたいこと 「予測にいかす統計モデリングの基本」より抜粋