Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
時系列データ分析とPython 〜カルマンフィルタによる状態推定〜
Search
tsurubee
June 17, 2017
Technology
0
4.1k
時系列データ分析とPython 〜カルマンフィルタによる状態推定〜
時系列解析に使えるPythonライブラリとカルマンフィルタによる状態推定の話
tsurubee
June 17, 2017
Tweet
Share
More Decks by tsurubee
See All by tsurubee
AIトップカンファレンスからみるData-Centric AIの研究動向 / Research Trends in Data-Centric AI: Insights from Top AI Conferences
tsurubee
3
1.6k
DeepCrysTet: A Deep Learning Approach Using Tetrahedral Mesh for Predicting Properties of Crystalline Materials
tsurubee
0
840
3次元メッシュで表現した結晶構造を用いた材料物性の予測に向けた深層学習モデルの設計 / Design of Deep Learning Model for Predicting Material Properties Using Crystal Structure Represented by Three-Dimensional Mesh
tsurubee
1
2.1k
分散システムの性能異常に対する機械学習の解釈性に基づく原因診断手法 / A Method for Diagnosing the Causes of Performance Issues in Distributed Systems Based on the Interpretability of Machine Learning
tsurubee
0
1.3k
機械学習の解釈性に関する研究動向とシステム運用への応用 / A Survey on Interpretable Machine Learning and Its Application for System Operation
tsurubee
0
310
機械学習モデルの局所的な解釈に着目したシステムにおける異常の原因診断手法の構想
tsurubee
0
7.8k
アニーリングマシンを活用したエッジAIにおける 生成モデルの学習効率化のためのアーキテクチャ
tsurubee
0
1.5k
さくらインターネット研究所で研究に再挑戦した私の半年間の取り組み
tsurubee
1
2.9k
さくらインターネット研究所と鶴田の取り組みのご紹介
tsurubee
0
120
Other Decks in Technology
See All in Technology
人はなぜISUCONに夢中になるのか
kakehashi
PRO
6
1.7k
OpenID Connect for Identity Assurance の概要と翻訳版のご紹介 / 20250219-BizDay17-OIDC4IDA-Intro
oidfj
0
330
クラウドサービス事業者におけるOSS
tagomoris
3
950
Autonomous Database Serverless 技術詳細 / adb-s_technical_detail_jp
oracle4engineer
PRO
17
45k
リアルタイム分析データベースで実現する SQLベースのオブザーバビリティ
mikimatsumoto
0
1.6k
Reading Code Is Harder Than Writing It
trishagee
2
110
ユーザーストーリーマッピングから始めるアジャイルチームと並走するQA / Starting QA with User Story Mapping
katawara
0
260
SA Night #2 FinatextのSA思想/SA Night #2 Finatext session
satoshiimai
1
150
ホワイトボードチャレンジ 説明&実行資料
ichimichi
0
130
OSS構成管理ツールCMDBuildを使ったAWSリソース管理の自動化
satorufunai
0
350
コンテナサプライチェーンセキュリティ
kyohmizu
1
110
Classmethod AI Talks(CATs) #17 司会進行スライド(2025.02.19) / classmethod-ai-talks-aka-cats_moderator-slides_vol17_2025-02-19
shinyaa31
0
160
Featured
See All Featured
The MySQL Ecosystem @ GitHub 2015
samlambert
250
12k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
44
7k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
33
2.8k
Code Review Best Practice
trishagee
67
18k
Making Projects Easy
brettharned
116
6k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
29
1k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
129
19k
A Philosophy of Restraint
colly
203
16k
jQuery: Nuts, Bolts and Bling
dougneiner
63
7.6k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
356
29k
Gamification - CAS2011
davidbonilla
80
5.1k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
12
980
Transcript
࣌ܥྻσʔλੳͱ1ZUIPO ʙΧϧϚϯϑΟϧλʹΑΔঢ়ଶਪఆʙ ୈ̏ճσʔλαΠΤϯε̡̩ˍษڧձ JO-*/&Ԭ
⽬次 • 時系列データの特性 • Pythonによる時系列データの取り扱い • Pythonで解析やってみた!(解析例)
⾃⼰紹介 2016年11⽉ カラビナ⼊社 趣味:筋トレ・登⼭ プログラミング歴1年 ⼤学の専攻は化学 鶴田 (!UTVSVCFF)
時系列データとは 時間の推移とともに観測されるデータのことで、 観測される順序に意味があることが⼤きな特徴 である。 <例> 経済・ファイナンシャルデータ(GDP・株価など) 気象データ(気温・湿度・⾬量など) 医療データ(脳波・⼼電図など) アクセスログデータ etc.
http://www.kabu-1.jp/beginner/shikumi/kabuka-chart/
統計⼿法の多くは、データを「同⼀の確率分布 から得られた、互いに独⽴な標本の集まり」と ⾒なしています。 時系列データでは成り⽴たない!
よく⾒かける光景 その1 ヒストグラム ヒストグラムでは標本抽出の順序を考慮していないため、 毎回の標本抽出は互いに独⽴であることを認めているこ とになる。 時間情報の消失
よく⾒かける光景 その2 最尤推定 観測点 ", " が得られる確率 | " ,
2 = 1 22 exp − " − " 2 22 トレーニングセット " , " "34 5 が得られる確率 = 1 | 1 , 2 × ⋯× | , 2 = ∏ | , 2 5 "34 データが互いに独⽴と仮定している
参考書 Pythonでやります!
時系列解析に使えるPythonライブラリ • pandas • matplotlib • statsmodels
リッチなデータ構造と関数を提供 ⾦融データ分析のために開発されたため、 時系列分析に最適 DataFrame:2次元データ
データの可視化に有⽤ IPython + matplotlibは科学計算にとって⾮常に ⽣産的な環境を提供 最近はSeabornもよく⾒かけるが、いまだ デファクトスタンダード
statsmodels statistical modeling and econometrics in Python 数多くの統計モデリング⼿法を提供 (⼀般化線形モデル、状態空間モデル、etc.) scipy.statsなどもあるが、おそらく⼀番機能が
充実している。
時系列解析やってみた! 東京都における⽕災件数の推移
解析の⽬的 観測される現象の背後にある「しくみ」の理解 例えば・・・ 年々⽕災件数は減少している →住宅⽤⽕災警報機の普及 →IHコンロの普及 冬場は⽕災が多い →空気が乾燥していて⽕災が起きやすい →暖房器具が稼働している たまたま多い、たまたま少ないなどのノイズを
除去した形でデータを眺めたい・・
状態空間モデル • ⾮常に幅広い概念で、もともとは物理システム の記述に使われていたが、1990年代頃から⾦ 融データをはじめとする時系列データに対する 応⽤が盛んになる • 状態空間モデルは、観測できない隠れた「状態 モデル」と観測した結果である「観測モデル」 からなる。
• 状態空間モデルを利⽤する最⼤のメリットは、 モデリングの柔軟性と増減要因の説明⼒
状態空間モデル 観測できない隠れた(状態モデル) xt-1 xt xt+1 隠れた状態から観測した結果(観測モデル) yt-1 yt yt+1 ϩʔΧϧϨϕϧϞσϧ
= < + ~ 0, 2 :観測値撹乱項 <A4 = < + ~(0, 2):状態撹乱項 :潜在変数
すべてのデータ4:F が与えられたもとでのす べての潜在変数(真の⽔準)を知りたい・・ 4:F |4:F 事後同時分布 計算きびしい・・・ カルマンフィルタを使おう! 線形ガウス状態空間モデルに対する計算アルゴリズム
༧ଌͱϑΟϧλϦϯά 条件付き分布を1時点ずつ更新して求めていく 逐次計算アルゴリズム カルマンフィルタのイメージ 時間 変数 t-1 t t+1 観測値
予測値 予測 フィルタリング
解析結果
解析結果
今後やりたいこと 「予測にいかす統計モデリングの基本」より抜粋