時系列解析 輪読会資料 1章

参加しているコミュニティ、データラーニングギルドの輪読会で作成した資料。

参考書 時系列解析: 自己回帰型モデル・状態空間モデル・異常検知 https://amzn.to/33d8vQC

1章のテーマ 時系列データの記述・処理

Transcript

1. 時系列解析 自己回帰型モデル・状態空間モデル・異常検知 1章 時系列データの記述・処理　
2. • 本の中のプログラミングを実行できる自作jupyter notebook データ https://bit.ly/2T7iU9V • 季節指数を算定した自作スプレッドシート https://bit.ly/38PbRt6 • 本の章立て、サンプルコードのあるページ。 ただし、このHP中のサンプルコードはそのまま実行してもうまく行かないことが あるのでおススメしない。 https://bit.ly/3bSZkqi （参考） 2
3. • 時系列データの定義 　測定対象のある側面をある時間間隔で観測した結果の集まり • 具体例 通常の時系列データ ・・・毎日の気温や降水量　営業日ごとの株価 　動いた理由よりも、動きそのものに意味がある 発生した時刻に意味があるデータ 　動きの理由を読み解き操作することに意味がある 　・・・店舗の売上、広告のクリック、為替 1.1 時系列データとは 3
4. • 時系列データは　「一定の間隔」　で測定されたデータ 　折れ線グラフで表示、点と点の間は　直線でつながっている　と仮定される 　点過程データは「事象が発生したタイミング」で測定されたデータ ・・・例えば、受発注データ • 時系列データの第一歩は、データをグラフ化すること 1.1 時系列データとは 4
5. 時系列データの種類 • 連続時間時系列　連続的に記録されたデータ 離散時間時系列　ある時間間隔（ex.1日ごと）で観測されたデータ 　基本的にはこれを扱うことが多い • 1変量時系列　観測時点で1種類の情報のみを取得したデータ 多変量時系列　観測時点で2つ以上の情報を同時に取得したデータ • 定常時系列　確率の性質が一定であり様々な時点に影響されないデータ 非定常時系列　確率の性質が一定せず様々な時点の値に影響されるデータ • ガウス型時系列　分布が正規分布に従うデータ 非ガウス型時系列　分布が正規分布に従わないデータ 1.1 時系列データとは 5
6. • 線形時系列　　線形モデルで表現できる時系列 非線形時系列　非線形なモデルが必要なもの • 欠測値（欠損値）　何らかの理由で観測値が記録されなかったもの 異常値　異常な現象、観測装置の異常、記載ミス等による明らかな異常なデー タ 1.1 時系列データとは 6
7. • 代表的な統計量 期待値 平均 分散 標準偏差 自己共分散（自己相関） 1.1 時系列データとは 7
8. • 時系列データの構成要素 • 傾向変動（トレンド）T(t) 時間とともに単調に増加/減少する変動 季節変動 S(t) （例えば季節で）周期的、規則的に繰り返される変動 不規則変動I(t)　説明がつかない不規則かつ短期間に起こる小変動 　誤差的な変動（ノイズ）と、突発的な特異的変化（イレギュラー）に区別出来る • 　同じ観測データでも、傾向変動している箇所、季節変動している箇所、不規 則変動している箇所のすべてを含む可能性がある 1.4 加法モデルと乗法モデル 8
9. • 時系列データを傾向変動・季節変動・不規則変動の3つの基本成分の合成と 考えるときの、合成の仕方 加法モデル　各成分の 足し算 と考える 　O(t) = T(t) + S(t) + I(t) 　特徴として、季節変動の大きさはO(t)の大きさに影響を受けない 乗法モデル　各成分の 掛け算と考える 　O(t) = T(t) × S(t) × I(t) 　特徴として、季節的変動の大きさがO(t)の大きさに影響を受ける • 　時系列解析を行う際は、データの傾向をみて加法モデルと乗法モデルのどち らかを使うかを検討する必要がある 1.4 加法モデルと乗法モデル 9
10. • 平滑化　 　時系列データから誤差変動を取り除き、変化のパターンを読みやすくすること • 平滑化の手法 移動平均法　平滑化のために局所的に平均を取る方法 　各時点の観測データを、その周辺のn個(ウィンドウサイズ)の単純/加重平均 に置き換える 　rollingメソッドを使えば簡単に処理ができる 移動中央値法　平準化のために局所的に中央値を取る方法 →Jupyter Notebookへ 1.5 移動平均（時系列変動の平滑化） 10
11. • 中心化移動平均 　変動周期に併せた時点の数（ウィンドウサイズ）を用いた移動平均を取れば、 原系列データから季節変動パターンを取り除くことができる。 1.6 中心化移動平均 11
12. • 　ただし、ウィンドウサイズが偶数の場合、移動平均系列と時点の対応が適切 に取れない 　7月時点に対応する系列を求めるためには、6.5月時点と7.5月時点に対応す る2点の平均を取る必要がある （補足）5項移動平均は、中心となる項から前後2個ずつの項を足して、5で割る と計算できるが、6項移動平均は、中心となる項から前後3個ずつの項を足す が、一番離れているとについてはどちらも0.5倍される 移動平均 https://bit.ly/2HPzg1K →Jupyter Notebookへ 1.6 中心化移動平均 12
13. origin 原系列 mean 移動平均 center 中心化移動平均 1.6 中心化移動平均 13 出典：みずほ米ドルレート
14. • 　時系列データに季節変動がある場合、成長率を見るためには前月/前期比伸 び率ではなく、前年同月/前年同期比の伸び率を見る必要がある。 　例）アイスクリーム2019年7月の売上と、2019年6月の売上は季節的変動の 影響があるため、比較しても仕方ない可能性が高い 　したがって、2019年7月の売上は、2018年7月の売上と比較する必要がある • 　しかし、変化の激しい現代においては、前年同月比では効果が乏しい可能性 もあり、季節的変動を取り除いた前月/前期比伸び率を計算することが考えら れる 1.7 季節調整 14
15. • 季節調整の例 ① センサス局法 移動平均を繰り返して調整 　→恣意性がある、不安定性があるなどのデメリットあり ② X-13-ARIMA 時系列データを 傾向変動(T)、季節変動(S)、不規則変動(I) の3つの基本成分の合成と考える。 　乗法モデル　基本的成分3つの積と考える　O = T × S × I 　加法モデル　基本的成分3つの和と考える　O = T + S + I • 　乗法モデルでは算術平均を使って求めるのは厳密には正しくないが、あまり 結果が変わらないので幾何平均を使うことまではしていない。 （参考）平均値の種類とその使い分けの方法 https://bit.ly/2TcYkVq 1.7 季節調整 15
16. 季節指数算定の流れ • 原系列(T × S × I)を 中心化移動平均(T)で割った 月ごとの総計を出す(S × I） • 月ごとの総計の平均を出す。 • 年間の合計が1,200（月の平均が100）になるように調整する （参考）スプレッドシート https://bit.ly/38PbRt6 1.7 季節調整 16
17. • 　季節指数の意味 100を1年の平均値と考えた場合の各月の季節効果を含んだ相対的な値 • 　季節指数を使えば年間の販売目標から、季節性を考慮した各月の販売目標 を簡単に算定できる →Jupyter Notebookへ 1.7 季節調整 17
18. • 移動平均乖離率 　移動平均系列と原系列データがどの程度離れているかを示す指標 トレンドからの乖離が大きい場合は、その後トレンドの方向に戻ってくる方向 戻ってくることが予想される 　上昇トレンドなのか、下降トレンドなのかがわかる 　 1.8 移動平均乖離率 18 株式のテクニカルチャート分析に使われる 上半分が株価の移動平均、下半分が移動平均乖離率 https://bit.ly/2T6FEqo
19. • 基本統計量 期待値 平均 分散　ばらつきを示す。標準偏差の二乗。 標準偏差　ばらつきを示す。分散の平方根。 自己共分散　元のデータと元のデータから時間をずらしたデータとの共分散 で、時系列解析特有の指標 自己相関係数　元のデータと元のデータから時間をずらしたデータとの相関係 数 コレログラム　自己相関係数をグラフ化したもの 1.9 時系列データの基本統計量と前処理 19
20. コレログラム 1.9 時系列データの基本統計量と前処理 20 コレログラムを見るとデータが周期性を もつかどうかを調べることができる 図の青色の帯は、95%信頼区間を表す ラグ14の自己相関係数までは有意であ り、14か月前の値とは相関関係が認め られることを表す
21. • データ変換 対数系列 　対数系列は、バラツキが大きすぎる時系列データを扱いやすくするために用 います（例 極端な動きをするビットコインの価格などのデータ) （参考）対数変換を行う意味について。回帰分析において対数変換する背景にある前提とは？　 https://bit.ly/38TBby5 差分系列 　顕著なトレンドを持つデータのトレンドを消すことができる 対数差分系列 　成長率に興味がある場合に用いられることが多い 21 1.9 時系列データの基本統計量と前処理
22. • 　多くのファイナンスデータは非定常過程だが、差分や対数差分を取ると、定 常過程に近づけることができる。 （参考）ARIMAモデルでnoteの週間アクティブユーザー数を予測する https://bit.ly/38Uc4v4 22 1.9 時系列データの基本統計量と前処理
23. • 欠測データの補間 1時点前の値で補間 線形補間 平均/中央値で補間 スプライン関数による補間 ※スプライン＝区分ごとに適切な式に変える手法(https://bit.ly/2Vddrkl) 参考 (pythonで)欠損値を処理する方法 https://bit.ly/2HNLpEb 23 1.9 時系列データの基本統計量と前処理
24. • 統計的仮説検定 　同時に起こることのない2つの仮説、虚無仮説と対立仮説を立て、データに基 づいてどちらの仮説を受容するかを判断する手法 虚無仮説、対立仮説 第一種過誤、第二種過誤 有意水準 p値 Shapiro-Wilk検定 　正規分布に従う母集団からサンプリングされたものであるという帰無仮説を 検定する検定 24 次ページ事例参照 1.9 時系列データの基本統計量と前処理
25. • 統計的仮説検定の例　https://to-kei.net/hypothesis-testing/about-2/ • 　予知ができると評判の占い師が野球の試合の勝ち負け予想をしたところ、5 試合連続で予想を的中させた。 　占い師の予知能力は本物と言えるか？ 　なお試合の勝率は常に1/2とする • 　仮説① この占い師には予知能力などない。 　仮説② この占い師には予知能力がある。 　仮説①、②を虚無仮説、対立仮説という。 25 1.9 時系列データの基本統計量と前処理
26. • 　予知能力なしで5連続で勝つチームを当てる確率は、50%の5乗、約3% • 　この仮説があっているか、間違っているかの判断基準を有意水準といい、有 意水準が5%ならこの判断は間違っている、となる。 • 　今回の場合の帰無仮説が正しいとしたときに、今回の占いの結果が得られる 確率約3%を p値(p value)という呼ぶ。 　p値が有意水準より小さければ帰無仮説を棄却し、対立仮説を受容する 26 判断 仮説①が正しい時 仮説②が正しい時 仮説①を棄却 第一種の過誤 正しい 仮説①を棄却しない 正しい 第二種の過誤 1.9 時系列データの基本統計量と前処理
27. • 　時間依存性（時間不変性）の発見 　データの並び順に意味を出すことが目的 • 　何を不変とするかにより、2つに分けられる 　弱定常性　平均が一定、分散が一定、自己共分散はラグのみに依存 　強定常性　同時分布が一定 参考 https://bit.ly/2v8ueuk • 　時系列解析では、定常性は 弱定常性を表す →Jupyter Notebookへ 27 1.9 時系列データの基本統計量と前処理
28. • ホワイトノイズ 　平均がゼロ、分散が一定、すべての自己共分散がゼロ（自己相関を持たな い） 　ホワイトノイズは弱定常過程、時系列解析において非常に重要な役割を果た す • 独立同分布系列(iid系列)　 　データがお互い独立でかつ同一の分布に従うホワイトノイズよりも強い仮定 を置くもの。もっとも基礎的な強定常過程 28 1.9 時系列データの基本統計量と前処理
29. • ホワイトノイズ　Wiki定義 https://bit.ly/3a1AWRL　https://bit.ly/2PhrPEi 　「ホワイト」とは、可視領域の広い範囲をまんべんなく含んだ光が白色である ことから来ている形容 　よく聞くノイズの例で擬音語で表現するなら「ザー」という音に聞こえる雑音が ピンクノイズで、「シャー」と聞こえる音がホワイトノイズ 　ホワイトノイズは全ての周波数で同じ強度となるノイズである。 　統計学の言葉で言うと、定常独立であることを意味していて、簡単にいえば 非常に不規則なノイズということである。 　ホワイトノイズはかく乱項(近似式で近似しきれない誤差分)として重要な役割 を果たす　　 29 1.9 時系列データの基本統計量と前処理
30. 以上になります！ ご清聴ありがとうございました！ 30