Amazon Forecast Getting Start

Transcript

1. みんな⼤好き時系列予測 〜Amazon Forecastで時系列予測やってみた〜 データアナリティクス事業本部 インテグレーション部 貞松 政史

2. スライドは後で⼊⼿することが出来ますので 発表中の内容をメモする必要はありません。 写真撮影をする場合は フラッシュ・シャッター⾳が出ないようにご配慮ください Attention

3. 3 ⾃⼰紹介 • ⽒名 • 貞松 政史 (サダマツ マサシ) •

   所属 • データアナリティクス事業本部 • インテグレーション部 開発チーム • 岡⼭オフィス勤務 •好きなAWSサービス • SageMaker • Lambda • Forecast ← new!

4. 4 本セッションのゴール Amazon Forecast だいたいわかった ü Amazon Forecastの概要 ü コンソール上での操作⼿順

   ü なんとなくの活⽤イメージ

5. 5 本セッションで話さないこと 時系列予測の理論的な(深い)話 がっつりシステムに組み込む話

6. 6 おしながき 1. Amazon Forecastとは 2. 時系列予測の基礎 3. コンソール上でのForecastの操作⼿順 4.

   オープンデータを使った使⽤例

7. 7 Amazon Forecastとは 1. Amazon Forecastとは 2. 時系列予測の基礎 3. コンソール上でのForecastの操作⼿順

   4. オープンデータを使った使⽤例

8. 8 Amazon Forecast とは 機械学習の経験なしで使⽤できる Amazon.comと同じテクノロジーに 基づいた正確な時系列予測サービス

9. 9 で、何ができるの︖ ü 予測したい数値を含む時系列データをインポート ü 時系列予測のアルゴリズムを選択して学習を実⾏ （AutoMLを利⽤すればアルゴリズムの選択も不要︕） ü 学習済みモデル（予測⼦）を⽤いて予測を作成 これだけで時系列予測ができちゃう

10. 10 Forecastのメリット データの収集 データの前処理 学習アルゴリズムの実装 学習済みモデルの性能検証 予測の可視化 通常の時系列予測のプロセス ⾃前で準備・実装

11. 11 Forecastのメリット データの収集 データの前処理 学習アルゴリズムの実装 学習済みモデルの性能検証 予測の可視化 Forecastを利⽤した時系列予測のプロセス ⾃前で準備 Forecastの機能

12. 12 Forecastの活⽤領域 • ⼩売の需要予測 • 在庫予測 • 収益・売上・キャッシュフローの予測 • 従業員・労働⼒の計画

    • ウェブトラフィックの⾒積 • Amazon EC2のキャパシティ予測 etc…

13. 13 Forecastの利⽤⽅法 • コンソール上で使⽤ ← 今回はこれ • AWS CLIで使⽤ •

    Jupyter Notebookで使⽤ • AWS SDKで使⽤ (for Python, for Java など)

14. 14 時系列予測の基礎 1. Amazon Forecastとは 2. 時系列予測の基礎 3. コンソール上でのForecastの操作⼿順 4.

    オープンデータを使った使⽤例

15. 15 時系列予測とは
    
    
    
    
    
    
     

         
      時間的な連続性を持つ過去の実績データから未来の数値・傾向を予測する ? ? ?

16. 16 どうやって予測するのか 0 2 4 6 8 10 12 1

    2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 value 0 10 20 30 40 50 60 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 value temp 予測対象データ⾃体の傾向 季節変動・トレンド →その他外部要因（周辺環境の変化、世界情勢）など 古典的な統計⼿法や機械学習を適⽤することで予測

17. 17 コンソール上でのForecastの操作⼿順 1. Amazon Forecastとは 2. 時系列予測の基礎 3. コンソール上でのForecastの操作⼿順 4.

    オープンデータを使った使⽤例

18. 18 Forecastの構成要素 データセットグループ データセット(必須) TARGET_TIME_SERIES データセット(任意) RELATED_TIME_SERIES データセット(任意) ITEM_METADATA 予測⼦（予測⽤の学習済みモデル）

    予測

19. 19 コンソール上でのForecastの操作⼿順 データセットグループ作成 データセット作成 データインポート 予測⼦の作成 予測の作成 予測の可視化

20. 20 サンプルデータ http://archive.ics.uci.edu/ml UCI Machine Learning で公開されている電⼒利⽤量データ

21. 21 データセットグループの作成 トップページ → Create dataset group

22. 22 データセットグループの作成 データセットグループ名とドメインを⼊⼒

23. 23 Forecast domain • RETAIL : ⼩売の需要予測 • INVENTORY_PLANNING :

    サプライチェーンと在庫の計画 • EC2 CAPACITY : Amazon EC2 キャパシティの予測 • WORK_FORCE : 従業員の計画 • WEB_TRAFFIC : 今後のウェブトラフィックの⾒積もり • METRICS : 収益およびキャッシュフローなどの予測メトリクス • CUSTOM : その他すべての時系列予測のタイプ

24. 24 データセットの作成 • データセット名 • データの時間刻み • スキーマ定義 • 必須のスキーマ

    ⁻ item_id ⁻ timestamp ⁻ target_value • 任意のスキーマ

25. 25 時系列データの時間刻み 選択可能な時間刻みの単位 • minutes : 分 • hour :

    時間 • day : ⽇ • week : 週 • month : ⽉ • year : 年

26. 26 データインポート • データセットインポート名 • タイムスタンプフォーマット ⁻ yyyy-MM-dd HH:mm:ss ⁻

    yyyy-MM-dd • IAMロール(S3のRead) • インポートするデータの場所 ⁻ S3バケット上のパス

27. 27 予測⼦の作成

28. 28 予測⼦の作成 • 予測⼦名 • 予測範囲（期間） • 予測の時間刻み • 予測アルゴリズムの選択

    ⁻ AutoML（⾃動選択） ⁻ Manual（⼿動選択）

29. 29 予測⼦の作成 Forecastで使⽤可能な時系列予測アルゴリズム • ARIMA : ⾃⼰回帰和分移動平均 • DeepAR+ :

    再帰型ニューラルネットワーク (RNN) を使⽤してスカ ラー (1次元) 時系列を予測するための、教師あり学習アルゴリズム • ETS : 指数平滑法 • NPTS : ノンパラメトリック時系列 • Prophet : 局所的なベイズ構造時系列モデル

30. 30 予測⼦の作成 • Forecast dimensions • Backtest window ⁻ Number

    of windows ⁻ Offset • Advanced configutations ⁻ ハイパーパラメータ設定など

31. 31 作成した予測⼦の確認

32. 32 作成した予測⼦の確認

33. 33 作成した予測⼦の確認 平均平⽅⼆乗誤差 (Root Mean Squared Error, RMSE) 外れ値 (⼤きなズレ)

    を より⼤きな誤差として扱う -0.2 0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35 37 39 41 43 45 47 49 51 53 55 57 59 61 63 65 67 69 71 73 75 77 79 81 83 85 87 89 91 93 95 97 99
    
      値が⼩さいほど良い

34. 34 作成した予測⼦の確認 重み付けされた分位損失 (weighted Quantile Loss) 値が⼩さいほど良い

35. 35 予測の作成

36. 36 予測の作成 予測名と予測⼦を⼊⼒

37. 37 予測の可視化 27 
    

38. 38 予測の可視化 27 
    

39. 39 予測のエクスポート

40. 40 予測のエクスポート • 予測エクスポート名 • 出⼒する予測結果 • IAM（S3 Write） •

    出⼒先のS3バケットのパス

41. 41 予測のエクスポート 指定したS3バケットのパスにファイル出⼒ ←予測結果データが ⼊ったCSVファイル

42. 42 予測のエクスポート 以下の列項⽬を含む • item_id • date • p10, p50,

    p90

43. 43 ユースケース 1. Amazon Forecastとは 2. 時系列予測の基礎 3. コンソール上でのForecastの操作⼿順 4.

    オープンデータを使った使⽤例

44. 44 福岡市のインフルエンザ報告数 https://ckan.open-governmentdata.org/dataset/influenza401307fukuoka

45. 45 データ仕様 データ期間︓2015年7⽉〜2019年8⽉（1週間刻み）

46. 46 データの前処理 組み合わせて item_idに 年と週番号を週頭の 年⽉⽇に変換して timestampに そのまま target_valueに

47. 47 データの前処理結果 item_id, timestamp, target_valueを持つデータに変換完了 item_idが⽇本語の値 → 問題なし ※但しファイルの⽂字コードがUTF-8になっていること

48. 48 ここからはForcastの出番 あとは Forecast におまかせ︕

49. 49 予測の可視化 ↑⽇本語のitem_id

50. 50 予測の可視化

51. 51 Bless you. インフルエンザには気をつけましょう

52. まとめ

53. 53 まとめ Amazon Forecastは機械学習の経験が無くても 使⽤可能な時系列予測サービス データの収集・前処理さえしておけばGUI上で ポチポチするだけで時系列予測ができる 幾つかの制限・課題はあるものの既に時系列データを 蓄積している幅広い分野で活⽤できる可能性がある

54. 54 結論 Amazon Forecast はいいぞ

55. 55