CTO Night & Day - AutoML

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Forecast Amazon

Slide 3

Slide 3 text

Forecasting 将来のビジネスニーズを予測するための科学的手法予測は複数の事業ドメインに適用可能な技術在庫管理人員配置計画財務予測キャパシティ管理

Slide 4

Slide 4 text

Forecasting の技術統計的手法を用いることで、特定商品の十分な精度の予測が可能季節もの日用品周期性・季節性

Slide 5

Slide 5 text

Forecasting の技術 …しかし、他の多くのタイプの商品では正確な需要予測が難しい高い価格変動性購買頻度の低い商品地域的・国ごとの需要

Slide 6

Slide 6 text

Forecasting の技術 …しかし、他の多くのタイプの商品では正確な需要予測が難しいもしゲーム・オブ・スローンズの新シーズンがハロウィン前に公開されたらどうなるか？新商品季節性の高い商品

Slide 7

Slide 7 text

Forecasting at Amazon 難しい予測の問題を解くために機械学習を用いる 2007年に初めてデプロイされた機械学習の予測モデル Sparse Quantile Random Forest (SQRF) SQRF による改善… • 数十億のトレーニングデータに対応 • 疎なデータや欠損値のあるデータで成功 • 年間予測の確率分布を取得可能しかし… • 関連商品の需要履歴を用いて精度向上させることができなかった

Slide 8

Slide 8 text

Forecasting at Amazon 難しい予測の問題を解くために機械学習を用いる 2000 2002 2000 2007 2010 2012 2015 2016 正確度 (accuracy) において15倍の向上深層学習の導入機械学習の導入

Slide 9

Slide 9 text

Forecasting at Amazon 予測システムで深層学習を活用する初期の機械学習テクニックでの予測誤差を埋めるために深層学習を導入正確度 (accuracy) において15倍の向上 – 圧倒的な性能差高い可用性、高速な出荷、低いコスト

Slide 10

Slide 10 text

Forecasting at Amazon 深層学習による予測は Amazon での巨大なスケールを支えている 4億 Amazon の予測技術はグローバルで毎日4億以上の商品需要を計算している 1万 1万を超える郵便番号での需要予測 12 正確な予測により12以上の出荷方法でフルフィルメントを可能に

Slide 11

Slide 11 text

Amazon.com と同じ技術に基づき将来のビジネス状況を予測

Slide 12

Slide 12 text

Amazon Forecast 世界最大の Eコマースビジネスを支える技術 • 予測のための完全なマネージドサービス • Amazon と同じ機械学習のテクノロジー • 深層学習を用いた正確度の高い予測 • 機械学習の専門知識がなくても使える • お客様のデータでトレーニングされたカスタム・プライベートな機械学習モデル

Slide 13

Slide 13 text

Private forecasting API Amazon Forecast Amazon Forecast 世界最大の Eコマースビジネスを支える技術数クリックで簡単に使える Amazon Forecast でデータの指定カスタムの機械学習モデルをトレーニングモデルを選ぶか AutoML で Amazon Forecast にモデルを自動選択させる正確な予測のダウンロードプライベートな API 経由で予測結果の取得履歴データ売上、過去の需要、サプライチェーン、在庫、など関連データ天気、特別オファー、商品詳細

Slide 14

Slide 14 text

Customized forecasting API データ検証特徴量の特定アルゴリズム選択ハイパーパラメータ選択モデルのホスティングデータ読み込みモデルのトレーニングモデル最適化 Amazon Forecast Amazon Forecast Behind the scenes Fully managed by Amazon Forecast 履歴データ売上、過去の需要、サプライチェーン、在庫、など関連データ天気、特別オファー、商品詳細

Slide 15

Slide 15 text

メタデータ季節性関係変数 (例: 価格、休日、プロモーション) 履歴のないアイテム Amazon Forecast 予測のシナリオ

Slide 16

Slide 16 text

お客様専用のプライベートなモデル複数指標の予測予測を簡単に可視化結果の出力 Amazon Forecast 最近の機械学習技術でビジネスを加速

Slide 17

Slide 17 text

PSE は Amazon Forecast を使用して、典型的な住環境での電気・ガスの消費量を予測しています。顧客の自宅や企業でのより正確なエネルギー使用量の予測が彼らにとって不可欠です。 CJ Logisticsは、小包量の予測プロセス内で Amazon Forecast を使用して、需要を満たすためにプロビジョニングすべき人材、輸送、倉庫スペースの量を最適化しています。 CasaOne は家具レンタルの会社です。彼らは、Amazon Forecast を使用して、在庫計画のため様々な場所での多種多様な家具の需要を予測しています。お客様事例

Slide 18

Slide 18 text

O Motor は Amazon Forecast を使用して今後12か月の売上を予測し、適切な在庫計画、将来の収益性の予測、市場シェア増減の追跡、その他の洞察を得ています。 Dev Factory は、Amazon Forecast を一部の製品の基本機能として取り入れ、結果的に売上をより正確に予測し、より良い在庫計画を可能にしています。お客様事例

Slide 19

Slide 19 text

FRAMEWORKS INTERFACES INFRASTRUCTURE AI Services Broadest and deepest set of capabilities T H E A W S M L S T A C K VISION SPEECH LANGUAGE CHATBOTS FORECASTING RECOMMENDATIONS ML Services ML Frameworks + Infrastructure P O L L Y T R A N S C R I B E T R A N S L A T E C O M P R E H E N D & C O M P R E H E N D M E D I C A L L E X F O R E C A S T R E K O G N I T I O N I M A G E R E K O G N I T I O N V I D E O T E X T R A C T P E R S O N A L I Z E Ground Truth Notebooks Algorithms + Marketplace Reinforcement Learning Training Optimization Deployment Hosting Amazon SageMaker F P G A S E C 2 P 3 & P 3 D N E C 2 G 4 E C 2 C 5 I N F E R E N T I A G R E E N G R A S S E L A S T I C I N F E R E N C E D L C O N T A I N E R S & A M I s

Slide 20

Slide 20 text

Demo

Slide 21

Slide 21 text

Amazon Forecast は確率分布の分位数 (percentile) を返す https://docs.aws.amazon.com/forecast/latest/dg/metrics.html

Slide 22

Slide 22 text

確率的予測モデル

Slide 23

Slide 23 text

確率的予測モデル

Slide 24

Slide 24 text

Slide 25

Slide 25 text

© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark 2019 深層学習フレームワーク & インフラストラクチャ A I サービス R E K O G N I T I O N I M A G E P O L L Y T R A N S C R I B E T R A N S L A T E C O M P R E H E N D & C O M P R E H E N D M E D I C A L L E X R E K O G N I T I O N V I D E O Vision Speech Language Chatbots A M A Z O N S A G E M A K E R B U I L D T R A I N F O R E C A S T Forecasting T E X T R A C T P E R S O N A L I Z E Recommendations D E P L O Y Pre-built algorithms Data labeling (G R O U N D T R U T H ) One-click model training & tuning Optimization (N E O ) M L サービス F r a m e w o r k s I n t e r f a c e s I n f r a s t r u c t u r e E C 2 P 3 & P 3 d n E C 2 C 5 F P G A s G R E E N G R A S S E L A S T I C I N F E R E N C E Reinforcement learning Algorithms & models ( A W S M A R K E T P L A C E F O R M A C H I N E L E A R N I N G ) I N F E R E N T I A Notebook Hosting One-click deployment & hosting Auto-scaling Virtual Private Cloud Private Link Elastic Inference integration Hyper Parameter Optimization

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Trademark 人気の罠ナイーブなモデルは人気ランキングと似たような商品を推薦してしまうコールドスタート新規ユーザーにも適切な推薦をし、新規商品も推薦対象に含める必要があるスケーラビリティ数百万ものユーザーとアイテムへスケールさせる必要があるリアルタイムユーザーの意図に柔軟に反応する必要があるモデル構築パーソナライゼーションのモデルはビジネス価値とユーザー行動を忠実に反映する必要がある

Slide 30

Slide 30 text

© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Trademark アイテム素性 (Articles, products, videos, etc.) ユーザー素性 (Age, location, etc.) Amazon Personalize カスタマイズされた recommendation API ユーザー行動 (Views, signups, conversion, etc.)

Slide 31

Slide 31 text

© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Trademark カスタマイズされた recommendation API A m a z o n P e r s o n a l i z e によりフルマネージ Amazon Personalize データの検査特徴検出アルゴリズム選択ハイパーパラメータ選択モデルのトレーニングモデルの最適化モデルのホスティング特徴量のストアリアルタイムキャッシュアプリからのユーザー行動ストリーム在庫人口統計 (optional)

Slide 32

Slide 32 text

© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Trademark リアルタイムどんな商品・コンテキストでも使える K E Y F E AT U R E S ユーザーの意図の変化に対応 AutoML Amazon SageMaker から既存アルゴリズムの持ち込み質の高い推薦が可能深層学習アルゴリズム簡単に使える

Slide 33

Slide 33 text

Slide 34

Slide 34 text

© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark User-Item interaction 0 1 2 3 4 0 1 0 0 1 1 1 0 1 1 0 0 2 0 1 0 1 0 3 1 0 1 0 0 USER_ID ITEM_ID USER_ID ITEM_ID TIMESTAMP 0 0 1112486027 0 3 1112486270 0 4 1112484676 1 1 1112484766 1 2 1112484819 2 1 1112484198 2 3 1112484727 3 0 1112484277 3 2 1112484580 CSV ファイル (Amazon S3 に置く)

Slide 35

Slide 35 text

© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark レシピ (アルゴリズム) の種類と API のリクエストパラメータ • USER_PERSONALIZATION • GetRecommendations • userId: Required • itemId: Optional • PERSONALIZED_RANKING • GetPersonalizedRanking • userId: Required • inputList: list of itemId's • RELATED_ITEMS • GetRecommendations • itemId: Required

Slide 36

Slide 36 text

© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark レシピ (アルゴリズム) の種類 • USER_PERSONALIZATION • HRNN^ (階層型 RNN): ユーザーの行動変化をモデル化 • Reference: arXiv:1706.04148 [cs.LG] • HRNN-Metadata^*: HRNN にユーザー・アイテムのメタデータを加味 • HRNN-Coldstart^*: HRNN-Metadata に新規アイテム推薦を強化 • Popularity-Count: 人気順でソート。他アルゴリズムと比較のためのベースライン • PERSONALIZED_RANKING • Personalized-Ranking : HRNN で結果のフィルター・リランク (並び替え) • RELATED_ITEMS • SIMS: アイテムベースのレコメンド。User-Item データの共起を基に計算 ^) AutoML で使用されるアルゴリズム *) User-Item インタラクションの他にメタデータが必要

Slide 37

Slide 37 text

© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark 使い方 AWS ブログ (Movie Lens Dataset) https://aws.amazon.com/jp/blogs/news/am azon-personalize-real-time-personalization- and-recommendation-for-everyone/ 推論は Amazon Personalize Runtime https://docs.aws.amazon.com/ja_jp/persona lize/latest/dg/API_Operations_Amazon_Pers onalize_Runtime.html

Slide 38

Slide 38 text

© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark 料⾦料金データ取り込み 0.05 USD/GB トレーニング 0.24 USD/トレーニング時間* レコメンデーション最初の 20K TPS-時間まで次の 180K TPS-時間 200K TPS-時間以上 0.20 USD/TPS-時間 0.10 USD/TPS-時間 0.05 USD/TPS-時間 *) 1トレーニング時間 = 4v CPU と 8 GiB メモリを使用する 1 時間のコンピューティング能力 AutoML や HPO を使うと、1時間あたり多くの「トレーニング時間」を消費する場合があるので注意。 https://aws.amazon.com/jp/personalize/pricing/ (2019/10/09 時点)

Slide 39

Slide 39 text

© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark Personalizing customer experiences Domino’s uses Amazon Personalize to customize and scale relevant marketing communications to customers based on time, context, and content, thereby improving and enhancing their experience with the Domino’s brand.