CTO Night & Day - AutoML

Transcript

1. © 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Morning session (AI/ML) AI services: AutoML
2. Forecast Amazon
3. Forecasting 将来のビジネスニーズを予測するための科学的手法 予測は複数の事業ドメインに適用可能な技術 在庫管理 人員配置計画 財務予測 キャパシティ管理
4. Forecasting の技術 統計的手法を用いることで、特定商品の十分な精度の予測が可能 季節もの 日用品 周期性・季節性
5. Forecasting の技術 …しかし、他の多くのタイプの商品では正確な需要予測が難しい 高い価格変動性 購買頻度の低い商品 地域的・国ごとの需要
6. Forecasting の技術 …しかし、他の多くのタイプの商品では正確な需要予測が難しい もしゲーム・オブ・スローンズ の新シーズンがハロウィン前に公開されたらどうなるか？ 新商品 季節性の高い商品
7. Forecasting at Amazon 難しい予測の問題を解くために機械学習を用いる 2007年に初めてデプロイされた機械学習の予測モデル Sparse Quantile Random Forest (SQRF) SQRF による改善… • 数十億のトレーニングデータに対応 • 疎なデータや欠損値のあるデータで成功 • 年間予測の確率分布を取得可能 しかし… • 関連商品の需要履歴を用いて精度向上させることができなかった
8. Forecasting at Amazon 難しい予測の問題を解くために機械学習を用いる 2000 2002 2000 2007 2010 2012 2015 2016 正確度 (accuracy) において15倍の向上 深層学習 の導入 機械学習 の導入
9. Forecasting at Amazon 予測システムで深層学習を活用する 初期の機械学習テクニックでの予測誤差を埋めるために 深層学習を導入 正確度 (accuracy) において15倍の向上 – 圧倒的な性能差 高い可用性、高速な出荷、低いコスト
10. Forecasting at Amazon 深層学習による予測は Amazon での巨大なスケールを支えている 4億 Amazon の予測技術はグローバルで 毎日4億以上の商品需要を計算している 1万 1万を超える郵便番号での需要予測 12 正確な予測により12以上の出荷方法でフルフィルメントを可能に
11. Amazon.com と同じ技術に基づき将来のビジネス状況を予測
12. Amazon Forecast 世界最大の Eコマースビジネスを支える技術 • 予測のための完全なマネージドサービス • Amazon と同じ機械学習のテクノロジー • 深層学習を用いた正確度の高い予測 • 機械学習の専門知識がなくても使える • お客様のデータでトレーニングされた カスタム・プライベートな機械学習モデル
13. Private forecasting API Amazon Forecast Amazon Forecast 世界最大の Eコマースビジネスを支える技術 数クリックで簡単に使える Amazon Forecast でデータの指定 カスタムの機械学習モデルを トレーニング モデルを選ぶか AutoML で Amazon Forecast に モデルを自動選択させる 正確な予測のダウンロード プライベートな API 経由で予測結果の取得 履歴データ 売上、過去の需要、 サプライチェーン、 在庫、など 関連データ 天気、特別オファー、 商品詳細
14. Customized forecasting API データ検証 特徴量の特定 アルゴリズム選択 ハイパーパラメータ 選択 モデルの ホスティング データ 読み込み モデルの トレーニング モデル最適化 Amazon Forecast Amazon Forecast Behind the scenes Fully managed by Amazon Forecast 履歴データ 売上、過去の需要、 サプライチェーン、 在庫、など 関連データ 天気、特別オファー、 商品詳細
15. メタデータ 季節性 関係変数 (例: 価格、休日、 プロモーション) 履歴のないアイテム Amazon Forecast 予測のシナリオ
16. お客様専用の プライベートなモデル 複数指標の予測 予測を簡単に可視化 結果の出力 Amazon Forecast 最近の機械学習技術でビジネスを加速
17. PSE は Amazon Forecast を使用して、典型的な住環境での電気・ガスの消費量を予測しています。 顧客の自宅や企業でのより正確なエネルギー使用量の予測が彼らにとって不可欠です。 CJ Logisticsは、小包量の予測プロセス内で Amazon Forecast を使用して、 需要を満たすためにプロビジョニングすべき人材、輸送、倉庫スペースの量を最適化しています。 CasaOne は家具レンタルの会社です。彼らは、Amazon Forecast を使用して、 在庫計画のため様々な場所での多種多様な家具の需要を予測しています。 お客様事例
18. O Motor は Amazon Forecast を使用して今後12か月の売上を予測し、適切な在庫計画、 将来の収益性の予測、市場シェア増減の追跡、その他の洞察を得ています。 Dev Factory は、Amazon Forecast を一部の製品の基本機能として取り入れ、 結果的に売上をより正確に予測し、より良い在庫計画を可能にしています。 お客様事例
19. FRAMEWORKS INTERFACES INFRASTRUCTURE AI Services Broadest and deepest set of capabilities T H E A W S M L S T A C K VISION SPEECH LANGUAGE CHATBOTS FORECASTING RECOMMENDATIONS ML Services ML Frameworks + Infrastructure P O L L Y T R A N S C R I B E T R A N S L A T E C O M P R E H E N D & C O M P R E H E N D M E D I C A L L E X F O R E C A S T R E K O G N I T I O N I M A G E R E K O G N I T I O N V I D E O T E X T R A C T P E R S O N A L I Z E Ground Truth Notebooks Algorithms + Marketplace Reinforcement Learning Training Optimization Deployment Hosting Amazon SageMaker F P G A S E C 2 P 3 & P 3 D N E C 2 G 4 E C 2 C 5 I N F E R E N T I A G R E E N G R A S S E L A S T I C I N F E R E N C E D L C O N T A I N E R S & A M I s
20. Demo
21. Amazon Forecast は確率分布の分位数 (percentile) を返す https://docs.aws.amazon.com/forecast/latest/dg/metrics.html
22. 確率的予測モデル
23. 確率的予測モデル
24. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Trademark Amazon Personalize
25. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark 2019 深 層 学 習 フ レ ー ム ワ ー ク & イ ン フ ラ ス ト ラ ク チ ャ A I サ ー ビ ス R E K O G N I T I O N I M A G E P O L L Y T R A N S C R I B E T R A N S L A T E C O M P R E H E N D & C O M P R E H E N D M E D I C A L L E X R E K O G N I T I O N V I D E O Vision Speech Language Chatbots A M A Z O N S A G E M A K E R B U I L D T R A I N F O R E C A S T Forecasting T E X T R A C T P E R S O N A L I Z E Recommendations D E P L O Y Pre-built algorithms Data labeling (G R O U N D T R U T H ) One-click model training & tuning Optimization (N E O ) M L サ ー ビ ス F r a m e w o r k s I n t e r f a c e s I n f r a s t r u c t u r e E C 2 P 3 & P 3 d n E C 2 C 5 F P G A s G R E E N G R A S S E L A S T I C I N F E R E N C E Reinforcement learning Algorithms & models ( A W S M A R K E T P L A C E F O R M A C H I N E L E A R N I N G ) I N F E R E N T I A Notebook Hosting One-click deployment & hosting Auto-scaling Virtual Private Cloud Private Link Elastic Inference integration Hyper Parameter Optimization
26. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Trademark Introducing: Amazon Personalize Amazon.com と同様のテクノロジーに基づく リアルタイムのパーソナライゼーションと レコメンデーション
27. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Trademark 商品の推薦 検索の パーソナライズ パーソナライズ された通知 Emails
28. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Trademark エンゲージメント (最大15%の向上) 商品の発掘 (テール商品のクリックが最大 80%) 売上 (最大5%の向上) コンバージョン (最大30%の向上)
29. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Trademark 人気の罠 ナイーブなモデルは人気ランキングと似たような商品を推薦してしまう コールドスタート 新規ユーザーにも適切な推薦をし、新規商品も推薦対象に含める必要がある スケーラビリティ 数百万ものユーザーとアイテムへスケールさせる必要がある リアルタイム ユーザーの意図に柔軟に反応する必要がある モデル構築 パーソナライゼーションのモデルはビジネス価値とユーザー行動を忠実に反映する必要がある
30. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Trademark アイテム素性 (Articles, products, videos, etc.) ユーザー素性 (Age, location, etc.) Amazon Personalize カスタマイズされた recommendation API ユーザー行動 (Views, signups, conversion, etc.)
31. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Trademark カスタマイズされた recommendation API A m a z o n P e r s o n a l i z e に よ り フ ル マ ネ ー ジ Amazon Personalize データの検査 特徴検出 アルゴリズム 選択 ハイパーパラメータ選択 モデルの トレーニング モデルの最適化 モデルの ホスティング 特徴量のストア リアルタイム キャッシュ アプリからの ユーザー行動 ストリーム 在庫 人口統計 (optional)
32. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Trademark リアルタイム どんな商品・ コンテキストでも使える K E Y F E AT U R E S ユーザーの意図の 変化に対応 AutoML Amazon SageMaker から 既存アルゴリズムの持ち込み 質の高い推薦が可能 深層学習 アルゴリズム 簡単に使える
33. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Trademark Demo
34. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark User-Item interaction 0 1 2 3 4 0 1 0 0 1 1 1 0 1 1 0 0 2 0 1 0 1 0 3 1 0 1 0 0 USER_ID ITEM_ID USER_ID ITEM_ID TIMESTAMP 0 0 1112486027 0 3 1112486270 0 4 1112484676 1 1 1112484766 1 2 1112484819 2 1 1112484198 2 3 1112484727 3 0 1112484277 3 2 1112484580 CSV ファイル (Amazon S3 に置く)
35. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark レシピ (アルゴリズム) の種類と API のリクエストパラメータ • USER_PERSONALIZATION • GetRecommendations • userId: Required • itemId: Optional • PERSONALIZED_RANKING • GetPersonalizedRanking • userId: Required • inputList: list of itemId's • RELATED_ITEMS • GetRecommendations • itemId: Required
36. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark レシピ (アルゴリズム) の種類 • USER_PERSONALIZATION • HRNN^ (階層型 RNN): ユーザーの行動変化をモデル化 • Reference: arXiv:1706.04148 [cs.LG] • HRNN-Metadata^*: HRNN にユーザー・アイテムのメタデータを加味 • HRNN-Coldstart^*: HRNN-Metadata に新規アイテム推薦を強化 • Popularity-Count: 人気順でソート。他アルゴリズムと比較のためのベースライン • PERSONALIZED_RANKING • Personalized-Ranking : HRNN で結果のフィルター・リランク (並び替え) • RELATED_ITEMS • SIMS: アイテムベースのレコメンド。User-Item データの共起を基に計算 ^) AutoML で使用されるアルゴリズム *) User-Item インタラクションの他にメタデータが必要
37. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark 使い方 AWS ブログ (Movie Lens Dataset) https://aws.amazon.com/jp/blogs/news/am azon-personalize-real-time-personalization- and-recommendation-for-everyone/ 推論は Amazon Personalize Runtime https://docs.aws.amazon.com/ja_jp/persona lize/latest/dg/API_Operations_Amazon_Pers onalize_Runtime.html
38. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark 料⾦ 料金 データ取り込み 0.05 USD/GB トレーニング 0.24 USD/トレーニング時間* レコメンデーション 最初の 20K TPS-時間まで 次の 180K TPS-時間 200K TPS-時間 以上 0.20 USD/TPS-時間 0.10 USD/TPS-時間 0.05 USD/TPS-時間 *) 1トレーニング時間 = 4v CPU と 8 GiB メモリを使用する 1 時間のコンピューティング能力 AutoML や HPO を使うと、1時間あたり多くの「トレーニング時間」を消費する場合があるので注意。 https://aws.amazon.com/jp/personalize/pricing/ (2019/10/09 時点)
39. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark Personalizing customer experiences Domino’s uses Amazon Personalize to customize and scale relevant marketing communications to customers based on time, context, and content, thereby improving and enhancing their experience with the Domino’s brand.
40. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Trademark ml.aws