Amazon SageMaker Hands-on Workshop

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Yoshitaka Haribara, Ph.D. AWS Startup Solutions Architect Tokyo, Japan 2018年 AWS Japan 入社。ソリューションアーキテクトとして日本のスタートアップに対する AWS 導入支援を行っており、特に機械学習基盤の設計・構築や、開発体制の整備にまつわる相談を手掛ける。趣味はドラム。好きなドラマーは Dave Weckl, Chad Smith (Red Hot Chili Peppers) など。

Slide 3

Slide 3 text

3 © 2020 Amazon Web Services, Inc. or its affiliates. All rights reserved | AWS ML stack 最も広範かつ充実した機械学習のサービス群 VISION SPEECH TEXT SEARCH CHATBOTS PERSONALIZATION FORECASTING FRAUD DEVELOPMENT CONTACT CENTERS Ground Truth AWS Marketplace for ML Neo Augmented AI Built-in algorithms Notebooks Experiments Processing Model training & tuning Debugger Autopilot Model hosting Model Monitor Deep Learning AMIs & Containers GPUs & CPUs Elastic Inference Inferentia FPGA Amazon Rekognition Amazon Polly Amazon Transcribe +Medical Amazon Comprehend +Medical Amazon Translate Amazon Lex Amazon Personalize Amazon Forecast Amazon Fraud Detector Amazon CodeGuru AI SERVICES ML SERVICES ML FRAMEWORKS & INFRASTRUCTURE Amazon Textract Amazon Kendra Contact Lens For Amazon Connect SageMaker Studio IDE Amazon SageMaker DeepGraphLibrary Deep Java Library

Slide 4

Slide 4 text

4 © 2020 Amazon Web Services, Inc. or its affiliates. All rights reserved | 機械学習のワークフローは反復的かつ複雑トレーニングデータを収集して準備 MLアルゴリズムを選択または独自モデルを持ち込みトレーニング環境の設定と管理モデルのトレーニング、デバッグ、チューニングトレーニング実行の管理本番環境でのモデルの展開モデルのモニタリング予測の検証本番環境の拡張と管理

Slide 5

Slide 5 text

5 © 2020 Amazon Web Services, Inc. or its affiliates. All rights reserved | Amazon SageMaker でモデル構築、トレーニング、デプロイトレーニングデータを収集して準備完全マネージド型データ処理ジョブ/ データラベル付けのワークフロー MLアルゴリズムを選択または独自モデルを持ち込みコラボレーティブ・ノートブックビルトインアルゴリズム/モデルトレーニング環境の設定と管理ワンクリックでトレーニングモデルのトレーニング、デバッグ、チューニングデバッグと最適化トレーニング実行の管理実験を視覚的に追跡して比較する本番環境でのモデルの展開ワンクリック展開と自動スケーリングモデルのモニタリングコンセプトのドリフトを自動的に検出予測の検証予測のヒューマンレビューを追加本番環境の拡張と管理完全マネージド型自動スケーリングで 75% 削減 ML用ウェブベースのIDE モデルの自動構築とトレーニング

Slide 6

Slide 6 text

6 © 2020 Amazon Web Services, Inc. or its affiliates. All rights reserved | ML を簡単にワンクリックでトレーニング/デプロイ、ビルトインアルゴリズム、自動チューニング拡張可能なパフォーマンスパワフルな GPU へのオンデマンドアクセス自動拡張、分散トレーニング費用対効果の高さデータラベリングのコストを最大70% 削減、マネージされたスポットトレーニング、クラウド市場において最安値の推論モデルセキュリティセキュリティ機能の充実したセット：ネットワーク分離、アクセス制御、暗号化、コンプライアンス DevOps 対応 Kubernetes で実行するオプションを備えた完全マネージド型の MLOps 少なくとも 54% 他のクラウドベースのオプションとの比較で低い TCO 効率的に 100台のGPUに拡張可能単一 IDE Webベースのビジュアルインターフェイスですべての MLステップを実行する幅広いコンプライアンス： SOC | PCI | ISO | フェドラム | HIPAA | GDPR | FIPS KUBERNETES と Kubebflow の統合 6 © 2020 Amazon Web Services, Inc. or its affiliates. All rights reserved | Amazon SageMaker ML向けエンド to エンドソリューション

Slide 7

Slide 7 text

7 © 2020 Amazon Web Services, Inc. or its affiliates. All rights reserved | 10倍開発者の生産性を向上させます詳細については、ブログ記事をご参照ください http://bit.ly/mlTCO 3年間にわたり、最低 54% 低い TCO を提供します Amazon SageMaker Security Compliance Operations ML infrastructure

Slide 8

Slide 8 text

Slide 9

Slide 9 text

10 © 2020 Amazon Web Services, Inc. or its affiliates. All rights reserved | 典型的な SageMaker ユースケース予知保全製造、自動車、IoT 需要予測小売、消費財、製造不正行為検出機能金融サービス、オンライン小売信用リスク予測金融サービス、小売文書からのデータ抽出と分析医療、法務、メディア/ エンターテイメント、教育コンピュータビジョンヘルスケア、製薬、製造自動運転自動車、輸送パーソナライズされた推奨事項メディア&エンターテインメント、小売、教育チャーン予測小売、教育、ソフトウェア、インターネット http://bit.ly/ sagemaker-use-cases

Slide 10

Slide 10 text

11 © 2020 Amazon Web Services, Inc. or its affiliates. All rights reserved | カスタマイズされたソリューション : データセット、AWS CloudFormation テンプレート及び参照アーキテクチャを使用して、数回のクリックで SageMaker に簡単にデプロイできます Amazon SageMaker でトップユースケース向けにカスタマイズされたソリューションすぐに使えるモデルを使用することも、特定のユースケースに合わせてカスタマイズすることもできます数回のクリックで SageMaker にデプロイ簡単にデータセットをポイント詳細については、下記リンクをご覧ください https://aws.amazon.com/ sagemaker/getting-started/ MLソリューションを 1 日以内に立ち上げ

Slide 11

Slide 11 text

Slide 12

Slide 12 text

13 © 2020 Amazon Web Services, Inc. or its affiliates. All rights reserved | Lyftは、米国とカナダで最大の交通ネットワークの一つであり、2017年に Level 5の自動運転車 (Autonomous Vehicle) 部門を立ち上げ、数百万人ものライダーを支援する自動運転システムを開発しました。 Amazon SageMaker 分散トレーニングを使用して、モデルのトレーニング時間を数日から数時間に短縮しました。AWS で機械学習過程を標準化することで、開発サイクルを合理化し、コストを削減し、最終的に自動運転機能をお客様に提供するというミッションを加速しました。 —アレックス・ベイン Lyft Level 5のMLシステムのリード

Slide 13

Slide 13 text

14 © 2020 Amazon Web Services, Inc. or its affiliates. All rights reserved | バラバラな ML ソリューションの乱立チーム間での共同作業が困難開発サイクルの長期化、コストの増加 PROBLEM トレーニングを SageMaker で標準化オンデマンドまたはマネージドスポットインスタンスを使用した単一ノードおよび分散トレーニング SOLUTION モデルトレーニング時間を数日から数時間未満に短縮 (分散トレーニングクラスターを使用) エンジニアリングコストの削減 IMPACT 14 © 2020 Amazon Web Services, Inc. or its affiliates. All rights reserved |

Slide 14

Slide 14 text

15 © 2020 Amazon Web Services, Inc. or its affiliates. All rights reserved | SOLUTION ARCHITECTURE Lyft Level 5 トレーニングデータ Amazon S3 に保存されたモデル成果物コンテナマネージドスポット、分散型および単一ノードトレーニング Training jobs Amazon SageMaker GPUs

Slide 15

Slide 15 text

16 © 2020 Amazon Web Services, Inc. or its affiliates. All rights reserved | 3TB以上のデータ、週 1,500時間以上の再生時間リアルタイム統計のMLソリューションが必要、リーンチーム、データ・サイエンスの専門知識なし PROBLEM Next Gen Stats (NGS) 選手やゲームボールの RFID タグから AWS にライブデータを配信 1秒未満で100ステップ以上のデータ処理リアルタイム予測 APIとオンスクリーングラフィック経由で公開される統計情報の出力及び画面上のグラフィック SOLUTION 20以上の統計を即座に起動スポーツアナウンサーはファンを惹きつける興味深いデータポイントを取得 IMPACT 16 © 2020 Amazon Web Services, Inc. or its affiliates. All rights reserved |

Slide 16

Slide 16 text

17 © 2020 Amazon Web Services, Inc. or its affiliates. All rights reserved | SOLUTION ARCHITECTURE Next Gen Stats ソリューション全体を AWS で実行 Amazon SageMaker では、MLモデルを既存の分析パイプラインにデプロイできますストリーミングデータアーキテクチャ 150ms Apache Kafka Real-time data Data distributors Stadium Stats FTP Tracking data Traditional stats NGS processors Amazon SageMaker ML processors NGS Datastore Websites NGS API Club tools 1000ms

Slide 17

Slide 17 text

18 © 2020 Amazon Web Services, Inc. or its affiliates. All rights reserved | トムソン・ロイター様は、大規模な ML を活用したいと考えていました。セキュリティポリシーへのコンプライアンスを確保しながら、データへの安全なアクセスが必要。 PROBLEM Secure Content Workspaces (SCW) SCWは、社内セキュリティ標準に準拠したデータへのアクセスを提供。 Amazon SageMaker は、SCW を通じて有効化され、完全マネージド型の機械学習環境を提供。 SOLUTION データサイエンティストは、トムソン・ロイター様のポリシーに従い、安全に大規模な実験をできるようになりました。クラウド・コンピューティング・リソースへのスムーズなアクセスにより、トムソン・ロイター様の顧客にインテリジェントでタイムリーなソリューションを提供できます。 IMPACT ビジネスおよびプロフェッショナル向けの、インテリジェントで信頼性の高い情報のリーディングソース 18 © 2020 Amazon Web Services, Inc. or its affiliates. All rights reserved |

Slide 18

Slide 18 text

19 © 2020 Amazon Web Services, Inc. or its affiliates. All rights reserved | SOLUTION ARCHITECTURE Thomson Reuters Amazon SageMaker の SCW では、適切な権限、セキュリティ、ユーザーロールなどのデータへのアクセスを許可できます。コンピューティングオプションへの完全マネージドアクセス: CPU、GPU、スポットインスタンス。 Reads models Amazon SageMaker Model Building TR content owner Scientist Managed Spot Training Scientist’s secure storage TR content SageMaker Notebook environment SCW Github Enterprise Amazon SageMaker Training Amazon SageMaker Hosting GPUs Scientist’s secure storage Creates “workspace” and “services” Requests access to TR data Grants access to TR content Provisions Notebook environment Provisions Grants Launches (start, stop, open) Data science Discovery Interactive model building Launches training at scale Writes models

Slide 19

Slide 19 text

20 © 2020 Amazon Web Services, Inc. or its affiliates. All rights reserved | 「Cinnamon AI は、Amazon SageMaker マネージドスポットトレーニングで ML モデルのトレーニングコストを 70% 節約」 https://aws.amazon.com/jp/blogs/news/cinnamon-ai-saves-70-on-ml-model- training-costs-with-amazon-sagemaker-managed-spot-training/

Slide 20

Slide 20 text

21 © 2020 Amazon Web Services, Inc. or its affiliates. All rights reserved | 「効率的にインテル® FPGA エッジデバイス上の深層学習推論を実行する」 https://aws.amazon.com/jp/blogs/startup/using-fewer-resources-to-run-deep-learning- inference-on-intel-fpga-edge-devices/ AWS Cloud AWS IoT Greengrass Certified DE10-Nano Amazon SageMaker Amazon SageMaker Ground Truth Optimized Model AWS IoT Core Amazon Kinesis Data Firehose Camera AWS IoT Greengrass Image Inference Results LeapMind Deep Learning Accelerator IP Cyclone® V SoC FPGA Training Data Amazon ECR Blueoil Docker Image Label Lambda function Training Output

Slide 21

Slide 21 text

22 © 2020 Amazon Web Services, Inc. or its affiliates. All rights reserved | “Making Amazon SageMaker and TensorFlow Work for You — Mobileye guest post” https://medium.com/@julsimon/making-amazon-sagemaker-and-tensorflow- work-for-you-893365184233

Slide 22

Slide 22 text

23 © 2020 Amazon Web Services, Inc. or its affiliates. All rights reserved | 「AWS IoT & Amazon SageMakerを使った魚群食欲解析システムの実現」 https://speakerdeck.com/umitron/aws-iot-and-amazon-sagemakerwoshi- tutayu-qun-shi-yu-jie-xi-sisutemufalseshi-xian-number-awsdevday ػցֶशͷύΠϓϥΠϯ ● σʔληοτ࡞੒ɺϞσϧఆٛɺτϨʔχϯάɾνϡʔχϯάɺσϓϩΠ·ͰίʔυͰ؅ཧ ● ϨϏϡʔͯ͠ɺ඼࣭Λอͭ ● UMITRONͷαʔϏεͱͯ͠ར༻͢ΔϞσϧ͸ҰͭͷGitHubͰ؅ཧ ● ଞͷϓϩμΫτͰ࢖͏ػցֶशʹؔ͢Δෳ਺ͷϞσϧ΋؅ཧ 36

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

26 © 2020 Amazon Web Services, Inc. or its affiliates. All rights reserved | Amazon SageMaker: 機能の概要 SageMaker Ground Truth 完全マネージド型データのラベル付け SageMaker Studio Notebooks エラスティック・コンピューティングによるワンクリックのノートブック One-click Training 簡単にトレーニングジョブを実行 Automatic Model Tuning ワンクリックでハイパーパラメータの最適化 One-click Deployment リアルタイム、バッチおよびマルチモデルをサポート Model Monitor コンセプトドリフトを自動検出 SageMaker Processing ビルトインの Python、 BYO R/Spark Built-in and bring your-own algorithms 監視付き/ 監視なしアルゴリズム SageMaker Experiments すべてのステップをキャプチャ、整理、比較 SageMaker Neo 一度のトレーニングでどこにでも展開 AWS Marketplace 事前構築されたアルゴリズムおよびモデル SageMaker Debugger トレーニング実行をデバッグ Inf1/Amazon Elastic Inference 高パフォーマンスを最低コストで提供 Managed Spot training トレーニングコストを 90%削減 Amazon Augmented AI モデル予測のヒューマンレビュー機能を追加 SageMaker Studio SageMaker Autopilot 自動的にモデルを構築・トレーニング SageMaker Studio以外のコンポーネント SageMaker Studioに含まれるコンポーネント

Slide 26

Slide 26 text

27 © 2020 Amazon Web Services, Inc. or its affiliates. All rights reserved | Amazon SageMaker Studio 完全に統合された機械学習の開発環境 (IDE) 大規模なコラボレーションコードの依存性を追跡する必要なし簡単な実験管理数千件の実験を整理、追跡、比較自動モデル生成コードを書かずに完全な可視化と制御が可能高品質な ML モデル自動的にエラーをデバッグ、モデルを監視、高品質を維持生産性の向上統合されたビジュアルインターフェイス上で、コード、構築、トレーニング、デプロイ、および監視を実行

Slide 27

Slide 27 text

Slide 28

Slide 28 text

29 © 2020 Amazon Web Services, Inc. or its affiliates. All rights reserved | Amazon SageMaker Autopilot 完全な可視性と制御を伴うモデルの自動作成クイックスタートデータを表形式で提供し、対象予測を指定モデルの自動作成フィーチャエンジニアリングでMLモデルを取得するとモデルのチューニングが自動的に完了 Visibility and control ソースコードでモデル用のノートブックを入手推奨事項と最適化リーダーボードを入手し、モデルの改善を継続

Slide 29

Slide 29 text

Slide 30

Slide 30 text

32 © 2020 Amazon Web Services, Inc. or its affiliates. All rights reserved | Amazon SageMaker は、Kubernetes と統合できます Amazon SageMaker Operators for Kubernetes 2 Amazon SageMaker Components for Kubeflow Pipelines 1 Pipelines

Slide 31

Slide 31 text

33 © 2020 Amazon Web Services, Inc. or its affiliates. All rights reserved | Amazon SageMaker セキュリティ機能でアイデアから本番稼働までの時間を短縮インフラストラクチャとネットワークの分離プライベートネットワーク経由で SageMaker コンポーネント間のデータ通信を制御し、シングルテナンシーで適切な入出力を確保認証と承認 Amazon SageMaker リソースを使用するために、誰が認証・承認され得るユーザーであるかを定義、実行、監査データ保護保管中および移動中のデータの自動暗号化を確実にし、独自のキーを柔軟に使用可能監視と監査可能性すべての API コール・イベント・データアクセス/インタラクションを、ユーザーと IPレベルまで追跡・トレース・監査し、迅速な修復を確実にコンプライアンス認定最も包括的なコンプライアンス管理を継承し、お客様の業界の法的要件を遵守します

Slide 32

Slide 32 text

37 © 2020 Amazon Web Services, Inc. or its affiliates. All rights reserved | トレーニングデータの収集と準備トレーニングデータの収集と準備フルマネージド型のデータ処理ジョブ/ データラベル付けのワークフロー Choose or bring your own ML algorithm Collaborative notebooks, built-in algorithms/models Set up and manage environments for training One-click training Train, debug, and tune models Debugging and optimization Manage training runs Visually track and compare experiments Deploy model in production One-click deployment and autoscaling Monitor models Automatically spot concept drift Validate predictions Add human review of predictions Scale and manage the production environment Fully managed with auto-scaling for 75% less ML用ウェブベースのIDE モデルの自動構築とトレーニング

Slide 33

Slide 33 text

38 © 2020 Amazon Web Services, Inc. or its affiliates. All rights reserved | Amazon SageMaker Ground Truth 機械学習を使用して高精度なトレーニングデータセットを構築データラベル付けのコストを削減最大 70% アノテータにアクセス Amazon Mechanical Turk (クラウドソーシング)、アマゾン認定ベンダー、または自社のアノテータ正確な結果を迅速に実現ビルトインのデータラベル付けワークフロー 3D ポイントクラウド、ビデオ、画像、テキストをサポート

Slide 34

Slide 34 text

Slide 35

Slide 35 text

40 © 2020 Amazon Web Services, Inc. or its affiliates. All rights reserved | Amazon SageMaker Ground Truth の仕組み Raw data Amazon S3への未加工データの入力 Labeling カスタムまたはビルトインのワークフローを使用しラベル付けジョブを作成 Worker 異なるアノテーターグループから選択 Assistive labeling アノテーターは、ラベリング支援機能を備えたラベリング UI を使用してタスクを完了正確なトレーニングデータセット Amazon SageMaker Ground Truth 機械学習のトレーニングデータのラベル付けを大規模かつ簡単に実行

Slide 36

Slide 36 text

41 © 2020 Amazon Web Services, Inc. or its affiliates. All rights reserved | Amazon SageMaker Processing データ処理とモデル評価のための分析ジョブ完全マネージド型クラスタの分散処理の実現カスタム処理フィーチャエンジニアリング用の独自のスクリプトをご持参くださいコンテナサポート SageMaker のビルトインコンテナを使用するか、独自のコンテナをご持参くださいセキュリティとコンプライアンス SageMaker のセキュリティ機能とコンプライアンス機能を活用自動作成と自動終了リソースは自動的に作成、設定、終了

Slide 37

Slide 37 text

42 © 2020 Amazon Web Services, Inc. or its affiliates. All rights reserved | アルゴリズムの選択または構築 Collect and prepare training data Fully managed data processing jobs/ data labeling workflows Set up and manage environments for training One-click training Train, debug, and tune models Debugging and optimization Manage training runs Visually track and compare experiments Deploy model in production One-click deployment and autoscaling Monitor models Automatically spot concept drift Validate predictions Add human review of predictions Scale and manage the production environment Fully managed with auto-scaling for 75% less ML用ウェブベースのIDE モデルの自動構築とトレーニング独自のMLアルゴリズムを選択または持参コラボレーティブ・ノートブックビルトインアルゴリズム/モデル

Slide 38

Slide 38 text

43 © 2020 Amazon Web Services, Inc. or its affiliates. All rights reserved | Amazon SageMaker Studio Notebooks 共有可能・高速起動ノートブックシングルサインオン (SSO) で簡単アクセスノートブックに数秒でアクセス完全マネージド型で安全管理者によるアクセスと権限の管理迅速なセットアップコンピューティングリソースを稼働させずにノートブックを起動簡単なコラボレーションワンクリックでノートブックの共有柔軟性コンピューティングリソースを起動・シャットダウン

Slide 39

Slide 39 text

Slide 40

Slide 40 text

45 © 2020 Amazon Web Services, Inc. or its affiliates. All rights reserved | AWS Marketplace for Machine Learning ML 向け AWS Marketplace でアルゴリズム、モデル、およびデータを購入 AWS マーケットプレイスを参照または検索ワンクリックで購入 Amazon SageMaker で利用可能 https://aws.amazon.com/marketplace /solutions/machine-learning

Slide 41

Slide 41 text

47 © 2020 Amazon Web Services, Inc. or its affiliates. All rights reserved | モデルのトレーニングとチューニング Collect and prepare training data Fully managed data processing jobs/ data labeling workflows Deploy model in production One-click deployment and autoscaling Monitor models Automatically spot concept drift Validate predictions Add human review of predictions Scale and manage the production environment Fully managed with auto-scaling for 75% less Choose or bring your own ML algorithm Collaborative notebooks, built-in algorithms/models トレーニング環境の設定と管理ワンクリックでトレーニングモデルのトレーニング、デバッグ、チューニングデバッグと最適化トレーニング実行の管理実験を視覚的に追跡して比較する ML用ウェブベースのIDE モデルの自動構築とトレーニング

Slide 42

Slide 42 text

Slide 43

Slide 43 text

49 © 2020 Amazon Web Services, Inc. or its affiliates. All rights reserved | Amazon EC2 P4d インスタンス (NVIDIA A100 Tensor Core GPU) • 前世代の P3/P3dn インスタンスと比較し、平均 2.5x のパフォーマンス、60% 低いコスト • p4d.24xlarge • 8x A100 GPU • 96 vCPU, 1152 GB Memory • GPU間は 600 GB/s の NVSwitch/NVLink • インスタンスあたり 400 Gbps ENA/EFA • ローカルストレージ: 8x 1 TB NVMe SSD • オンデマンド価格 $32.77 / hour • cf. p3dn.24xlarge: $31.212 / hour https://aws.amazon.com/jp/ec2/instance-types/p4/

Slide 44

Slide 44 text

50 © 2020 Amazon Web Services, Inc. or its affiliates. All rights reserved | Amazon EC2 DL1 インスタンス (Habana Gaudi) • 最新世代の GPU インスタンスに比べ 40% 良いコストパフォーマンス • dl1.24xlarge • 8x Gaudi Accelerator from Habana Labs (an Intel company) • 96 vCPU, 768 GB Memory • Accelerator 間 100 GB/s (双方向) • インスタンスあたり 400 Gbps ENA/EFA • ローカルストレージ: 4x 1 TB NVMe SSD • オンデマンド価格 $13.11 / hour • cf. p4d.24xlarge: $32.77 / hour p3dn.24xlarge: $31.212 / hour • Habana SynapseAI® SDK を利用

Slide 45

Slide 45 text

51 © 2020 Amazon Web Services, Inc. or its affiliates. All rights reserved | AWS Trainium (Preview) • AWS により設計された機械学習トレーニングチップ • クラウドで ML モデルをトレーニングするための最も良いコスト効率と最大の TFLOPS 性能を提供 • AWS Inferentia 同様 Neuron SDK を利用し、 TensorFlow, MXNet, PyTorch などのフレームワークをサポート • Trainium チップは、画像分類、セマンティック検索、翻訳、音声認識、自然言語処理、レコメンデーションエンジンなど、アプリケーションの深層学習ワークロード向けに特別に最適化 • Amazon EC2 (AWS Deep Learning AMI) に加え、 Amazon SageMaker, Amazon ECS, EKS, AWS Batch などのマネージドサービスで利用可能予定 Coming in 2021!

Slide 46

Slide 46 text

Slide 47

Slide 47 text

54 © 2020 Amazon Web Services, Inc. or its affiliates. All rights reserved | 3rd party の HPO フレームワークも利用可能「Amazon SageMaker で Optuna を用いたハイパーパラメータ最適化を実装する」 https://aws.amazon.com/jp/blogs/news/amazon-sagemaker-optuna-hpo/

Slide 48

Slide 48 text

55 © 2020 Amazon Web Services, Inc. or its affiliates. All rights reserved | Amazon SageMaker Experiments トレーニング実験の整理、追跡、比較大規模トラッキング実験とユーザー間でパラメーターと指標をトラッキング整理のカスタムチーム、目標、仮説による実験の整理可視化実験を簡単に視覚化し、比較メトリックとロギング Python SDKおよびAPIを使用したカスタムメトリックの記録高速反復迅速に反復し、高品質を維持

Slide 49

Slide 49 text

Slide 50

Slide 50 text

57 © 2020 Amazon Web Services, Inc. or its affiliates. All rights reserved | Amazon SageMaker Debugger 分析とデバッグ、説明可能性、アラート生成関連するデータキャプチャ分析用にデータを自動キャプチャデータ分析とデバッグコード変更無しのデータ分析とデバッグ自動エラー検出エラーはルールに基づき自動検出アラートによる生産性向上アラートに基づき修正措置を実行ビジュアル分析とデバッグ SageMaker Studio による視覚的分析とデバッグ

Slide 51

Slide 51 text

Slide 52

Slide 52 text

59 © 2020 Amazon Web Services, Inc. or its affiliates. All rights reserved | モデルの展開と管理 Collect and prepare training data Fully managed data processing jobs/ data labeling workflows Choose or bring your own ML algorithm Collaborative notebooks, built-in algorithms/models Set up and manage environments for training One-click training Train, debug, and tune models Debugging and optimization Manage training runs Visually track and compare experiments 本番環境でのモデル展開ワンクリックの展開と自動スケーリングモニタリングモデルスポットコンセプトドリフトの自動検知予測の検証予測へのヒューマンレビューを追加本番環境の拡張と管理フルマネージドの自動スケーリングを75%のコスト削減で提供 ML用ウェブベースのIDE モデルの自動構築とトレーニング

Slide 53

Slide 53 text

Slide 54

Slide 54 text

61 © 2020 Amazon Web Services, Inc. or its affiliates. All rights reserved | Multi-Model Endpoint 単一のエンドポイントの裏に複数のモデルを置くことができ、動的にモデルを追加することも可能 S3 model storage tokyo.tar.gz kanagawa.tar.gz osaka.tar.gz aichi.tar.gz S3://bucket/our-endpoint-models/ S3://bucket/our-endpoint-models Load

Slide 55

Slide 55 text

62 © 2020 Amazon Web Services, Inc. or its affiliates. All rights reserved | Amazon SageMaker Model Monitor 稼働中モデルの継続モニタリング自動データ収集データはエンドポイントから自動収集継続モニタリング監視スケジュールを定義し、事前に定義されたベースラインに対する品質の変化を検出ルールによる柔軟性組み込みルールを使用してデータドリフトを検出するか、カスタム分析のための独自ルールを記述視覚的データ分析 SageMaker Studio 内の監視結果、データ統計、違反レポートを参照 CloudWatch統合 Amazon CloudWatch アラームに基づいて更新処理を自動化

Slide 56

Slide 56 text

Slide 57

Slide 57 text

64 © 2020 Amazon Web Services, Inc. or its affiliates. All rights reserved | Amazon SageMaker Neo 1回のトレーニングで、どこでも2倍のパフォーマンスで実行オープンソースの Neo-AI デバイスランタイムおよびコンパイラ元のフレームワークの 1/10のサイズ幅広いハードウェアサポート Neo 幅広いフレームワークサポート

Slide 58

Slide 58 text

Slide 59

Slide 59 text

67 © 2020 Amazon Web Services, Inc. or its affiliates. All rights reserved | 費用対効果の高い推論のための幅広いオプションネットワーク接続推論アクセラレータ eia1.medium 中規模モデル、低レイテンシ許容限界のある予算 Elastic Inference M5 大型モデル、高スループット、 CUDAへ低レイテンシアクセス GPU インスタンス P3 G4 小型モデル、低スループット CPU インスタンス C5 Inf1: 高スループット、高パフォーマンス、クラウドコスト抑制カスタムチップ Inf1 G5

Slide 60

Slide 60 text

68 © 2020 Amazon Web Services, Inc. or its affiliates. All rights reserved | Inf1 インスタンスは AWS によってゼロから構築され、高性能で費用対効果の高い推論を提供 https://aws.amazon.com/ec2/instance-types/inf1 ハイパフォーマンス低コスト AWS専用第2世代インテル Xeon Scalable Processor AWS Nitro AWS Inferentia ＭＬ推論のカスタムビルド 100Gbps ネットワーク

Slide 61

Slide 61 text

69 © 2020 Amazon Web Services, Inc. or its affiliates. All rights reserved | AWS Inferentia • AWS による独自設計の推論用プロセッサ • 4 Neuron コア / チップ • チップ当たり最大128 TOPS • (2,000 TOPS @inf1.24xlarge) • 2ステージメモリ階層 • 大容量オンチップキャッシュと DRAM メモリ • FP16, BF16, INT8 データタイプをサポート • FP32 で構築された学習モデルを BF16 で実行可能 • 高速チップ間通信 Inferentia Neuron コア cache Neuron コア cache メモリ Neuron コア cache Neuron コア cache メモリメモリメモリ

Slide 62

Slide 62 text

70 © 2020 Amazon Web Services, Inc. or its affiliates. All rights reserved | Neuronコアパイプライン - 大規模モデルを低遅延で推論 • 大規模モデルを低遅延で推論 • Neuron コア間・チップ間をパイプラインモードで接続することにより、大規模モデルを各オンチップキャッシュメモリ上に展開し、高スループット・低レイテンシを実現 CACHE Memory CACHE Memory CACHE Memory CACHE Memory Neuron コアパイプライン

Slide 63

Slide 63 text

© 2020, Amazon Web Services, Inc. or its Affiliates. AWS Neuron SDK https://github.com/aws/aws-neuron-sdk コンパイル Neuron コンパイラ (NCC) NEFF を出⼒ Neuron バイナリ (NEFF) デプロイ Neuron ランタイム (NRT) プロファイル Neuron ツール C:\>code --version 1.1.1

Slide 64

Slide 64 text

73 © 2020 Amazon Web Services, Inc. or its affiliates. All rights reserved | Amazon Augmented AI (A2I) 推論結果のヒューマンレビューに必要なワークフローを容易に構築簡単にヒューマンレビューワークフローを実装構築済みのワークフローと UI により市場投入までの時間を短縮複数の要員オプションカスタム ML モデルとの統合事前に構築されたアルゴリズムで精度を向上

Slide 65

Slide 65 text

74 © 2020 Amazon Web Services, Inc. or its affiliates. All rights reserved | Amazon Augmented AI の仕組みヒューマンレビューに信頼性の低い予測値を送信 4 A2I の回答連結アルゴリズムを使用したレビュー統合 5 クライアントアプリケーションに直ぐに信頼性の高い予測値を返す 3 AWS AI サービスまたはカスタム ML モデルが予測 2 クライアントアプリケーションが入力データ送信 1 結果はお客様の S3 に保存 6 Client application

Slide 66

Slide 66 text

75 © 2020 Amazon Web Services, Inc. or its affiliates. All rights reserved | Amazon SageMaker を始めてみましょう事例 https://github.com/awslabs/ amazon-sagemaker-examples 開発者ガイド https://docs.aws.amazon.com/ sagemaker/latest/dg/whatis.html SDKドキュメント https://sagemaker.readthedocs. io/en/stable/overview.html

Slide 67

Slide 67 text

Slide 68

Slide 68 text

Slide 69

Slide 69 text

78 © 2020 Amazon Web Services, Inc. or its affiliates. All rights reserved | Notebook インスタンス (Jupyter Notebook/Lab) も使えます • インスタンスタイプを選んで立ち上げ • フレームワークがプリインストール済のカーネル • ノートブックインスタンス作成・起動時のスクリプト実行や git 連携 • https://github.com/aws-sam’ples/amazon-sagemaker-notebook-instance-lifecycle-config-samples • https://aws.amazon.com/jp/blogs/news/amazon-sagemaker-notebooks-now-support-git-integration-for- increased-persistence-collaboration-and-reproducibility/

Slide 70

Slide 70 text

79 © 2020 Amazon Web Services, Inc. or its affiliates. All rights reserved | Amazon SageMaker Jupyter Notebook/Lab Amazon S3 The Jupyter Trademark is registered with the U.S. Patent & Trademark Office. 開発データは予め Amazon S3 にアップロード。やりやすい方法で: • SageMaker Python SDK で簡単に • sagemaker_session.upload_data( path='data', key_prefix='data/DEMO') • AWS CLI や AWS SDK (Python だと boto3) などでも • aws s3 sync • GUI (マネージメントコンソール) からでも

Slide 71

Slide 71 text

80 © 2020 Amazon Web Services, Inc. or its affiliates. All rights reserved | Amazon SageMaker 開発 Jupyter Notebook/Lab Amazon S3 The Jupyter Trademark is registered with the U.S. Patent & Trademark Office.

Slide 72

Slide 72 text

81 © 2020 Amazon Web Services, Inc. or its affiliates. All rights reserved | Amazon SageMaker 開発 Jupyter Notebook/Lab Amazon S3 学習 Amazon EC2 P3 Instances Amazon ECR The Jupyter Trademark is registered with the U.S. Patent & Trademark Office. 予め用意されているビルド済みの Docker イメージ or BYOC

Slide 73

Slide 73 text

82 © 2020 Amazon Web Services, Inc. or its affiliates. All rights reserved | Amazon SageMaker 開発学習 Amazon EC2 P3 Instances Jupyter Notebook/Lab Amazon S3 The Jupyter Trademark is registered with the U.S. Patent & Trademark Office. トレーニングジョブのメリット: • API 経由で学習用インスタンスを起動、学習が完了すると自動停止 • 高性能なインスタンスを秒課金で、簡単にコスト削減 • 指定した数のインスタンスを同時起動、分散学習も容易

Slide 74

Slide 74 text

83 © 2020 Amazon Web Services, Inc. or its affiliates. All rights reserved | Amazon SageMaker 開発学習 Amazon EC2 P3 Instances Jupyter Notebook/Lab Amazon S3 The Jupyter Trademark is registered with the U.S. Patent & Trademark Office.

Slide 75

Slide 75 text

84 © 2020 Amazon Web Services, Inc. or its affiliates. All rights reserved | Amazon SageMaker 開発学習推論 Amazon EC2 P3 Instances Jupyter Notebook/Lab Endpoint/ Batch transform Amazon S3 Amazon ECR The Jupyter Trademark is registered with the U.S. Patent & Trademark Office.

Slide 76

Slide 76 text

86 © 2020 Amazon Web Services, Inc. or its affiliates. All rights reserved | ワークフロー構築を助けるツール • SageMaker Python SDK (v2) • https://github.com/aws/sagemaker-python-sdk/ • AWS Step Functions Data Science SDK • https://github.com/aws/aws-step-functions-data-science-sdk-python • Docker コンテナによる環境統一 • ビルド済みコンテナ (対応フレームワークのバージョン) は上記 URL の README 参照 • Git リポジトリとの連携

Slide 77

Slide 77 text

91 © 2020 Amazon Web Services, Inc. or its affiliates. All rights reserved | SageMaker Python SDK (v2) https://sagemaker.readthedocs.io/en/stable/v2.html import sagemaker from sagemaker.pytorch import PyTorch # 各フレームワークに対応した Estimator クラス estimator = PyTorch("train.py", # トレーニングスクリプトなどを指定して初期化 role=sagemaker.get_execution_role(), instance_count=1, instance_type="ml.p3.2xlarge", framework_version="1.6.0", py_version="py3") estimator.fit("s3://mybucket/data/train") # fit でトレーニング predictor = estimator.deploy(initial_instance_count=2, # 2以上にすると Multi-AZ instance_type="ml.m5.xlarge") # deploy でエンドポイント作成 predictor.predict(data) # 推論の実行少し命名規則が変わっています

Slide 78

Slide 78 text

Slide 79

Slide 79 text

93 © 2020 Amazon Web Services, Inc. or its affiliates. All rights reserved | コードの書き換え例: train.py (Script Mode, File Mode) import argparse if __name__ == '__main__’: parser = argparse.ArgumentParser() # hyperparameters parser.add_argument('--epochs', type=int, default=10) # input data and model directories parser.add_argument('--train', type=str, default=os.environ['SM_CHANNEL_TRAIN']) parser.add_argument('--test', type=str, default=os.environ['SM_CHANNEL_TEST']) parser.add_argument('--model-dir', type=str, default=os.environ['SM_MODEL_DIR']) args, _ = parser.parse_known_args() … (以下省略) コンテナ内のパス (環境変数の中身): /opt/ml/input/data/train /opt/ml/input/data/test /opt/ml/model コマンドライン引数・環境変数から取得 Script Mode では普通の Python スクリプトとして実行される。はじめに環境変数からデータ・モデル入出力のパスを取得して、そこを読み書きするように train.py を書く。推論用にモデルを読み込む。

Slide 80

Slide 80 text

94 © 2020 Amazon Web Services, Inc. or its affiliates. All rights reserved | トレーニングデータへのアクセス https://docs.aws.amazon.com/sagemaker/latest/dg/model-access-training-data.html • FILE モード • データを Docker コンテナのローカルディレクトリにダウンロードしてから学習 • Amazon S3, Amazon EFS, Amazon FSx for Lustre • FAST FILE モード • コードの変更なしに S3 からストリーミング、ファイルシステムへのアクセスも提供 • シーケンシャルな読み込みのときにベストパフォーマンス • S3 の指定した prefix 以下にファイルが少なければ高速 • 例えば、K-Means クラスタリングモデル用の100GB のデータセットは、ファイルモードで 28 分かかったのに対し、高速ファイルモードでは約 5 分 (82% 減) • PIPE モード • S3 からストリーミングでダウンロードしながら非同期に学習 • RecordIO, TFRecord フォーマットが利用可能な TensorFlow, MXNet に対応

Slide 81

Slide 81 text

95 © 2020 Amazon Web Services, Inc. or its affiliates. All rights reserved | Git リポジトリとの統合 • リポジトリを指定し直接トレーニング実行も可能 • ブログ「Amazon SageMaker Python SDK で Git 統合を利用可能」 git_config = {'repo': 'https://github.com/awslabs/amazon-sagemaker-examples.git’, 'branch': 'training-scripts’} estimator = TensorFlow(entry_point='train.py', source_dir='char-rnn-tensorflow', git_config=git_config, train_instance_type=train_instance_type, train_instance_count=1, role=sagemaker.get_execution_role(), framework_version=‘1.14', py_version='py3', script_mode=True) • レガシー Notebook インスタンス • 立ち上げ時にリポジトリ紐付けが可能 • Public リポジトリを clone • Private リポジトリの認証情報を AWS Secrets Manager に保管してリポジトリ登録 • Jupyter Notebook の diff を取れる ”SageMaker Notebooks now support diffing“

Slide 82

Slide 82 text

Slide 83

Slide 83 text

Slide 84

Slide 84 text

103 © 2020 Amazon Web Services, Inc. or its affiliates. All rights reserved | Amazon SageMaker Pipelines 機械学習の CI/CD 数行書くだけで、自動化された機械学習ワークフローを構築数ヶ月かかるコーディング時間を数時間に削減機械学習の開発を加速モデル成果物を自動でトラッキングし手動管理の手間を削減モデル成果物を自動的にトラッキングビルトインのテンプレートで CI/CD パイプラインを設定し機械学習モデルをスケーラブルにデプロイ本番環境における数千ものモデルにスケール

Slide 85

Slide 85 text

104 © 2020 Amazon Web Services, Inc. or its affiliates. All rights reserved | Amazon SageMaker Pipelines 概要 Amazon SageMaker Pipelines フルマネージドな機械学習ワークフローを構築 Model registry モデルバージョン、メトリクス、承認、モデルデプロイのカタログ化 Real-time inference Batch scoring Input data Model drift Prepare or transform Explain Train Validate CI/CD とモデル系列追跡で ML Ops の自動化

Slide 86

Slide 86 text

105 © 2020 Amazon Web Services, Inc. or its affiliates. All rights reserved | How Amazon SageMaker Pipelines works パイプライン実行の開始: • 手動 • データアップロード時の CloudWatch イベント • コード check-in (git push) Acceptable accuracy Non-acceptable accuracy Get input data Process data Train model Validation Deploy model Alert and stop

Slide 87

Slide 87 text

Slide 88

Slide 88 text

Slide 89

Slide 89 text

108 © 2020 Amazon Web Services, Inc. or its affiliates. All rights reserved | 他にもある AWS のワークフロー管理ツール • サーバーレスオーケストレーションサービス • 分散アプリケーション・マイクロサービスの全体を「ステートマシン」と呼ばれる仕組みでオーケストレート • 定義したステートマシンは AWS コンソールから「ワークフロー」という形式で可視化 • ステートマシンの各ステップの実⾏履歴をログから追跡できる • Apache Airflow によるワークフローを構築可能なマネージドサービス • ETLジョブやデータパイプラインを実⾏するワークフローをマネージド型で実⾏可能。開発者がビジネス上の課題解決に注⼒できるようにする • Airflowのメトリクスを CloudWatch メトリクスとして扱い、ログを CloudWatch Logs に転送可能 Amazon SageMaker Pipelines Amazon Managed Workflows for Apache Airflow (MWAA) AWS Step Functions w/Data Science SDK (Python) • 機械学習の CI/CD を実現する Amazon SageMaker の機能 • 機械学習ワークフローのデータロードや学習処理などの⼀連の処理ステップを任意のタイミングや所定の時間に実⾏できる • 各ステップの処理結果は SageMaker Experiments で記録され、モデルの出来映えや学習パラメータなどを視覚化できる

Slide 90

Slide 90 text

109 © 2020 Amazon Web Services, Inc. or its affiliates. All rights reserved | AWS Step Functions • JSON ベースの言語でステートマシンを記述できるマネージドサービス • AWS Step Functions Data Science SDK • AWS Lambda をはじめとした各サービスに対応 • CloudWatch Event でスケジュール実行やイベントトリガーが可能 Start End Train Deploy Prepare data AWS Glue Amazon SageMaker Amazon SageMaker Amazon CloudWatch Events (Schedule / event trigger)

Slide 91

Slide 91 text

110 © 2020 Amazon Web Services, Inc. or its affiliates. All rights reserved | AWS Step Functions workflow 機械学習パイプラインの構築例 Test data Train data Data Scientists/ Developers Git webhook docker push Amazon SageMaker Processing Amazon S3 (data) Amazon SageMaker Training Job / HPO AWS CodeCommit or 3rd party Git repository Amazon S3 (raw data) Amazon Elastic Container Registry (ECR) AWS CodeBuild Endpoint Amazon SageMaker Batch Transform / Endpoint deploy Amazon S3 (trained model) git push

Slide 92

Slide 92 text

Q&A

Slide 93

Slide 93 text

Slide 94

Slide 94 text

• Managed Spot Training for XGBoost • Training and Hosting a PyTorch model in Amazon SageMaker 少々書き換えが必要です https://gist.github.com/hariby/4691d1c0563df0e5cffc089e7db862b2 Amazon SageMaker JumpStart を使ったハンズオン

Slide 95

Slide 95 text

• SageMaker JumpStart の他のコンテンツを試す • https://github.com/aws-samples/aws-ml-jp • https://github.com/aws/amazon-sagemaker-examples • サンプルが動かない場合に考えられる原因 SageMaker Studio ではなく、レガシー Notebook インスタンス用に作られている SageMaker Python SDK v1 を使って書かれている Next Step