AWS re:Invent 2020 SageMakerのUpdateをre:cap

2020/12/23 JAWS-UG KANSAI 歳末スペシャル SHIWA-SU!

Transcript

1. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Web Services Japan Takayoshi Kobayashi 2020.12.23 AWS re:Invent 2020 SageMakerのUpdateをre:cap
2. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. ⼩林 孝剛（Takayoshi Kobayashi） Osaka Network / Security 好きなAWSサービス Amazon VPC / AWS Transit Gateway Amazon SageMaker Infrastructure Architect, AWS Professional Services Amazon Web Services Japan About Me Twitter : @koba_taka
3. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. キーノート(1/2)
4. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. キーノート(2/2)
5. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. SageMaker関連で 発表された新サービス
6. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 5つのTenets（信条、教義） 1. Provide firm foundations 確固たる基盤を提供する 2. Create the shortest path to success 成功までの最短経路を造る 3. Expand machine learning to more builders より多くのビルダーに機械学習を広げる 4. Solve real business problems, end-to-end エンドツーエンドで現実のお客様のビジネス課題を解決 5. Learn continuously 継続的に学び続ける
7. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. VISION SPEECH TEXT SEARCH NEW CHATBOTS PERSONALIZATION FORECASTING FRAUD NEW DEVELOPMENT NEW CONTACT CENTERS NEW Amazon SageMaker Ground Truth Augmented AI SageMaker Neo Built-in algorithms SageMaker Notebooks SageMaker Experiments Model tuning SageMaker Debugger SageMaker Autopilot Model hosting SageMaker Model Monitor Deep Learning AMIs & Containers GPUs & CPUs Elastic Inference Inferentia FPGA Amazon Polly Amazon Transcribe +Medical Amazon Comprehend +Medical Amazon Translate Amazon Lex Amazon Personalize Amazon Forecast Amazon Fraud Detector Amazon CodeGuru Amazon Textract Amazon Kendra Contact Lens For Amazon Connect SageMaker Studio IDE AWS の AI/ML サービス群 AI サービス: 機械学習の深い知識なしに利⽤可能 ML サービス: 機械学習のプロセス全体を効率化するマネージドサービス ML フレームワークとインフラストラクチャ: 機械学習の環境を⾃在に構築して利⽤ Amazon Rekognitions +Custom labels
8. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. VISION SPEECH TEXT SEARCH NEW CHATBOTS PERSONALIZATION FORECASTING FRAUD NEW DEVELOPMENT NEW CONTACT CENTERS NEW Amazon SageMaker Ground Truth Augmented AI SageMaker Neo Built-in algorithms SageMaker Notebooks SageMaker Experiments Model tuning SageMaker Debugger SageMaker Autopilot Model hosting SageMaker Model Monitor Deep Learning AMIs & Containers GPUs & CPUs Elastic Inference Inferentia FPGA Amazon Polly Amazon Transcribe +Medical Amazon Comprehend +Medical Amazon Translate Amazon Lex Amazon Personalize Amazon Forecast Amazon Fraud Detector Amazon CodeGuru Amazon Textract Amazon Kendra Contact Lens For Amazon Connect SageMaker Studio IDE AWS の AI/ML サービス群 AI サービス: 機械学習の深い知識なしに利⽤可能 ML サービス: 機械学習のプロセス全体を効率化するマネージドサービス ML フレームワークとインフラストラクチャ: 機械学習の環境を⾃在に構築して利⽤ Amazon Rekognitions +Custom labels
9. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 機械学習のワークフローは多様なコンポーネントから成り、 ⾏ったり来たりする反復的なもので、さまざまな試⾏錯誤を伴う 機械学習の 問題定義 データ 収集・整備 データ 前処理 探索的解析 アルゴリズム 構築 モデル デプロイ モデル監視 モデル学習 モデル評価 モデル改良 開発 学習 推論 ビジネスゴール の明確化
10. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. ML 開発ライフサイクル全体をカバーする20以上のツール Amazon SageMaker 主な利点 最も完全なエンドツー エンドの ML サービス ML 開発を加速する ML 用に最適化された統合機能を備えたカスタム統合コードを作成す るコストを排除 コスト削減 世界初の統合開発環境（IDE） データサイエンティストの⽣産性を⾼める
11. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. https://aws.amazon.com/sagemaker/
12. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. この1年で250+の機能追加を実施
13. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon SageMaker Data Wrangler https://aws.amazon.com/sagemaker/data-wrangler/ 12/1発 表 解決したい課題 ・多様な学習データの処理・データの特徴検出 ・複数データソースとの連携 ・モデル予測の正確性 カラム操作・データ確認の実装 データソースとの接続実装 解決 ・300以上の変換処理・データ可視化をコード記述なしで可能 ・S3やAthenaなどのデータソースとコード記述なしで連携
14. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon SageMaker Data Wrangler • 迅速かつ容易に機械学習のためのデータを準備するためのサービス • 学習データは異なるソースから多様な形式で与えられることが多く、開発者は データの整理や特徴量エンジニアリングに時間を取られる傾向がありますが、 Data Wranglerでは様々なデータソースから1クリックでデータを選択し、300 以上の組み込み変換処理を利⽤してコード記述なしに処理を⾏えます。 • 列タイプの変換、平均または中央値による⽋落データ の補完、列の再スケーリング、データ/時間の埋み込 みなど300以上の事前構成済みデータ変換の選択肢を 提供 • Amazon S3、Amazon Athena、Amazon Redshift、 AWS LakeFormation、などの複数のデータソースか らデータをすばやく選択 • データソースのクエリを記述し、CSVファイル、 Parquetファイル、データベーステーブルなどのさま ざまなファイル形式からSageMakerにデータを直接 インポートすることもできます。 https://aws.amazon.com/sagemaker/data-wrangler/ 12/1発 表
15. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon SageMaker Feature Store https://aws.amazon.com/sagemaker/feature-store/ 12/1発 表 解決したい課題 ・トレーニングや推論時に利⽤される属性データ ・推論の精度を上げるためにトレーニングに利⽤される 重要なデータだが、データが多くなるにつれ管理が困難 特徴量の⾃動保存・チーム間の共有などの仕組みが必要 解決 ・オンライン・オフライン推論に応じて蓄積・保存 ・保存されたデータはチーム間で共有 ・トレーニング時に利⽤可能
16. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon SageMaker Feature Store • 機械学習（ML）のFeatureを保存、更新、取得、共 有するための完全に管理された専⽤のリポジトリ。 • Featureは、予測を⾏うためのトレーニングや推論 の際にモデルが使⽤する属性やプロパティのことを 指します。（例えば、⾳楽のプレイリストを推奨す るMLアプリケーションでは、Featureには、曲の評 価、どの曲を以前に聴いたか、どのくらいの時間聴 いたかなどが含まれる。 • トレーニング中のFeatureとリアルタイムの推論の ための統合ストアを提供します。Featureの⼀貫性 を保つために、追加のコードを記述したり、⼿動プ ロセスを作成したりする必要はありません。 https://aws.amazon.com/sagemaker/feature-store/ 12/1発 表
17. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon SageMaker Pipelines 12/1発 表 https://aws.amazon.com/sagemaker/pipelines/ 解決したい課題 ・機械学習を⾏う⼀連のプロセス ・様々なコンポーネントの連携性 機械学習ワークロードのワークフロー構築が複雑 チーム間でのワークフロー共有が複雑 解決 ・GUIでワークフローを定義可能 ・SageMaker Studioから利⽤できるコンポーネントを連携 ・作成されたワークフローはチーム間で共有
18. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon SageMaker Pipelines • 機械学習ワークロードにおいてCI/CDを実 現するためのサービス • 機械学習ワークフローのデータロードや学 習処理、モデルの最適化などの⼀連の処理 ステップを任意のタイミングや所定の時間 に実⾏できる • 本番環境にデプロイするのに最適なモデル を選択したり、モデルの⾃動追跡が可能。 • 各ステップの処理結果はSageMaker Experimentsで記録され、モデルの出来 映えや学習パラメータなどを視覚化できる • 定義されたワークフローは再利⽤や共有が 容易なので、モデルの再⽣成や改善の際に も有益。 12/1発 表 https://aws.amazon.com/sagemaker/pipelines/
19. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Faster Distributed Training on Amazon SageMaker 解決したい課題 ・⼤規模なデータセットを利⽤したトレーニング ・巨⼤なモデルの処理 単⼀のGPUでの処理だとトレーニングや処理に⻑時間必要 並列処理の実装が⼿間 解決 ・データ分散を実施。複数GPUでトレーニングが可能 ・モデル分散を実施。複数GPUでモデルの処理が可能 新 サ ー ビ ス https://aws.amazon.com/sagemaker/distributed-training/
20. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Faster Distributed Training on Amazon SageMaker • ⾼速かつ容易に⼤規模なディープラーニングモデルや、データセットでトレーニングを⾏う機能。 AWSのGPUインスタンス全体に⾃動的に分散処理を実施。⼿動作業と⽐較して最⼤40%⾼速化 • 画像分類や⾃然⾔語処理の分野では、⼤きなデータセットや巨⼤なモデルを処理する ケース。単⼀のGPUインスタンスではトレーニングに数⽇かかる場合があり、独⾃の並 列処理を実装するためには数週間にわたる実験が必要になることも • グラフ分割アルゴリズムに基づく2つのアプローチを提供する。最⼩限のコード変更でトレーニ ングの⾼速化や、従来不可能だった巨⼤なモデルの処理が可能に • データ分散(Data Parallelism): データを均等に分散し、並列処理することで⾼速化す る。物体検出とインスタンスセグメンテーションモデル(Mask-RCNN)の学習について、 最速の結果はTensorflowで28分から6分13秒に、PyTorchで27分から6分45秒に改善 • モデル分散(Model Parallelism): モデルが⼤きすぎて単⼀GPUで処理できない場合にモ デルを分割して複数のGPUで分散処理を可能にする • Amazon SageMakerが利⽤可能な全リージョンで、追加費⽤なしで利⽤可能 新 サ ー ビ ス https://aws.amazon.com/sagemaker/distributed-training/
21. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Deep Profiling in Amazon SageMaker Debugger https://aws.amazon.com/sagemaker/debugger/ 新 サ ー ビ ス 解決したい課題 ・トレーニングジョブにおけるシステムリソース CPU・GPU・I/Oなどのリソース消費が偏った状態で トレーニングを⾏っている場合、学習効率が低下する 解決 ・トレーニングジョブ時のシステムリソース状況を監視 ・システムリソース状況は可視化可能 ・リソースの再割り当てなどの推奨事項を案内。学習効率を改善
22. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Deep Profiling in Amazon SageMaker Debugger • システムリソースをリアルタイムで監視するAmazon SageMaker Debuggerの新機能 • レポートに含まれる推奨事項に基づいてリソースを再割り当てすることでトレーニング時間の短 縮とコストの削減が期待できる。メトリクスと推奨事項はAmazon SageMaker Studioで視覚的 に、またSageMaker Python SDKからプログラム的に取得できる https://aws.amazon.com/sagemaker/debugger/ • CPU, GPU, ネットワークI/O, ストレージI/O, RAM, GPURAM, python metrics, データロードタイムなどのイ ンフラストラクチャとモデルに関するメトリックスを⾃動 的に監視し、 トレーニングジョブにおけるリソース利⽤状 況を可視化 • トレーニングジョブ全体または⼀部をプロファイリングし てそれぞれのフェーズでメトリクスを出⼒ • システムとフレームワークのメトリクスを関連付けること で、GPU使⽤率がゼロになるなどの問題を特定しトラブル シューティングを可能に 新 サ ー ビ ス
23. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon SageMaker Clarify 解決したい課題 ・学習前データのデータ偏り ・推論結果でバイアス発⽣ 学習時のデータセットにデータの偏りがある場合、 モデルの推論結果も偏りが⽣じる可能性が⾼い 解決 • 学習前のデータセットのデータ偏りを検知 • トレーニングの後のバイアス監視、レポートが可能 https://aws.amazon.com/sagemaker/clarify/ 新 サ ー ビ ス
24. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon SageMaker Clarify • 機械学習の⼀連のワークフローを通じてサンプリン グバイアスを検知することで、モデルの透明性向上 を⽀援するサービス。データ準備の段階でのデータ 不均衡を検知、トレーニングの後のバイアス監視、 時間経過による変化の監視などを⾏い改善につなげ る • 指定した属性を調べることで、データ準備やトレー ニング後、デプロイされたモデルの潜在的なバイア スを検出する。様々なタイプのバイアスを定量化す る詳細なレポートを提供 • モデルの予測を説明したりモデルの問題を特定し修 正を⾏うために役⽴つFeature Importanceグラフ も利⽤可能 https://aws.amazon.com/sagemaker/clarify/ 新 サ ー ビ ス
25. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon SageMaker Edge Manager https://aws.amazon.com/sagemaker/edge-manager/ 新 サ ー ビ ス 解決したい課題 ・稼働しているエッジデバイス 稼働しているエッジデバイス上のモデル精度を容易に 確認できない 解決 • デバイスからの予測データをSageMakerにアップロード可能 • アップロードされたデータをモニタリング・分析・レポート することが可能
26. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon SageMaker Edge Manager • スマートカメラやロボット、パーソナルコンピュータ、モバイルデバイスなどのエッジデバイス 群に対する機械学習モデルの最適化、保護、モニタリング、メンテナンスを可能にするサービス。 開発者が様々なバリエーションのエッジデバイスにおける機械学習モデルの運⽤を⽀援 • SageMaker Edge Managerはモデルがエッジデバイス群で⾼速に動作するための最適化を⾏う とともに、エッジデバイスにおけるモデル管理を可能にする • デバイスからの予測データをAmazon SageMakerにアップロードしモニタリングと分 析が可能。コンソールにて、デプロイされたモデルに関するビジュアル化されたレポー トも提供される • エッジデバイスからモデルの⼊⼒と出⼒データをサンプリングしてクラウドに送信することで、 Amazon SageMaker Model Monitorを利⽤してドリフト検出を⾏い、必要に応じて再学習を施 すなどの対策をとることで継続的なモデル品質の改善が可能に • ⽶国東部（バージニア）、⽶国東部（オハイオ）、⽶国⻄部（オレゴン）、ヨーロッパ（アイル ランド）、ヨーロッパ（フランクフルト）、アジアパシフィック（東京）リージョンにて https://aws.amazon.com/sagemaker/edge-manager/ 新 サ ー ビ ス
27. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon SageMaker JumpStart https://aws.amazon.com/sagemaker/getting-started/ 新 サ ー ビ ス 解決したい課題 ・機械学習で早くビジネス課題を解決したい ⼀から機械学習のコンポーネントの連携や実装だと 準備だけで⻑時間が必要 解決 • 解決したいビジネス課題にあわせ、機械学習開発のソリューショ ンを選択 • 不正検知・画像認識・テキストなどのモデル選択が可能
28. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon SageMaker JumpStart • 15を超える⼀般的なユースケース向けに構築済みのソリュー ションを提供することで、機械学習アプリケーションの利⽤開始 を⽀援する仕組み • Amazon SageMaker JumpStartは不正検知や予防保全、需要予 測など⼀般的なユースケース向けの⼀連のソリューションを提供 し数回クリックするだけでデプロイすることができる。 • ソリューションはカスタマイズ可能。CloudFormation テンプレートやリファレンスアーキテクチャが含まれて おり機械学習を学ぶ⼿助けにもなる • PyTorch HubやTensorFlow Hubで公開されている150以上の学 習済みモデルをワンクリックでデプロイしたり、微調整を⾏うこ とも可能 • Amazon SageMakerが利⽤可能なすべてのリージョンで⼀般利 ⽤開始 https://aws.amazon.com/sagemaker/getting-started/ 新 サ ー ビ ス
29. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon SageMaker JumpStart Demo
30. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Demoの流れ • 公開データセットを使い、簡単に機械学習モデルの作成、推論を実施 • 課題例︓ラスベガスで⾷事したメニューを機械学習で判別したい • データセット︓Food-101(*) • 5Class 1,000枚/ClassをJumpStartを利⽤してFine Tuning • Resnet50を利⽤ (データセットImageNetを利⽤した学習済みモデル) • SageMaker JumpStartを利⽤し、トレーニング・モデルのデプロイ・評価 (*) https://data.vision.ee.ethz.ch/cvl/datasets_extra/food-101/
31. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Demoの流れ
32. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. まとめ • Amazon SageMakerの機能アップデートが多く登場 • Amazon SageMaker Data Wrangler はデータの準備を楽に • Amazon SageMaker Feature Store はモデル精度を向上させるパラメータの管理を楽に • Amazon SageMaker Pipelinesは 機械学習プロセスのフロー作成・管理を楽に • Faster Distributed Training on Amazon SageMaker は分散処理を楽に • Deep Profiling in Amazon SageMaker Debugger は学習時の処理効率監視を楽に • Amazon SageMaker Clarify はデータの偏り検出を楽に • Amazon SageMaker Edge Manager はエッジデバイスのモデル精度確認を楽に • Amazon SageMaker JumpStart は機械学習ソリューションの展開を楽に • Amazon SageMakerはモデルの開発・学習・デプロイなどの機械学習プロセス全体にわたって便利な 機能を提供しており、今後も継続的にアップデート予定
33. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Thank you