AWS re:Invent直前！ 2021年のアップデートを振り返ろう AI/MLサービス編

© 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Amazon Web Services Japan G.K.
Kazuki Motohashi, Ph.D. (@kmotohas)
2021年11⽉25⽇
AWS re:Invent直前︕
2021年のアップデートを振り返ろう
AI/MLサービス編

View Slide

VISION SPEECH TEXT SEARCH CHATBOTS PERSONALIZATION FORECASTING FRAUD CONTACT CENTERS
Deep
Learning
AMIs &
Containers
GPUs &
CPUs
Elastic
Inference
Trainium Inferentia FPGA
AI サービス: 機械学習の深い知識なしに利⽤可能
ML サービス: 機械学習のプロセス全体を効率化するマネージドサービス
ML フレームワークとインフラストラクチャ: 機械学習の環境を⾃在に構築して利⽤
DeepGraphLibrary
Amazon
Rekognition
Amazon
Polly
Amazon
Transcribe
+Medical
Amazon
Lex
Amazon
Personalize
Amazon
Forecast
Amazon
Comprehend
+Medical
Amazon
Textract
Amazon
Kendra
Amazon
CodeGuru
Amazon
Fraud Detector
Amazon
Translate
INDUSTRIAL AI CODE AND DEVOPS
NEW
Amazon
DevOps Guru
Voice ID
For Amazon Connect
Contact Lens
NEW
Amazon
Monitron
NEW
AWS Panorama
+ Appliance
NEW
Amazon Lookout
for Vision
NEW
Amazon Lookout
for Equipment
AWSの機械学習スタック
NEW
Amazon
HealthLake
HEALTH AI
NEW
Amazon Lookout
for Metrics
ANOMALY DETECTION
Amazon
Transcribe
Medical
Amazon
Comprehend
Medical
Amazon
SageMaker
Label
data
NEW
Aggregate &
prepare data
NEW
Store & share
features
Auto ML Spark/R
NEW
Detect
bias
Visualize in
notebooks
Pick
algorithm
Train
models
Tune
parameters
NEW
Debug &
profile
Deploy in
production
Manage
& monitor
NEW
CI/CD Human review
NEW: Model management for edge devices
NEW: SageMaker JumpStart
SAGEMAKER STUDIO IDE

View Slide

サービス別のアップデート数の割合
11⽉25⽇現在、2021年の「Machine Learning」カテゴリには 231 のアップデート︕
https://aws.amazon.com/about-aws/whats-new/machine-learning/

View Slide

⽬次
• SageMaker
• MLOps系
• DB/DWH統合
• その他全般
• インフラストラクチャ
• AI サービス
• GA / ⽇本語対応
• 機能追加

View Slide

SageMaker – MLOps

View Slide

Amazon SageMaker Pipelines のアップデート
• Event Bridge トリガーを起点とした実⾏をサポート (4/6)
• ステップ間の依存関係を明⽰的に設定可能に (5/21)
• SageMaker Experiments と統合し、実験管理を⾃動化 (5/26)
• コールバックステップを追加し、Spark ジョブや Glue の ETL タスクなど
外部のジョブをパイプラインの⼀部に取り込めるように (6/10)
• ⾃動ハイパーパラメータチューニングステップの追加 (7/13)
• GitHub や Jenkins などのサードパーティツールとの統合 (7/27)
• AWS Lambda 関数の実⾏ステップを追加 (8/4)
• 失敗したステップからの再開とリトライポリシーのサポート (11/8)
機械学習ワークフローのオーケストレーションサービス

View Slide

Amazon SageMaker 推論エンドポイント⽤の新しいデプロイメント
ガードレールを発表 (11/10)
• SageMaker で新しく推論エンドポイント
をデプロイする際、既存のエンドポイント
からのトラフィックのシフトを細かく制御
できるようになった
• カナリアおよびリニアのトラフィックシフ
トモードに対応
• CloudWatchアラームを事前に定義し、
アラームが作動した場合は⾃動的にロール
バックする
https://aws.amazon.com/about-aws/whats-new/2021/11/new-deployment-guardrails-amazon-sagemaker-inference-endpoints/

View Slide

最⼤1GB、15分の SageMaker Asynchronous Inference を導⼊ (8/20)
• 従来の推論オプション
• リアルタイム推論︓リクエストサイズ
が⼩さい、リアルタイム処理向け
• バッチ変換︓⼤規模なバッチデータに
対するオフライン予測向け
• 追加の推論オプション
• ⾮同期推論︓リクエストサイズや処理
時間が⼤きいワークロード向け
• 数分のコールドスタートが許容できる
場合、待機中はインスタンス数をゼロ
にしてコスト削減が可能
https://aws.amazon.com/about-aws/whats-new/2021/08/amazon-sagemaker-asynchronous-new-inference-option/

View Slide

SageMaker – DB/DWH統合

View Slide

Amazon SageMaker を利⽤した Amazon Athena ML が⼀般提供を
開始 (4/20)
• Athena のクエリから SageMaker の機械学習モデルを呼び出し、
リアルタイムかつ低レイテンシーで推論が可能
• USING EXTERNAL FUNCTION を使⽤して SageMaker のモデル
エンドポイントをユーザー定義関数として定義
• ビジネスユーザーやアナリストが複雑なプログラミングなしに ML
モデルを簡単に利⽤可能に
https://aws.amazon.com/about-aws/whats-new/2021/04/announcing-general-availability-of-amazon-athena-ml-powered-by-amazon-sagemaker/

View Slide

Amazon Redshift ML の⼀般提供を開始 (5/27)
• Redshift から SQL ⽂でデータの変換、
機械学習モデルのトレーニング、チュー
ニング、デプロイまでを⼀気通貫で実⾏
• バックエンドには SageMaker Autopilot
を利⽤し、機械学習を⽤いた解約予測や
リスクスコアリングなどを SQL クエリで
⾏える
• カスタムの SageMaker エンドポイント
も呼び出し可能
https://aws.amazon.com/about-aws/whats-new/2021/05/aws-announces-general-availability-of-amazon-redshift-ml/

View Slide

Neptune ML が⼀般提供開始と同時に多くの新機能を追加 (7/29)
• ノード分類・回帰、エッジ分類・回帰、リンク予測を、Neptune グラフ DB
のデータに対して実⾏可能
https://aws.amazon.com/about-aws/whats-new/2021/07/amazon-neptune-ml-generally-available-support-edge-predictions-automation-and-more/
• 追加機能
• 新しいクラスのグラフ ML タスクのサポート︓
エッジの分類と回帰
• モデルを再学習することなく、グラフの新しい
ノードやエッジに関する予測を得ることが可能
• グラフ特徴処理の簡素化と強化
• すべてのタスクで学習を⾼速化

View Slide

Amazon SageMaker Studio から直接 Amazon EMR クラスターに
接続し、Apache Spark、Hive、Presto を使⽤可能に (10/1)
• SageMaker Studio から GUI ベースで EMR クラ
スターに接続し、ペタバイト規模のデータ分析と
機械学習が実⾏可能に
• データサイエンスや ML ワークフローのさらなる
簡素化が期待される
• YouTube でデモ動画公開中
https://aws.amazon.com/about-aws/whats-new/2021/10/apache-spark-hive-presto-amazon-emr-clusters-amazon-sagemaker-studio/
既存のクラスタ
を選んで接続

View Slide

SageMaker – 全般

View Slide

Amazon SageMaker で Fast File Mode をサポート (10/7)
• トレーニングジョブで Fast File Mode を ON にすると、直接 S3 からスト
リーミングでデータを取得することで⾼性能なデータアクセスを実現
• 既存の File Mode からのコード変更は不要
• K-means クラスタリングを 100 GB のデータセットに対してトレーニング
する際、従来の File Mode で 28 分かかっていたのが、Fast File Mode で
は 5 分で完了 (82％の削減)
• File Mode では、トレーニング開始時に EBS ボリュームにデータをダウン
ロードする必要があり、従来の Pipe Mode では、ストリーミングアクセス
により性能はいいがコードの修正が必要だった
https://aws.amazon.com/about-aws/whats-new/2021/10/amazon-sagemaker-fast-file-mode/

View Slide

インスタンスの最⼤ 14% の値下げと最⼤ 64% のコスト削減が可能な
SageMaker Savings Plans を発表 (4/20)
• 2021年4⽉19⽇以降のインスタンス
料⾦を最⼤14%値下げ
• SageMaker Savings Plans は1年ま
たは3年契約の⻑期利⽤をコミットす
ることでオンデマンド料⾦と⽐較して
最⼤64%の割引を提供
• インスタンスファミリー、サイズ、
AWSリージョンに関係なく⾃動適⽤
• AWS Cost Explorer から過去（7⽇、
30⽇、60⽇）の使⽤状況に基づいた
推奨事項が提供される
https://aws.amazon.com/about-aws/whats-new/2021/04/amazon-sagemaker-announces-a-price-reduction-in-instances-and-sagemaker-savings-plan/

View Slide

Amazon SageMaker がフルマネージドな RStudio Workbench を
発表 (11/3)
• データサイエンス、統計解析、機械
学習のための R 開発の IDE である
RStudio をフルマネージドで提供
• RStudio のライセンスは AWS
License Manager を介して
SageMaker に導⼊する
• SageMaker Studio と RStudio は
Amazon EFS ストレージを共通の基
盤としており、R と Python を⾏き
来することができる
https://aws.amazon.com/about-aws/whats-new/2021/11/amazon-sagemaker-launches-fully-managed-rstudio-workbench/

View Slide

インフラストラクチャ

View Slide

深層学習モデルのコスト効率の⾼い学習のための Amazon EC2 DL1
インスタンスを発表 (10/26)
• Intel 傘下の Habana Labs 製「Gaudi」アクセラレータが搭載さ
れたインスタンスであり、現世代の GPU ベースのインスタンスと
⽐べて最⼤ 40% のコストパフォーマンスを実現
• 最⼩限のコード変更で既存の機械学習モデルを移⾏可能
• 現状、ECS / EKS では利⽤可能だが、SageMaker は未対応
https://aws.amazon.com/about-aws/whats-new/2021/10/amazon-ec2-dl1-instances-cost-efficient-training-deep-learning-models/

View Slide

AIサービス – GA / ⽇本語対応

View Slide

Amazon Lookout for Vision よる品質検査の⾃動化 - ⼀般提供開始 (2/25)
• 機械学習の専⾨知識なしで、コンピュータビジョンを利⽤した
リアルタイムの視覚検査を⾏うことができる AI サービス
• 機械部品や⼯業製品など、正常画像を20枚以上、異常画像を10枚
以上提供するだけで開始可能
• 予測結果にフィードバックを⾏うことで精度の改善が可能
https://aws.amazon.com/about-aws/whats-new/2021/02/automate-quality-inspection-amazon-lookout-vision-generally-available/
損傷部分の検出部品の⽋陥プロセスの不具合

View Slide

Amazon Lookout for Metrics でメトリクスの異常を検出し、問題を
迅速に診断 - ⼀般提供開始 (3/26)
• さまざまなデータソースからビジネス
メトリクスを収集し、機械学習による
異常検知を⾏う
• Amazon S3, RDS, Redshift, CloudWatch
• AppFlow による SaaS 連携 (SalesForce,
Marketo, Google Analytics, etc)
• 異常のグループ化、ランク付けが可能
• 継続的なチューニングによる精度の向上
• さまざまなターゲットにアラート発⾏
• Amazon SNS, AWS Lambda, DataDog,
Slack, etc
https://aws.amazon.com/about-aws/whats-new/2021/03/amazon-lookout-for-metrics-generally-available/
異常検知の閾値の調整

View Slide

Amazon Lex が⽇本語への対応を開始 (4/2)
• ⾳声やテキストを利⽤したチャット
ボットの構築を簡単に⾏える
Amazon Lex が⽇本語に対応
• Text to Speech の Amazon Polly
と組み合わせて⽇本語による会話
エクスペリエンスの提供も可能
https://aws.amazon.com/about-aws/whats-new/2021/04/amazon-lex-launches-support-japanese/

View Slide

Contact Lens for Amazon Connect が⽇本語含む8⾔語に対応 (9/13)
• Contact Lens は、クラウド型コールセンターサービスの Amazon Connect
に AI 機能を搭載し、通話データの分析とダッシュボードを提供
• ⾳声の書き起こしや感情分析などが統合されており、機能を ON にするだけ
で複雑な実装なく利⽤可能
https://aws.amazon.com/about-aws/whats-new/2021/09/contact-lens-amazon-connect-adds-languages/

View Slide

Amazon Kendra が⽇本語含む 34 ⾔語の追加サポートを開始 (10/7)
• 機械学習を利⽤した⾼精度のインテリジェント
検索サービス
• 現状は、⽇本語を含む34⾔語のドキュメント
や FAQ の検索をキーワードベースで⾏うこと
が可能
• 英語では、セマンティック検索など、フル機能を
利⽤可能
• 現状、東京リージョンは未対応
https://aws.amazon.com/about-aws/whats-new/2021/10/amazon-kendra-support-additional-languages/

View Slide

AIサービス – 機能追加

View Slide

Amazon Personalize で、ビジネスメトリクスに合わせてパーソナライズ
されたレコメンドを最適化できるように (8/5)
• Item データセットの数字属性に、単価、
売り上げ、利益率、ビデオ視聴時間などの
ビジネスメトリクス関連情報を定義して、
追加の objective としてレコメンデー
ションに取り⼊れることが可能に
https://aws.amazon.com/about-aws/whats-new/2021/08/optimize-personalized-recommendations-business-metric-choice-amazon-personalize/
Item データ

View Slide

Amazon Forecast、最⼤ 40％精度の⾼い予測を作成し、説明可能性
を提供する新APIを発表 (11/19)
• CreateAutoPredictor API を発表
• データをセグメント化し、各項⽬に対して
最適な異なるアルゴリズムをアンサンブル
することで予測精度を最⼤ 40% 向上
• また、以前は新しいデータが得られたら予
測モデル全体を再トレーニングする必要が
あったが、AutoPredictor モデルでは増分
学習を⾏うことでトレーニング時間を最⼤
50% 短縮
• さらに、どの特徴量が予測に影響を与えた
のかを説明する説明可能性レポートを出⼒
• 新しい CreateExplainability API を⽤いると、
より詳細なインサイトを取得可能
https://aws.amazon.com/about-aws/whats-new/2021/11/amazon-forecast-api-forecasts-explainability/

View Slide

その他 – ホワイトペーパー / 書籍

View Slide

AWS Well-Architected 機械学習レンズのメジャーアップデート (10/12)
https://docs.aws.amazon.com/wellarchitected/latest/machine-learning-lens/machine-learning-lens.html
ベストプラクティス
実装プラン
ドキュメント
ブログ
ビデオ
サンプルコード

View Slide

オライリージャパン「実践 AWS データサイエンス」が発売 (10/15)
https://github.com/oreilly-japan/data-science-on-aws-jp/tree/main/workshop

View Slide

Thank you!

View Slide


View Slide

AWS MLOps Framework のアップデート
• 開発・ステージング・プロダ
クションのマルチアカウント
構成をサポート (6/3)
• モデルのバージョン管理の
SageMaker Model Registry
によるモデルデプロイと「委
任された管理者」アカウント
によるプロビジョニングのサ
ポート (7/27)
https://aws.amazon.com/solutions/implementations/aws-mlops-framework/

View Slide

OSS (Hugging Face Transformers & AutoGluon) との統合
• Hugging Face Transformers の NLP モデルを SageMaker でトレーニング
するための API を追加 (3/24)
• Hugging Face Transformers の推論コンテナをサポート (7/12)
• SageMaker JumpStart を⽤いた GUI 上での Hugging Face モデルの利⽤を
サポート (8/10)
• ⾼精度な AutoML を実現する AutoGluon のコンテナイメージも提供 (10/3)

View Slide

⼤阪リージョンで Amazon SageMaker の提供を開始 (9/2)
• 2021年3⽉にローンチした「AWS アジア
パシフィック (⼤阪) リージョン」でも、
Amazon SageMaker を利⽤可能に
• 東京リージョンと⼤阪リージョンで、機械
学習モデルの国内のマルチリージョン構成
を組むことが可能
https://aws.amazon.com/about-aws/whats-new/2021/09/amazon-sagemaker-aws-asia-pacific-osaka-region/

View Slide

⽇本含むアジア太平洋地域の Amazon Forecast Weather Index を
発表 (8/20)
• Amazon Forecast Weather Index は、ワン
クリックで特定の場所での過去の気象イベント
現在の予報からの複数の気象指標を組み合わせ
て、需要予測モデルの精度を⾼めることが可能
• 需要予測にアジア太平洋地域の 14 ⽇間の天気
予報を含めることができるようになった
https://aws.amazon.com/about-aws/whats-new/2021/08/amazon-forecast-weather-index-asia-pacific/

View Slide

AWS re:Invent直前！2021年のアップデートを振り返ろう AI/MLサービス編

AWS re:Invent直前！ 2021年のアップデートを振り返ろう AI/MLサービス編

kmotohas

More Decks by kmotohas

Other Decks in Technology

Featured

Transcript