Upgrade to Pro — share decks privately, control downloads, hide ads and more …

AWS re:Invent直前! 2021年のアップデートを振り返ろう AI/MLサービス編

kmotohas
November 25, 2021

AWS re:Invent直前! 2021年のアップデートを振り返ろう AI/MLサービス編

kmotohas

November 25, 2021
Tweet

More Decks by kmotohas

Other Decks in Technology

Transcript

  1. © 2021, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. Amazon Web Services Japan G.K. Kazuki Motohashi, Ph.D. (@kmotohas) 2021年11⽉25⽇ AWS re:Invent直前︕ 2021年のアップデートを振り返ろう AI/MLサービス編
  2. © 2021, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. VISION SPEECH TEXT SEARCH CHATBOTS PERSONALIZATION FORECASTING FRAUD CONTACT CENTERS Deep Learning AMIs & Containers GPUs & CPUs Elastic Inference Trainium Inferentia FPGA AI サービス: 機械学習の深い知識なしに利⽤可能 ML サービス: 機械学習のプロセス全体を効率化するマネージドサービス ML フレームワークとインフラストラクチャ: 機械学習の環境を⾃在に構築して利⽤ DeepGraphLibrary Amazon Rekognition Amazon Polly Amazon Transcribe +Medical Amazon Lex Amazon Personalize Amazon Forecast Amazon Comprehend +Medical Amazon Textract Amazon Kendra Amazon CodeGuru Amazon Fraud Detector Amazon Translate INDUSTRIAL AI CODE AND DEVOPS NEW Amazon DevOps Guru Voice ID For Amazon Connect Contact Lens NEW Amazon Monitron NEW AWS Panorama + Appliance NEW Amazon Lookout for Vision NEW Amazon Lookout for Equipment AWSの機械学習スタック NEW Amazon HealthLake HEALTH AI NEW Amazon Lookout for Metrics ANOMALY DETECTION Amazon Transcribe Medical Amazon Comprehend Medical Amazon SageMaker Label data NEW Aggregate & prepare data NEW Store & share features Auto ML Spark/R NEW Detect bias Visualize in notebooks Pick algorithm Train models Tune parameters NEW Debug & profile Deploy in production Manage & monitor NEW CI/CD Human review NEW: Model management for edge devices NEW: SageMaker JumpStart SAGEMAKER STUDIO IDE
  3. © 2021, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. サービス別のアップデート数の割合 11⽉25⽇現在、2021年の「Machine Learning」カテゴリには 231 のアップデート︕ https://aws.amazon.com/about-aws/whats-new/machine-learning/
  4. © 2021, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. ⽬次 • SageMaker • MLOps系 • DB/DWH統合 • その他全般 • インフラストラクチャ • AI サービス • GA / ⽇本語対応 • 機能追加
  5. © 2021, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. © 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved. SageMaker – MLOps
  6. © 2021, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. Amazon SageMaker Pipelines のアップデート • Event Bridge トリガーを起点とした実⾏をサポート (4/6) • ステップ間の依存関係を明⽰的に設定可能に (5/21) • SageMaker Experiments と統合し、実験管理を⾃動化 (5/26) • コールバックステップを追加し、Spark ジョブや Glue の ETL タスクなど 外部のジョブをパイプラインの⼀部に取り込めるように (6/10) • ⾃動ハイパーパラメータチューニングステップの追加 (7/13) • GitHub や Jenkins などのサードパーティツールとの統合 (7/27) • AWS Lambda 関数の実⾏ステップを追加 (8/4) • 失敗したステップからの再開とリトライポリシーのサポート (11/8) 機械学習ワークフローのオーケストレーションサービス
  7. © 2021, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. Amazon SageMaker 推論エンドポイント⽤の新しいデプロイメント ガードレールを発表 (11/10) • SageMaker で新しく推論エンドポイント をデプロイする際、既存のエンドポイント からのトラフィックのシフトを細かく制御 できるようになった • カナリアおよびリニアのトラフィックシフ トモードに対応 • CloudWatchアラームを事前に定義し、 アラームが作動した場合は⾃動的にロール バックする https://aws.amazon.com/about-aws/whats-new/2021/11/new-deployment-guardrails-amazon-sagemaker-inference-endpoints/
  8. © 2021, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. 最⼤1GB、15分の SageMaker Asynchronous Inference を導⼊ (8/20) • 従来の推論オプション • リアルタイム推論︓リクエストサイズ が⼩さい、リアルタイム処理向け • バッチ変換︓⼤規模なバッチデータに 対するオフライン予測向け • 追加の推論オプション • ⾮同期推論︓リクエストサイズや処理 時間が⼤きいワークロード向け • 数分のコールドスタートが許容できる 場合、待機中はインスタンス数をゼロ にしてコスト削減が可能 https://aws.amazon.com/about-aws/whats-new/2021/08/amazon-sagemaker-asynchronous-new-inference-option/
  9. © 2021, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. © 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved. SageMaker – DB/DWH統合
  10. © 2021, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. Amazon SageMaker を利⽤した Amazon Athena ML が⼀般提供を 開始 (4/20) • Athena のクエリから SageMaker の機械学習モデルを呼び出し、 リアルタイムかつ低レイテンシーで推論が可能 • USING EXTERNAL FUNCTION を使⽤して SageMaker のモデル エンドポイントをユーザー定義関数として定義 • ビジネスユーザーやアナリストが複雑なプログラミングなしに ML モデルを簡単に利⽤可能に https://aws.amazon.com/about-aws/whats-new/2021/04/announcing-general-availability-of-amazon-athena-ml-powered-by-amazon-sagemaker/
  11. © 2021, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. Amazon Redshift ML の⼀般提供を開始 (5/27) • Redshift から SQL ⽂でデータの変換、 機械学習モデルのトレーニング、チュー ニング、デプロイまでを⼀気通貫で実⾏ • バックエンドには SageMaker Autopilot を利⽤し、機械学習を⽤いた解約予測や リスクスコアリングなどを SQL クエリで ⾏える • カスタムの SageMaker エンドポイント も呼び出し可能 https://aws.amazon.com/about-aws/whats-new/2021/05/aws-announces-general-availability-of-amazon-redshift-ml/
  12. © 2021, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. Neptune ML が⼀般提供開始と同時に多くの新機能を追加 (7/29) • ノード分類・回帰、エッジ分類・回帰、リンク予測を、Neptune グラフ DB のデータに対して実⾏可能 https://aws.amazon.com/about-aws/whats-new/2021/07/amazon-neptune-ml-generally-available-support-edge-predictions-automation-and-more/ • 追加機能 • 新しいクラスのグラフ ML タスクのサポート︓ エッジの分類と回帰 • モデルを再学習することなく、グラフの新しい ノードやエッジに関する予測を得ることが可能 • グラフ特徴処理の簡素化と強化 • すべてのタスクで学習を⾼速化
  13. © 2021, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. Amazon SageMaker Studio から直接 Amazon EMR クラスターに 接続し、Apache Spark、Hive、Presto を使⽤可能に (10/1) • SageMaker Studio から GUI ベースで EMR クラ スターに接続し、ペタバイト規模のデータ分析と 機械学習が実⾏可能に • データサイエンスや ML ワークフローのさらなる 簡素化が期待される • YouTube でデモ動画公開中 https://aws.amazon.com/about-aws/whats-new/2021/10/apache-spark-hive-presto-amazon-emr-clusters-amazon-sagemaker-studio/ 既存のクラスタ を選んで接続
  14. © 2021, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. © 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved. SageMaker – 全般
  15. © 2021, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. Amazon SageMaker で Fast File Mode をサポート (10/7) • トレーニングジョブで Fast File Mode を ON にすると、直接 S3 からスト リーミングでデータを取得することで⾼性能なデータアクセスを実現 • 既存の File Mode からのコード変更は不要 • K-means クラスタリングを 100 GB のデータセットに対してトレーニング する際、従来の File Mode で 28 分かかっていたのが、Fast File Mode で は 5 分で完了 (82% の削減) • File Mode では、トレーニング開始時に EBS ボリュームにデータをダウン ロードする必要があり、従来の Pipe Mode では、ストリーミングアクセス により性能はいいがコードの修正が必要だった https://aws.amazon.com/about-aws/whats-new/2021/10/amazon-sagemaker-fast-file-mode/
  16. © 2021, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. インスタンスの最⼤ 14% の値下げと最⼤ 64% のコスト削減が可能な SageMaker Savings Plans を発表 (4/20) • 2021年4⽉19⽇以降のインスタンス 料⾦を最⼤14%値下げ • SageMaker Savings Plans は1年ま たは3年契約の⻑期利⽤をコミットす ることでオンデマンド料⾦と⽐較して 最⼤64%の割引を提供 • インスタンスファミリー、サイズ、 AWSリージョンに関係なく⾃動適⽤ • AWS Cost Explorer から過去(7⽇、 30⽇、60⽇)の使⽤状況に基づいた 推奨事項が提供される https://aws.amazon.com/about-aws/whats-new/2021/04/amazon-sagemaker-announces-a-price-reduction-in-instances-and-sagemaker-savings-plan/
  17. © 2021, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. Amazon SageMaker がフルマネージドな RStudio Workbench を 発表 (11/3) • データサイエンス、統計解析、機械 学習のための R 開発の IDE である RStudio をフルマネージドで提供 • RStudio のライセンスは AWS License Manager を介して SageMaker に導⼊する • SageMaker Studio と RStudio は Amazon EFS ストレージを共通の基 盤としており、R と Python を⾏き 来することができる https://aws.amazon.com/about-aws/whats-new/2021/11/amazon-sagemaker-launches-fully-managed-rstudio-workbench/
  18. © 2021, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. © 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved. インフラストラクチャ
  19. © 2021, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. 深層学習モデルのコスト効率の⾼い学習のための Amazon EC2 DL1 インスタンスを発表 (10/26) • Intel 傘下の Habana Labs 製「Gaudi」アクセラレータが搭載さ れたインスタンスであり、現世代の GPU ベースのインスタンスと ⽐べて最⼤ 40% のコストパフォーマンスを実現 • 最⼩限のコード変更で既存の機械学習モデルを移⾏可能 • 現状、ECS / EKS では利⽤可能だが、SageMaker は未対応 https://aws.amazon.com/about-aws/whats-new/2021/10/amazon-ec2-dl1-instances-cost-efficient-training-deep-learning-models/
  20. © 2021, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. © 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved. AIサービス – GA / ⽇本語対応
  21. © 2021, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. Amazon Lookout for Vision よる品質検査の⾃動化 - ⼀般提供開始 (2/25) • 機械学習の専⾨知識なしで、コンピュータビジョンを利⽤した リアルタイムの視覚検査を⾏うことができる AI サービス • 機械部品や⼯業製品など、正常画像を20枚以上、異常画像を10枚 以上提供するだけで開始可能 • 予測結果にフィードバックを⾏うことで精度の改善が可能 https://aws.amazon.com/about-aws/whats-new/2021/02/automate-quality-inspection-amazon-lookout-vision-generally-available/ 損傷部分の検出 部品の⽋陥 プロセスの不具合
  22. © 2021, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. Amazon Lookout for Metrics でメトリクスの異常を検出し、問題を 迅速に診断 - ⼀般提供開始 (3/26) • さまざまなデータソースからビジネス メトリクスを収集し、機械学習による 異常検知を⾏う • Amazon S3, RDS, Redshift, CloudWatch • AppFlow による SaaS 連携 (SalesForce, Marketo, Google Analytics, etc) • 異常のグループ化、ランク付けが可能 • 継続的なチューニングによる精度の向上 • さまざまなターゲットにアラート発⾏ • Amazon SNS, AWS Lambda, DataDog, Slack, etc https://aws.amazon.com/about-aws/whats-new/2021/03/amazon-lookout-for-metrics-generally-available/ 異常検知の閾値の調整
  23. © 2021, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. Amazon Lex が⽇本語への対応を開始 (4/2) • ⾳声やテキストを利⽤したチャット ボットの構築を簡単に⾏える Amazon Lex が⽇本語に対応 • Text to Speech の Amazon Polly と組み合わせて⽇本語による会話 エクスペリエンスの提供も可能 https://aws.amazon.com/about-aws/whats-new/2021/04/amazon-lex-launches-support-japanese/
  24. © 2021, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. Contact Lens for Amazon Connect が⽇本語含む8⾔語に対応 (9/13) • Contact Lens は、クラウド型コールセンターサービスの Amazon Connect に AI 機能を搭載し、通話データの分析とダッシュボードを提供 • ⾳声の書き起こしや感情分析などが統合されており、機能を ON にするだけ で複雑な実装なく利⽤可能 https://aws.amazon.com/about-aws/whats-new/2021/09/contact-lens-amazon-connect-adds-languages/
  25. © 2021, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. Amazon Kendra が⽇本語含む 34 ⾔語の追加サポートを開始 (10/7) • 機械学習を利⽤した⾼精度のインテリジェント 検索サービス • 現状は、⽇本語を含む34⾔語のドキュメント や FAQ の検索をキーワードベースで⾏うこと が可能 • 英語では、セマンティック検索など、フル機能を 利⽤可能 • 現状、東京リージョンは未対応 https://aws.amazon.com/about-aws/whats-new/2021/10/amazon-kendra-support-additional-languages/
  26. © 2021, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. © 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved. AIサービス – 機能追加
  27. © 2021, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. Amazon Personalize で、ビジネスメトリクスに合わせてパーソナライズ されたレコメンドを最適化できるように (8/5) • Item データセットの数字属性に、単価、 売り上げ、利益率、ビデオ視聴時間などの ビジネスメトリクス関連情報を定義して、 追加の objective としてレコメンデー ションに取り⼊れることが可能に https://aws.amazon.com/about-aws/whats-new/2021/08/optimize-personalized-recommendations-business-metric-choice-amazon-personalize/ Item データ
  28. © 2021, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. Amazon Forecast、最⼤ 40% 精度の⾼い予測を作成し、説明可能性 を提供する新APIを発表 (11/19) • CreateAutoPredictor API を発表 • データをセグメント化し、各項⽬に対して 最適な異なるアルゴリズムをアンサンブル することで予測精度を最⼤ 40% 向上 • また、以前は新しいデータが得られたら予 測モデル全体を再トレーニングする必要が あったが、AutoPredictor モデルでは増分 学習を⾏うことでトレーニング時間を最⼤ 50% 短縮 • さらに、どの特徴量が予測に影響を与えた のかを説明する説明可能性レポートを出⼒ • 新しい CreateExplainability API を⽤いると、 より詳細なインサイトを取得可能 https://aws.amazon.com/about-aws/whats-new/2021/11/amazon-forecast-api-forecasts-explainability/
  29. © 2021, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. © 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved. その他 – ホワイトペーパー / 書籍
  30. © 2021, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. AWS Well-Architected 機械学習レンズのメジャーアップデート (10/12) https://docs.aws.amazon.com/wellarchitected/latest/machine-learning-lens/machine-learning-lens.html ベストプラクティス 実装プラン ドキュメント ブログ ビデオ サンプルコード
  31. © 2021, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. オライリージャパン 「実践 AWS データサイエンス」が発売 (10/15) https://github.com/oreilly-japan/data-science-on-aws-jp/tree/main/workshop
  32. © 2021, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. AWS MLOps Framework のアップデート • 開発・ステージング・プロダ クションのマルチアカウント 構成をサポート (6/3) • モデルのバージョン管理の SageMaker Model Registry によるモデルデプロイと「委 任された管理者」アカウント によるプロビジョニングのサ ポート (7/27) https://aws.amazon.com/solutions/implementations/aws-mlops-framework/
  33. © 2021, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. OSS (Hugging Face Transformers & AutoGluon) との統合 • Hugging Face Transformers の NLP モデルを SageMaker でトレーニング するための API を追加 (3/24) • Hugging Face Transformers の推論コンテナをサポート (7/12) • SageMaker JumpStart を⽤いた GUI 上での Hugging Face モデルの利⽤を サポート (8/10) • ⾼精度な AutoML を実現する AutoGluon のコンテナイメージも提供 (10/3)
  34. © 2021, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. ⼤阪リージョンで Amazon SageMaker の提供を開始 (9/2) • 2021年3⽉にローンチした「AWS アジア パシフィック (⼤阪) リージョン」でも、 Amazon SageMaker を利⽤可能に • 東京リージョンと⼤阪リージョンで、機械 学習モデルの国内のマルチリージョン構成 を組むことが可能 https://aws.amazon.com/about-aws/whats-new/2021/09/amazon-sagemaker-aws-asia-pacific-osaka-region/
  35. © 2021, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. ⽇本含むアジア太平洋地域の Amazon Forecast Weather Index を 発表 (8/20) • Amazon Forecast Weather Index は、ワン クリックで特定の場所での過去の気象イベント 現在の予報からの複数の気象指標を組み合わせ て、需要予測モデルの精度を⾼めることが可能 • 需要予測にアジア太平洋地域の 14 ⽇間の天気 予報を含めることができるようになった https://aws.amazon.com/about-aws/whats-new/2021/08/amazon-forecast-weather-index-asia-pacific/