AWS re:Invent直前！ 2021年のアップデートを振り返ろう AI/MLサービス編

© 2021, Amazon Web Services, Inc. or its Affiliates. All
rights reserved. Amazon Web Services Japan G.K. Kazuki Motohashi, Ph.D. (@kmotohas) 2021年11⽉25⽇ AWS re:Invent直前︕ 2021年のアップデートを振り返ろう AI/MLサービス編

rights reserved. VISION SPEECH TEXT SEARCH CHATBOTS PERSONALIZATION FORECASTING FRAUD CONTACT CENTERS Deep Learning AMIs & Containers GPUs & CPUs Elastic Inference Trainium Inferentia FPGA AI サービス: 機械学習の深い知識なしに利⽤可能 ML サービス: 機械学習のプロセス全体を効率化するマネージドサービス ML フレームワークとインフラストラクチャ: 機械学習の環境を⾃在に構築して利⽤ DeepGraphLibrary Amazon Rekognition Amazon Polly Amazon Transcribe +Medical Amazon Lex Amazon Personalize Amazon Forecast Amazon Comprehend +Medical Amazon Textract Amazon Kendra Amazon CodeGuru Amazon Fraud Detector Amazon Translate INDUSTRIAL AI CODE AND DEVOPS NEW Amazon DevOps Guru Voice ID For Amazon Connect Contact Lens NEW Amazon Monitron NEW AWS Panorama + Appliance NEW Amazon Lookout for Vision NEW Amazon Lookout for Equipment AWSの機械学習スタック NEW Amazon HealthLake HEALTH AI NEW Amazon Lookout for Metrics ANOMALY DETECTION Amazon Transcribe Medical Amazon Comprehend Medical Amazon SageMaker Label data NEW Aggregate & prepare data NEW Store & share features Auto ML Spark/R NEW Detect bias Visualize in notebooks Pick algorithm Train models Tune parameters NEW Debug & profile Deploy in production Manage & monitor NEW CI/CD Human review NEW: Model management for edge devices NEW: SageMaker JumpStart SAGEMAKER STUDIO IDE

rights reserved. サービス別のアップデート数の割合 11⽉25⽇現在、2021年の「Machine Learning」カテゴリには 231 のアップデート︕ https://aws.amazon.com/about-aws/whats-new/machine-learning/

rights reserved. ⽬次 • SageMaker • MLOps系 • DB/DWH統合 • その他全般 • インフラストラクチャ • AI サービス • GA / ⽇本語対応 • 機能追加

rights reserved. Amazon SageMaker Pipelines のアップデート • Event Bridge トリガーを起点とした実⾏をサポート (4/6) • ステップ間の依存関係を明⽰的に設定可能に (5/21) • SageMaker Experiments と統合し、実験管理を⾃動化 (5/26) • コールバックステップを追加し、Spark ジョブや Glue の ETL タスクなど外部のジョブをパイプラインの⼀部に取り込めるように (6/10) • ⾃動ハイパーパラメータチューニングステップの追加 (7/13) • GitHub や Jenkins などのサードパーティツールとの統合 (7/27) • AWS Lambda 関数の実⾏ステップを追加 (8/4) • 失敗したステップからの再開とリトライポリシーのサポート (11/8) 機械学習ワークフローのオーケストレーションサービス

rights reserved. Amazon SageMaker 推論エンドポイント⽤の新しいデプロイメントガードレールを発表 (11/10) • SageMaker で新しく推論エンドポイントをデプロイする際、既存のエンドポイントからのトラフィックのシフトを細かく制御できるようになった • カナリアおよびリニアのトラフィックシフトモードに対応 • CloudWatchアラームを事前に定義し、アラームが作動した場合は⾃動的にロールバックする https://aws.amazon.com/about-aws/whats-new/2021/11/new-deployment-guardrails-amazon-sagemaker-inference-endpoints/

rights reserved. 最⼤1GB、15分の SageMaker Asynchronous Inference を導⼊ (8/20) • 従来の推論オプション • リアルタイム推論︓リクエストサイズが⼩さい、リアルタイム処理向け • バッチ変換︓⼤規模なバッチデータに対するオフライン予測向け • 追加の推論オプション • ⾮同期推論︓リクエストサイズや処理時間が⼤きいワークロード向け • 数分のコールドスタートが許容できる場合、待機中はインスタンス数をゼロにしてコスト削減が可能 https://aws.amazon.com/about-aws/whats-new/2021/08/amazon-sagemaker-asynchronous-new-inference-option/

rights reserved. Amazon SageMaker を利⽤した Amazon Athena ML が⼀般提供を開始 (4/20) • Athena のクエリから SageMaker の機械学習モデルを呼び出し、リアルタイムかつ低レイテンシーで推論が可能 • USING EXTERNAL FUNCTION を使⽤して SageMaker のモデルエンドポイントをユーザー定義関数として定義 • ビジネスユーザーやアナリストが複雑なプログラミングなしに ML モデルを簡単に利⽤可能に https://aws.amazon.com/about-aws/whats-new/2021/04/announcing-general-availability-of-amazon-athena-ml-powered-by-amazon-sagemaker/

rights reserved. Amazon Redshift ML の⼀般提供を開始 (5/27) • Redshift から SQL ⽂でデータの変換、機械学習モデルのトレーニング、チューニング、デプロイまでを⼀気通貫で実⾏ • バックエンドには SageMaker Autopilot を利⽤し、機械学習を⽤いた解約予測やリスクスコアリングなどを SQL クエリで⾏える • カスタムの SageMaker エンドポイントも呼び出し可能 https://aws.amazon.com/about-aws/whats-new/2021/05/aws-announces-general-availability-of-amazon-redshift-ml/

rights reserved. Neptune ML が⼀般提供開始と同時に多くの新機能を追加 (7/29) • ノード分類・回帰、エッジ分類・回帰、リンク予測を、Neptune グラフ DB のデータに対して実⾏可能 https://aws.amazon.com/about-aws/whats-new/2021/07/amazon-neptune-ml-generally-available-support-edge-predictions-automation-and-more/ • 追加機能 • 新しいクラスのグラフ ML タスクのサポート︓ エッジの分類と回帰 • モデルを再学習することなく、グラフの新しいノードやエッジに関する予測を得ることが可能 • グラフ特徴処理の簡素化と強化 • すべてのタスクで学習を⾼速化

rights reserved. Amazon SageMaker Studio から直接 Amazon EMR クラスターに接続し、Apache Spark、Hive、Presto を使⽤可能に (10/1) • SageMaker Studio から GUI ベースで EMR クラスターに接続し、ペタバイト規模のデータ分析と機械学習が実⾏可能に • データサイエンスや ML ワークフローのさらなる簡素化が期待される • YouTube でデモ動画公開中 https://aws.amazon.com/about-aws/whats-new/2021/10/apache-spark-hive-presto-amazon-emr-clusters-amazon-sagemaker-studio/ 既存のクラスタを選んで接続

rights reserved. Amazon SageMaker で Fast File Mode をサポート (10/7) • トレーニングジョブで Fast File Mode を ON にすると、直接 S3 からストリーミングでデータを取得することで⾼性能なデータアクセスを実現 • 既存の File Mode からのコード変更は不要 • K-means クラスタリングを 100 GB のデータセットに対してトレーニングする際、従来の File Mode で 28 分かかっていたのが、Fast File Mode では 5 分で完了 (82％の削減) • File Mode では、トレーニング開始時に EBS ボリュームにデータをダウンロードする必要があり、従来の Pipe Mode では、ストリーミングアクセスにより性能はいいがコードの修正が必要だった https://aws.amazon.com/about-aws/whats-new/2021/10/amazon-sagemaker-fast-file-mode/

rights reserved. インスタンスの最⼤ 14% の値下げと最⼤ 64% のコスト削減が可能な SageMaker Savings Plans を発表 (4/20) • 2021年4⽉19⽇以降のインスタンス料⾦を最⼤14%値下げ • SageMaker Savings Plans は1年または3年契約の⻑期利⽤をコミットすることでオンデマンド料⾦と⽐較して最⼤64%の割引を提供 • インスタンスファミリー、サイズ、 AWSリージョンに関係なく⾃動適⽤ • AWS Cost Explorer から過去（7⽇、 30⽇、60⽇）の使⽤状況に基づいた推奨事項が提供される https://aws.amazon.com/about-aws/whats-new/2021/04/amazon-sagemaker-announces-a-price-reduction-in-instances-and-sagemaker-savings-plan/

rights reserved. Amazon SageMaker がフルマネージドな RStudio Workbench を発表 (11/3) • データサイエンス、統計解析、機械学習のための R 開発の IDE である RStudio をフルマネージドで提供 • RStudio のライセンスは AWS License Manager を介して SageMaker に導⼊する • SageMaker Studio と RStudio は Amazon EFS ストレージを共通の基盤としており、R と Python を⾏き来することができる https://aws.amazon.com/about-aws/whats-new/2021/11/amazon-sagemaker-launches-fully-managed-rstudio-workbench/

rights reserved. 深層学習モデルのコスト効率の⾼い学習のための Amazon EC2 DL1 インスタンスを発表 (10/26) • Intel 傘下の Habana Labs 製「Gaudi」アクセラレータが搭載されたインスタンスであり、現世代の GPU ベースのインスタンスと⽐べて最⼤ 40% のコストパフォーマンスを実現 • 最⼩限のコード変更で既存の機械学習モデルを移⾏可能 • 現状、ECS / EKS では利⽤可能だが、SageMaker は未対応 https://aws.amazon.com/about-aws/whats-new/2021/10/amazon-ec2-dl1-instances-cost-efficient-training-deep-learning-models/

rights reserved. Amazon Lookout for Vision よる品質検査の⾃動化 - ⼀般提供開始 (2/25) • 機械学習の専⾨知識なしで、コンピュータビジョンを利⽤したリアルタイムの視覚検査を⾏うことができる AI サービス • 機械部品や⼯業製品など、正常画像を20枚以上、異常画像を10枚以上提供するだけで開始可能 • 予測結果にフィードバックを⾏うことで精度の改善が可能 https://aws.amazon.com/about-aws/whats-new/2021/02/automate-quality-inspection-amazon-lookout-vision-generally-available/ 損傷部分の検出部品の⽋陥プロセスの不具合

rights reserved. Amazon Lookout for Metrics でメトリクスの異常を検出し、問題を迅速に診断 - ⼀般提供開始 (3/26) • さまざまなデータソースからビジネスメトリクスを収集し、機械学習による異常検知を⾏う • Amazon S3, RDS, Redshift, CloudWatch • AppFlow による SaaS 連携 (SalesForce, Marketo, Google Analytics, etc) • 異常のグループ化、ランク付けが可能 • 継続的なチューニングによる精度の向上 • さまざまなターゲットにアラート発⾏ • Amazon SNS, AWS Lambda, DataDog, Slack, etc https://aws.amazon.com/about-aws/whats-new/2021/03/amazon-lookout-for-metrics-generally-available/ 異常検知の閾値の調整

rights reserved. Amazon Lex が⽇本語への対応を開始 (4/2) • ⾳声やテキストを利⽤したチャットボットの構築を簡単に⾏える Amazon Lex が⽇本語に対応 • Text to Speech の Amazon Polly と組み合わせて⽇本語による会話エクスペリエンスの提供も可能 https://aws.amazon.com/about-aws/whats-new/2021/04/amazon-lex-launches-support-japanese/

rights reserved. Contact Lens for Amazon Connect が⽇本語含む8⾔語に対応 (9/13) • Contact Lens は、クラウド型コールセンターサービスの Amazon Connect に AI 機能を搭載し、通話データの分析とダッシュボードを提供 • ⾳声の書き起こしや感情分析などが統合されており、機能を ON にするだけで複雑な実装なく利⽤可能 https://aws.amazon.com/about-aws/whats-new/2021/09/contact-lens-amazon-connect-adds-languages/

rights reserved. Amazon Kendra が⽇本語含む 34 ⾔語の追加サポートを開始 (10/7) • 機械学習を利⽤した⾼精度のインテリジェント検索サービス • 現状は、⽇本語を含む34⾔語のドキュメントや FAQ の検索をキーワードベースで⾏うことが可能 • 英語では、セマンティック検索など、フル機能を利⽤可能 • 現状、東京リージョンは未対応 https://aws.amazon.com/about-aws/whats-new/2021/10/amazon-kendra-support-additional-languages/

rights reserved. Amazon Personalize で、ビジネスメトリクスに合わせてパーソナライズされたレコメンドを最適化できるように (8/5) • Item データセットの数字属性に、単価、売り上げ、利益率、ビデオ視聴時間などのビジネスメトリクス関連情報を定義して、追加の objective としてレコメンデーションに取り⼊れることが可能に https://aws.amazon.com/about-aws/whats-new/2021/08/optimize-personalized-recommendations-business-metric-choice-amazon-personalize/ Item データ

rights reserved. Amazon Forecast、最⼤ 40％精度の⾼い予測を作成し、説明可能性を提供する新APIを発表 (11/19) • CreateAutoPredictor API を発表 • データをセグメント化し、各項⽬に対して最適な異なるアルゴリズムをアンサンブルすることで予測精度を最⼤ 40% 向上 • また、以前は新しいデータが得られたら予測モデル全体を再トレーニングする必要があったが、AutoPredictor モデルでは増分学習を⾏うことでトレーニング時間を最⼤ 50% 短縮 • さらに、どの特徴量が予測に影響を与えたのかを説明する説明可能性レポートを出⼒ • 新しい CreateExplainability API を⽤いると、より詳細なインサイトを取得可能 https://aws.amazon.com/about-aws/whats-new/2021/11/amazon-forecast-api-forecasts-explainability/

rights reserved. AWS Well-Architected 機械学習レンズのメジャーアップデート (10/12) https://docs.aws.amazon.com/wellarchitected/latest/machine-learning-lens/machine-learning-lens.html ベストプラクティス実装プランドキュメントブログビデオサンプルコード

rights reserved. オライリージャパン「実践 AWS データサイエンス」が発売 (10/15) https://github.com/oreilly-japan/data-science-on-aws-jp/tree/main/workshop

rights reserved. Thank you!

rights reserved.

rights reserved. AWS MLOps Framework のアップデート • 開発・ステージング・プロダクションのマルチアカウント構成をサポート (6/3) • モデルのバージョン管理の SageMaker Model Registry によるモデルデプロイと「委任された管理者」アカウントによるプロビジョニングのサポート (7/27) https://aws.amazon.com/solutions/implementations/aws-mlops-framework/

rights reserved. OSS (Hugging Face Transformers & AutoGluon) との統合 • Hugging Face Transformers の NLP モデルを SageMaker でトレーニングするための API を追加 (3/24) • Hugging Face Transformers の推論コンテナをサポート (7/12) • SageMaker JumpStart を⽤いた GUI 上での Hugging Face モデルの利⽤をサポート (8/10) • ⾼精度な AutoML を実現する AutoGluon のコンテナイメージも提供 (10/3)

rights reserved. ⼤阪リージョンで Amazon SageMaker の提供を開始 (9/2) • 2021年3⽉にローンチした「AWS アジアパシフィック (⼤阪) リージョン」でも、 Amazon SageMaker を利⽤可能に • 東京リージョンと⼤阪リージョンで、機械学習モデルの国内のマルチリージョン構成を組むことが可能 https://aws.amazon.com/about-aws/whats-new/2021/09/amazon-sagemaker-aws-asia-pacific-osaka-region/

rights reserved. ⽇本含むアジア太平洋地域の Amazon Forecast Weather Index を発表 (8/20) • Amazon Forecast Weather Index は、ワンクリックで特定の場所での過去の気象イベント現在の予報からの複数の気象指標を組み合わせて、需要予測モデルの精度を⾼めることが可能 • 需要予測にアジア太平洋地域の 14 ⽇間の天気予報を含めることができるようになった https://aws.amazon.com/about-aws/whats-new/2021/08/amazon-forecast-weather-index-asia-pacific/

AWS re:Invent直前！ 2021年のアップデートを振り返ろう AI/MLサービス編

AWS re:Invent直前！ 2021年のアップデートを振り返ろう AI/MLサービス編

More Decks by kmotohas

Other Decks in Technology

Featured

Transcript

AWS re:Invent直前！2021年のアップデートを振り返ろう AI/MLサービス編