rights reserved. Amazon Confidential and Trademark. Amazon Web Services Japan Machine Learning Solutions Architecht AWS ではじめる MLOps 第15回 MLOps 勉強会(Online)
rights reserved. Amazon Confidential and Trademark. 本⽇お話すること 2 l Amazon における機械学習 l AWS における MLOps l MLOps で使える AWS サービス AWS で MLOps やるとこんな感じなんだーと知っていただければ幸いです。
rights reserved. Amazon Confidential and Trademark. Amazon Robotics: 物流における変⾰ ⼈とロボットが共に動き倉庫の⽣産性を向上 l 荷物の流量（InとOut）の増加 l 搬⼊搬出を速度化 l 従業員の⼿間やミスの軽減に貢献 l フロアスペースの効果的利⽤にも貢献 機械学習を駆使したルート制御 l 膨⼤な情報をクラウドに展開 l ロボット同⼠の衝突回避 https://www.youtube.com/watch?v=4sEVX4mPuto 8
rights reserved. Amazon Confidential and Trademark. AWS ML Lens: 機械学習のための Well-Architected 12 l 優れた運⽤効率 l セキュリティ l 信頼性 ⼀般的な AWS の Well-Architected: 6つの柱に基づいてアーキテクチャを評価しよりよい設計を⽬指す Framework https://docs.aws.amazon.com/wellarchitected/latest/machine-learning-lens/machine-learning-lens.html l パフォーマンス効率 l コストの最適化 l 持続可能性 ML Lens: 機械学習ライフサイクルの各フェーズにおける Well-Architected 英語版の⽅が最新です
rights reserved. Amazon Confidential and Trademark. AWS のマネージドサービスを活⽤した MLOps の基本構成 15 Amazon SageMaker Pipelines Amazon Managed Workflows For Apache Airflow (MWAA) AWS Step Functions AWS CodePipeline Amazon SageMaker Series パイプライン開発ツール MLOps コンポーネント l ラベリング l データ処理 l 学習 l 実験管理 l モデル管理 l 推論エンドポイント l モデル性能監視 l Human in the loop l etc. その他 OSS なども利⽤可能 その他 OSS なども利⽤可能
rights reserved. Amazon Confidential and Trademark. ラベリングの効率化︓Amazon SageMaker Ground Truth 20 画像分類 (マルチラベル対応) 物体検知 ⽂章分類 (マルチラベル対応) セマンティック セグメンテーション 固有表現抽出 ラベル検証 l テンプレートを使って数クリックでラベリングツールを作成可能 l メールアドレスで作業者を登録しラベリング依頼可能。ベンダへの依頼も可能。 l ⼤量データに対しては⾃動ラベリング機能によるラベリングコストの低減 動画分類 動画物体検出 動画物体追跡 Point cloud 物体検出 Point cloud 物体追跡 Point cloud セマンティック セグメンテーション
rights reserved. Amazon Confidential and Trademark. 統合開発環境（IDE）︓Amazon SageMaker Studio 23 l マネージドな Jupyter 環境をすぐに 利⽤可能。基本的なライブラリは インストール済み l 数クリックで、作成した Jupyter ノートブックのスナップショットを チームメンバに共有可能 l Jupyter ノートブックの処理を実⾏ するインスタンスをフレキシブルに 切り替え可能 l SageMaker が⽤意したビルトイン のカーネルのほかに、 カスタムイメージも利⽤可能 Web ブラウザから利⽤可能な機械学習のための IDE
rights reserved. Amazon Confidential and Trademark. モデル作成時の試⾏錯誤に便利な SageMaker の機能 30 l ハイパーパラメタチューニング l 探索範囲を指定してベイズ最適化やランダムサーチでより良いパラメタを探索 l マネージドスポットトレーニング l スポットインスタンスを使ってコスト効率よくモデルを学習 l 分散学習 l 複数インスタンスを使って学習時間を短縮 l トレーニングコンパイラ new! l モデルをコンパイルしてから学習することで最⼤50%の学習効率向上 l Amazon SageMaker Experiments（実験管理） l モデルに関連する情報（データのS3パス、使⽤したコンテナイメージ、評価メトリクス、 ハイパーパラメタなど）を構造化データとして⼀元管理
rights reserved. Amazon Confidential and Trademark. Amazon SageMaker を使った推論⽅法 35 バッチ推論（バッチ変換 ） l リアルタイム性が求められない推論向き l transform() でエンドポイントを起動 l 推論が終わるとエンドポイントが⾃動的に削除される l 推論時のみインスタンスを起動するためコスト効率⾼ 停⽌ EP 作成 推 論 停⽌ EP 作成 推 論 停⽌ 時間 ※ EP: エンドポイント 推論リクエスト 推論リクエスト l リアルタイムな推論を必要とする場合に選択 l deploy() でエンドポイントを構築できる l Web API の URL が発⾏され，URL にリクエストを送り推論 l オートスケールの設定が可能 l エンドポイント起動中は料⾦がかかるので注意 リアルタイム推論 ⼊⼒データ 推論結果 インスタンス S3 インスタンス ⼊⼒データ 推論結果
rights reserved. Amazon Confidential and Trademark. Amazon SageMaker を使った推論⽅法 36 ⾮同期推論 l リアルタイム推論と近い感覚で⾮同期で推論を実⾏ l リアルタイム推論ではタイムアウトするような重い推論を 実⾏する際に最適 l 最⼤1GBのペイロードサイズ、最⼤15分かかる推論に対応 l オートスケール設定も可能 ⼊⼒データ 推論結果 インスタンス S3 Internal queue サーバレス推論 new! (Preview中) l サーバレスのエンドポイントを使って推論 l コールドスタートを許容できるユースケースに最適 l エンドポイントのメモリサイズは 1〜6GB から選択可能 l ストレージサイズは 5GB 固定 l スケーリングポリシーを設定可能 サーバレスエンドポイント ⼊⼒データ 推論結果
rights reserved. Amazon Confidential and Trademark. リアルタイム推論のバリエーション 37 マルチモデルエンドポイント l 1つのエンドポイントに複数のモデルをデプロイ l 推論時のコスト削減に効果 マルチコンテナエンドポイント l 1つのエンドポイントに複数のモデルをコンテナごとデプロイ l 異なるフレームワークのモデルにも対応 l 推論時のコスト削減に効果 Amazon SageMaker Endpoint tokyo.tar.gz osaka.tar.gz nagoya.tar.gz hakata.tar.gz ⼊⼒データと モデル名 推論結果 Amazon SageMaker Endpoint pytorch_mnist model image tensorflow_mnist model image ⼊⼒データと モデル名 推論結果
rights reserved. Amazon Confidential and Trademark. Amazon SageMaker Blue/Green デプロイ機能 new! l Blue/Green デプロイにおいて、 トラフィックの振り分けを SageMaker が コントロールし、エンドポイントの 更新まで⾏えるようになった l これまで提供していた All At Once に 加えて、Canary と Linear (線形) の デプロイを容易に実装可能に l Amazon CloudWatch アラームと連携し て異常発⽣時の⾃動ロールバックが可能 Canary デプロイ https://aws.amazon.com/about-aws/whats-new/2021/11/new- deployment-guardrails-amazon-sagemaker-inference-endpoints/ 38
rights reserved. Amazon Confidential and Trademark. Amazon SageMaker Inference Recommender new! 40 l 候補のインスタンスすべてに対する負荷テストとモデル調整を ⾃動化することで、本番環境に最適なインスタンスの特定を可能に l Amazon SageMaker Studio やノートブックでベンチマークの結果を確認し、 レイテンシー、スループット、コスト、コンピューティング、メモリなど、さ まざまな組み合わせ間のトレードオフを評価 l 許容される同時処理数やレイテンシにしきい値を設定し、 許容値を超えた場合、テストを打ち切って効率化 ⾃動テストを実⾏して推論に最適なインスタンスを推薦 https://aws.amazon.com/jp/blogs/news/announcing-amazon-sagemaker-inference-recommender/
rights reserved. Amazon Confidential and Trademark. ML CI/CD パイプラインの事例 43 マネージドサービスを活⽤した機械学習 のためのCI/CDパイプラインの構築 株式会社ブレインパッド l パイプライン⾃動化によって運⽤後の モデル更新はマーケター （⾮エンジニア）が担当できるように l 学習パイプライン構築に AWS Step Functions Data Science SDK を使⽤ l データの前処理、モデル学習、評価には Amazon SageMaker を使⽤ l CI/CD パイプライン構築に AWS CodePipeline を使⽤ l モデルの監視のために Amazon QuickSight でダッシュボードを作成
rights reserved. Amazon Confidential and Trademark. AWS における MLOps 45 l 組織の ML 成熟度や開発体制にあわせて AI サービス、 ML サービス、ML フレームワークとインフラストラクチャを選択 l パイプライン管理ツールと MLOps コンポーネントを組み合わせて、 開発体制（組織構成）にフィットした MLOps を実現可能 l Amazon SageMaker は機械学習のためのコンテナオーケストレータ l Amazon SageMaker は MLOps コンポーネントの詰め合わせ l ⽤途に合う機能をピックアップして組み込み可能 実践 AWSデータサイエンス - エンドツーエンドのMLOpsパイプライン実装 AWS の機械学習サービスの使い⽅だけではなく、機械学習を組み込んだアプリケーション 開発を効率化するためにどのように AWS サービスを組み合わせると良いかなどが 解説されています。 https://www.amazon.co.jp/dp/4873119685/ref=cm_sw_em_r_mt_dp_5B7GAZ2X87X027WG37DE
rights reserved. Amazon Confidential and Trademark. MLOps on AWS の事例 48 https://aws.amazon.com/jp/blogs/news/brainpad-ml-cicd-pipeline/ マネージドサービスを活⽤した機械学習のためのCI/CDパイプラインの構築 株式会社ブレインパッド 運⽤開始後のモデル更新を⾮エンジニアであるマーケターができるよう、 モデル学習パイプラインの⾃動化やグラフィカルなダッシュボードを構築 https://d1.awsstatic.com/events/jp/2021/summit-online/CUS- 17_AWS_Summit_Online_2021_DENSO.pdf ⾼度運転⽀援向け画像認識のための Machine Learning Production Line 株式会社デンソー ⼤規模な画像を使ったモデル開発において、⽣産性向上、トレーサビリティを実現し、TCO (Total Cost of Ownership) の観点でコストの評価を実施
ohbuchim
tsukuha
sat
nomu
nttcom
lycorptech_jp
shin1x1
hakuturu583
yuj1osm
colopl
handy
sansantech
panda_program
malarkey
mza
jeffersonlam
sachag
reverentgeek
rasmusluckow
lauravandoore
gr2m
pauljervisheath
marcelosomers
samanthasiow
