SageMaker AIワークフローのあれこれ紹介

Slide 1

Slide 1 text

No content

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

©Blueish 2024. All rights reserved. SageMaker AIのワークフロー - Pipelines - ML パイプラインを構築して管理するためのツール - Kubernetesのオーケストレーション - Kubernetes クラスターの SageMaker AI カスタム演算子と Kubeflow Pipelines のコンポーネント - SageMakerノートブックジョブ - Jupyter Notebook のオンデマンドまたはスケジュール済み非インタラクティブなバッチ実行 - Airflowワークフロー - Airflow ワークフローを作成および管理するための設定をエクスポートする SageMaker API - Step Functions - リソースを個別にプロビジョニングすることなく SageMaker AI インフラストラクチャを調整する Python の複数ステップの ML ワークフローワークフローの種類

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

©Blueish 2024. All rights reserved. Pipelines - SageMaker Studioの中でVisual Blockで作成できる - 有向非巡回グラフ (DAG) で相互接続された一連のステップ - JSONスキーマを使用してパイプラインを構築することもできる - import/export 可能 - MLパイプラインを構築して管理するためのツール Pipelinesとは？

Slide 15

Slide 15 text

©Blueish 2024. All rights reserved. Pipelines Pipelinesとは？ - Create model - Deploy model(batch inference) - Deploy model(endpoint) - Fine tune - Process data - Register model - Run notebook or code - Train model - Condition - Fail

Slide 16

Slide 16 text

Slide 17

Slide 17 text

©Blueish 2024. All rights reserved. Kubernetesのオーケストレーション - SageMaker AI Operators for Kubernetes - Kubernetes を使用して SageMaker AI で機械学習 (ML) モデルを簡単にトレーニング、調整、デプロイできる - Kubeﬂow Pipelines 用 SageMaker AI コンポーネント - データ処理ジョブとトレーニングジョブを Kubernetes クラスターから SageMaker AI の機械学習最適化マネージドサービスに移動できる Kubernetesのオーケストレーション

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Kubernetesのオーケストレーション - Kubernetes クラスターから SageMaker AI のジョブを管理できる - Kubernetes API を使用して Kubernetes クラスター内から SageMaker AI でモデルトレーニングを実行可能 AWS Controllers for Kubernetes (ACK)

Slide 20

Slide 20 text

©Blueish 2024. All rights reserved. Kubernetesのオーケストレーション - Kubeflow Pipelines からネイティブ SageMaker AI トレーニング、チューニング、エンドポイントデプロイ、バッチ変換ジョブを作成およびモニタリングできる - Kubeflow Pipelines SDK を使用してコンポーネントを読み込み、パイプラインを記述 - コンポーネント - Ground Truth / 作業チーム - データ処理(Processing) - トレーニング / ハイパーパラメータの最適化 - 推論: ホスティングデプロイ / バッチ変換 / モデルモニター ※IAM周りでハマったので、ドキュメントは要確認！！！ Kubeflow Pipelines用 SageMaker AI コンポーネント

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

©Blueish 2024. All rights reserved. SageMakerノートブックジョブ - オンデマンド, スケジュールに従って実行できる - JupyterLab から直接ジョブをスケジュール - SageMaker AI Python SDK を使用してジョブをスケジュールすることもできる - 複数のノートブックを並列に実行し、ノートブック内のセルをパラメータ化して入力パラメータをカスタマイズできる SageMakerノートブックジョブ

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Slide 30

Slide 30 text

©Blueish 2024. All rights reserved. Step Functionsによるワークフローサポートされている SageMaker AI APIs - CreateEndpoint - CreateEndpointConﬁg - CreateHyperParameterTuningJob - CreateLabelingJob - CreateModel - CreateProcessingJob - CreateTrainingJob - CreateTransformJob - UpdateEndpoint