SageMaker AIワークフローのあれこれ紹介

Transcript

2. 自己紹介 ©Blueish 2024. All rights reserved. 戸塚 翔太｜BLUEISH Shota Totsuka ・LLMアプリ開発者（Go/Python …etc） ・生成AI, 機械学習 ・趣味: スキー/スノボ, 最近はDifyにContribute ・静岡県（浜松）に住んでます 　近くの方がいれば、一緒に勉強会しましょう！ Xアカウント @totsukash
3. 自己紹介 ©Blueish 2024. All rights reserved. AWS認定（1月から開始）
4. 01 SageMaker AIのワークフロー 02 Pipelines 03 Kubernetesのオーケストレーション 04 SageMakerノートブックジョブ 目次 ©Blueish 2024. All rights reserved. 05 Airflow ワークフロー 06 Step Functionsによるワークフロー
5. 今までモデルの学習などは Notebookでやっていました。 ©Blueish 2024. All rights reserved.
6. AWSにも色々な パイプラインがあるらしい！ ©Blueish 2024. All rights reserved.
7. このLTのために調べて、 自分で使ってみました。 ©Blueish 2024. All rights reserved.
8. もっといい方法や使い方があれば、 私も知りたいので教えてください！！ ©Blueish 2024. All rights reserved.
9. Let's go!!! ©Blueish 2024. All rights reserved.
10. 01 SageMaker AIの ワークフロー ©Blueish 2024. All rights reserved.
11. ©Blueish 2024. All rights reserved. SageMaker AIのワークフロー - Pipelines - ML パイプラインを構築して管理するためのツール - Kubernetesのオーケストレーション - Kubernetes クラスターの SageMaker AI カスタム演算子と Kubeflow Pipelines のコンポーネント - SageMakerノートブックジョブ - Jupyter Notebook のオンデマンドまたはスケジュール済み非インタラクティブなバッチ実行 - Airflowワークフロー - Airflow ワークフローを作成および管理するための設定をエクスポートする SageMaker API - Step Functions - リソースを個別にプロビジョニングすることなく SageMaker AI インフラストラクチャを調整する Python の複数ステップの ML ワークフロー ワークフローの種類
12. 02 Pipelines ©Blueish 2024. All rights reserved.
13. ©Blueish 2024. All rights reserved. Pipelines Pipelinesとは？
14. ©Blueish 2024. All rights reserved. Pipelines - SageMaker Studioの中でVisual Blockで作成できる - 有向非巡回グラフ (DAG) で相互接続された一連のステップ - JSONスキーマを使用してパイプラインを構築することもできる - import/export 可能 - MLパイプラインを構築して管理するためのツール Pipelinesとは？
15. ©Blueish 2024. All rights reserved. Pipelines Pipelinesとは？ - Create model - Deploy model(batch inference) - Deploy model(endpoint) - Fine tune - Process data - Register model - Run notebook or code - Train model - Condition - Fail
16. 03 Kubernetesの オーケストレーション ©Blueish 2024. All rights reserved.
17. ©Blueish 2024. All rights reserved. Kubernetesのオーケストレーション - SageMaker AI Operators for Kubernetes - Kubernetes を使用して SageMaker AI で機械学習 (ML) モデルを簡単にト レーニング、調整、デプロイできる - Kubeflow Pipelines 用 SageMaker AI コンポーネント - データ処理ジョブとトレーニングジョブを Kubernetes クラスターから SageMaker AI の機械学習最適化マネージドサービスに移動できる Kubernetesのオーケストレーション
18. ©Blueish 2024. All rights reserved. Kubernetesのオーケストレーション - SageMaker AI OperatorsをEKSのK8sクラスターにインストール - k8sクラスターから SageMaker AI でモデルトレーニング, ハイパーパラメータ調整, 推論が可能 SageMaker AI Operators for Kubernetes
19. Kubernetesのオーケストレーション - Kubernetes クラスターから SageMaker AI のジョブを管理できる - Kubernetes API を使用して Kubernetes クラスター内から SageMaker AI でモデルトレーニングを実行可能 AWS Controllers for Kubernetes (ACK)
20. ©Blueish 2024. All rights reserved. Kubernetesのオーケストレーション - Kubeflow Pipelines からネイティブ SageMaker AI トレーニング、チューニング、エンドポイ ントデプロイ、バッチ変換ジョブを作成およびモニタリングできる - Kubeflow Pipelines SDK を使用してコンポーネントを読み込み、パイプラインを記述 - コンポーネント - Ground Truth / 作業チーム - データ処理(Processing) - トレーニング / ハイパーパラメータの最適化 - 推論: ホスティングデプロイ / バッチ変換 / モデルモニター ※IAM周りでハマったので、ドキュメントは要確認！！！ Kubeflow Pipelines用 SageMaker AI コンポーネント
21. 04 SageMaker ノートブックジョブ ©Blueish 2024. All rights reserved.
22. ©Blueish 2024. All rights reserved. SageMakerノートブックジョブ JupyterLab
23. ©Blueish 2024. All rights reserved. SageMakerノートブックジョブ JupyterLab in SageMaker Studio
24. ©Blueish 2024. All rights reserved. SageMakerノートブックジョブ - オンデマンド, スケジュールに従って実行できる - JupyterLab から直接ジョブをスケジュール - SageMaker AI Python SDK を使用してジョブをスケジュールすることもできる - 複数のノートブックを並列に実行し、ノートブック内のセルをパラメータ化して入力パラメー タをカスタマイズできる SageMakerノートブックジョブ
25. 05 Airflow ワークフロー ©Blueish 2024. All rights reserved.
26. ©Blueish 2024. All rights reserved. Airflow ワークフロー - ワークフローと呼ばれる一連のプロセスとタスクをプログラムで作成、スケジュール、監視す るために使用されるオープンソースのツール - 定期的なETL処理とかバッチ処理、機械学習のパイプラインとかを自動化 Managed Workflows for Apache Airflow(MWAA)
27. ©Blueish 2024. All rights reserved. Airflow ワークフロー Managed Workflows for Apache Airflow(MWAA)
28. 06 Step Functionsによる ワークフロー ©Blueish 2024. All rights reserved.
29. ©Blueish 2024. All rights reserved. Step Functionsによるワークフロー Step Functions
30. ©Blueish 2024. All rights reserved. Step Functionsによるワークフロー サポートされている SageMaker AI APIs - CreateEndpoint - CreateEndpointConfig - CreateHyperParameterTuningJob - CreateLabelingJob - CreateModel - CreateProcessingJob - CreateTrainingJob - CreateTransformJob - UpdateEndpoint
31. 06 振り返り ©Blueish 2024. All rights reserved.
32. ©Blueish 2024. All rights reserved. 振り返り 01 SageMaker AIのワークフロー 02 Pipelines 03 Kubernetesのオーケストレーション 04 SageMakerノートブックジョブ 05 Airflow ワークフロー 06 Step Functionsによるワークフロー
33. ご清聴ありがとうございました。 ©Blueish 2024. All rights reserved.