CyberAgent AI事業本部2024年度MLOps研修応用編 / mlops-handson

by Yoshino Teppei

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

©2024 CyberAgent Inc. Distribution prohibited 本講義のゴール（本音） Amazon Elastic Container Service (ECS) はフルマネージドのコンテナオーケストレーションサービスであり、コンテナ化されたアプリケーションをより効率的にデプロイ、管理、スケールするのに役立ちます。AWS 環境と深く統合され、Amazon ECS Anywhere を使用した高度なセキュリティ機能を備えた、クラウドとオンプレミスでコンテナワークロードを実行するための使いやすいソリューションを提供します。 ECS ECS これDockerコンテナ動かすのに使ったやつだ！ ※AWS公式の ECSのページを引用 5

Slide 6

Slide 6 text

©2024 CyberAgent Inc. Distribution prohibited 本日皆さんが触れる技術スタック 6 ML SGDClassiﬁer Feature Hashing Python静的解析 isort black ﬂake8 mypy pytest CI/CD Docker GitHub Actions ECS ECR Fargate S3 StepFunctions Event Bridge Auto Scaling ALB AWS

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

©2024 CyberAgent Inc. Distribution prohibited 環境変数の設定 11 direnvの設定 $ cp .env.example .env $ vi .env USER_NAME=****** AWS_ACCOUNT_ID=****** AWS_ALB_DNS= AWS_BUCKET=${USER_NAME}-mlops-handson AWS_REGION=ap-northeast-1 AWS_PROFILE=ai24-mlops VERSION=2024-05-14 MODEL=sgd_classifier_ctr_model $ direnv allow . USER_NAME your-name フルネームハイフン区切り（ex. yoshino-teppei） AWS_ACCOUNT_ID 123412341234 アカウント IDをコピーして貼り付け

Slide 12

Slide 12 text

©2024 CyberAgent Inc. Distribution prohibited 環境変数の設定 12 direnvの設定 $ echo $AWS_BUCKET yoshino-teppei-mlops-handson $ eval "$(direnv hook zsh)" >> ~/.zshrc 環境変数が設定できているか確認設定できていない場合 $ eval "$(direnv hook bash)" >> ~/.bashrc bashを使っている場合 zshを使っている場合

Slide 13

Slide 13 text

©2024 CyberAgent Inc. Distribution prohibited terraformの準備ネットワーク・権限作成 $ cd infra/training $ terraform init 作成リソースの事前確認 .terraformと.terraform.lock.hclができる $ terraform plan 意図していないリソースを生成していないか確認リソースの作成 $ terraform apply terraformのinstall $ brew install terraform 13

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

©2024 CyberAgent Inc. Distribution prohibited モデリングを行う 23 jupyter notebookで分析 $ cd aws-mlops-handson $ poetry run jupyter notebook jupyter notebookに限らず、 vscode等 ipynbを開ける好きなeditorで aws-mlops-handsonを開いても良いです

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

©2024 CyberAgent Inc. Distribution prohibited Dockerﬁleでx86_64を指定してしまっているのでローカルで走らない。下記の通り一時的に修正する FROM --platform=linux/x86_64 python:3.11.7-slim as ml ↓ FROM --platform=linux/arm64 python:3.11.7-slim as ml 以上を編集したあと、 $ make build-ml $ make run-ml してgrid searchが走ればOKです（macの方向け）make run-mlでこける問題

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

©2024 CyberAgent Inc. Distribution prohibited デプロイ方法 1. モデルビルドパターン a. Dockerのビルド時にモデルを含めてしまう 2. モデルロードパターン a. 外部ストレージから実行時に取得 $ make logs predict-api | 2024-05-08 07:16:44 ml.aws.controller INFO: Start downloading model file: sgd_classifier_ctr_model/2024-05-14/model, file_path: files/sgd_classifier_ctr_model/2024-05-14/model predict-api | 2024-05-08 07:16:45 ml.aws.controller INFO: Completely downloaded model file: sgd_classifier_ctr_model/2024-05-14/model, file_path: files/sgd_classifier_ctr_model/2024-05-14/model predict-api | 2024-05-08 07:16:45 ml.model.sgd_classifier_ctr_model INFO: Load sgd_classifier_ctr_model as files/sgd_classifier_ctr_model/2024-05-14/model. 29

Slide 30

Slide 30 text

Slide 31

Slide 31 text

©2024 CyberAgent Inc. Distribution prohibited ローカル開発を体験する 31 ハイパラチューニングを行うモデルを追加する /aws-mlops-handson └ ml └ model - - - - - - - - - MLモデル ├ sgd_classiﬁer_ctr_model.py └ sgd_classiﬁer_ctr_optuna_model.py MLパイプライン・推論サーバーに追加

Slide 32

Slide 32 text

Slide 33

Slide 33 text

©2024 CyberAgent Inc. Distribution prohibited ローカル開発を体験する 33 実装 /aws-mlops-handson/ml/model/models.py from ml.model import BaseModel, SGDClassifierCTRModel, SGDClassifierCTROptunaModel class MODELS(Enum): sgd_classifier_ctr_model = Model( …. ) sgd_classifier_ctr_optuna_model = Model( name="sgd_classifier_ctr_optuna_model", model=SGDClassifierCTROptunaModel, preprocessor=CTRModelPreprocessor, ) オレンジ線の実装を追加

Slide 34

Slide 34 text

©2024 CyberAgent Inc. Distribution prohibited ローカル開発を体験する 34 静的解析チェック $ make lint pysenによって以下のチェックが実行されます・isort - - - -import文チェック・black - - - -コードスタイル整形・ﬂake8 - - - コード品質チェック・mypy - - - - 静的型チェック $ make format エラーが出た場合は... isort・blackによるコード整形が自動で行われます

Slide 35

Slide 35 text

©2024 CyberAgent Inc. Distribution prohibited ローカル開発を体験する 35 テストの追加 $ make test FAILED tests/ml/model/test_models.py::test_all_models_are_tested - AssertionError: assert ['sgd_classifier_ctr_model'] == ['sgd_classif...optuna_model'] 追加したモデルのテストがないエラーがでますテストを実行

Slide 36

Slide 36 text

©2024 CyberAgent Inc. Distribution prohibited ローカル開発を体験する 36 テストの追加 from ml.model import SGDClassifierCTRModel, SGDClassifierCTROptunaModel params = { "sgd_classifier_ctr_model": ("sgd_classifier_ctr_model", SGDClassifierCTRModel, CTRModelPreprocessor), "sgd_classifier_ctr_optuna_model": ("sgd_classifier_ctr_optuna_model", SGDClassifierCTROptunaModel, CTRModelPreprocessor), } /aws-mlops-handson/tests/ml/model/test_models.py $ make test テストが通るか確認オレンジ線の実装を追加

Slide 37

Slide 37 text

©2024 CyberAgent Inc. Distribution prohibited ローカル開発を体験する 37 追加したモデルの学習を実行する $ make build-ml $ vi .env $ make run-ml AWS_BUCKET=yoshino-teppei-mlops-handson AWS_ACCOUNT_ID=123412341234 AWS_PROFILE=ai24-mlops AWS_ALB_DNS= USER_NAME=yoshino-teppei VERSION=2024-04-01 MODEL=sgd_classifier_ctr_optuna_model 追加したモデル名 optunaによって学習率αが調整される様子が見られます $ echo $MODEL > sgd_classifier_ctr_optuna_model

Slide 38

Slide 38 text

©2024 CyberAgent Inc. Distribution prohibited ローカル開発を体験する 38 推論サーバーに複数モデルを乗せる model_candidates = ["sgd_classifier_ctr_model", "sgd_classifier_ctr_optuna_model"] model_preprocessor_list = [ get_model_preprocessor(bucket=BUCKET, model_name=model_name, version=VERSION) for model_name in model_candidates ] /aws-mlops-handson/predictor/routers.pyオレンジ線の実装を追加

Slide 39

Slide 39 text

©2024 CyberAgent Inc. Distribution prohibited ローカル開発を体験する 39 推論サーバーに複数モデルを乗せる $ make up 推論サーバーを起動 $ make predict {"prediction":0.016878810159428242,"model":"sgd_classifier_ctr_optuna_model"} 推論リクエスト複数のモデルの予測値を返す →ABテストが可能

Slide 40

Slide 40 text

Slide 41

Slide 41 text

Slide 42

Slide 42 text

Slide 43

Slide 43 text

Slide 44

Slide 44 text

©2024 CyberAgent Inc. Distribution prohibited name: Run tests and linters on: push: branches: [main] jobs: tests: runs-on: ubuntu-latest steps: - uses: actions/checkout@v2 - name: Set up Python 3.11 uses: actions/setup-python@v2 with: python-version: 3.11 - name: Install dependencies run: | pip install --upgrade pip pip install poetry=="1.4.2" poetry install - name: Run pysen lint run: | poetry run pysen run lint - name: Run tests run: | poetry run pytest コード品質管理の自動化 44 /aws-mlops-handson/.github/workﬂows/test-mlops-handson.yaml 実行環境の設定 pysen, pytestの実行

Slide 45

Slide 45 text

©2024 CyberAgent Inc. Distribution prohibited リリースの自動化 45 /aws-mlops-handson/.github/workﬂows/deploy-mlops-handson.yaml 実行環境の設定 image build/push name: deploy-mlops-handson on: push: branches: [main] paths: ['3-mlops-handson/**'] jobs: build: runs-on: ubuntu-latest permissions: id-token: write contents: read defaults: run: working-directory: ./3-mlops-handson steps: - uses: actions/checkout@v3 - uses: aws-actions/configure-aws-credentials@v2 with: role-to-assume: arn:aws:iam::123412341234:role/iam_role_for_github_actions aws-region: ap-northeast-1 - name: Login to Amazon ECR id: login-ecr uses: aws-actions/amazon-ecr-login@v1 - name: Build, tag, and push image to Amazon ECR for ml-pipeline env: ECR_REGISTRY: ${{ steps.login-ecr.outputs.registry }} ECR_REPOSITORY: mlops-handson/ml-pipeline run: | IMAGE_TAG=$(git rev-parse --short "$GITHUB_SHA") docker build -t $ECR_REGISTRY/$ECR_REPOSITORY:$IMAGE_TAG --target ml . docker tag $ECR_REGISTRY/$ECR_REPOSITORY:$IMAGE_TAG $ECR_REGISTRY/$ECR_REPOSITORY:latest docker push $ECR_REGISTRY/$ECR_REPOSITORY:$IMAGE_TAG && docker push $ECR_REGISTRY/$ECR_REPOSITORY:latest - name: Build, tag, and push image to Amazon ECR for predict-api env: ECR_REGISTRY: ${{ steps.login-ecr.outputs.registry }} ECR_REPOSITORY: mlops-handson/predict-api run: | IMAGE_TAG=$(git rev-parse --short "$GITHUB_SHA") docker build -t $ECR_REGISTRY/$ECR_REPOSITORY:$IMAGE_TAG --target predictor ./ docker tag $ECR_REGISTRY/$ECR_REPOSITORY:$IMAGE_TAG $ECR_REGISTRY/$ECR_REPOSITORY:latest docker push $ECR_REGISTRY/$ECR_REPOSITORY:$IMAGE_TAG && docker push $ECR_REGISTRY/$ECR_REPOSITORY:latest

Slide 46

Slide 46 text

Slide 47

Slide 47 text

Slide 48

Slide 48 text

Slide 49

Slide 49 text

©2024 CyberAgent Inc. Distribution prohibited 技術選定 49 ・チームにML/DSは1人・既存システムのサーバーはECSでホスティング・既存システムのオフライン処理をECS Taskで実行してる・既存システムのワークフローツールにStepFunctionsを使用してる前提状況 → 他メンバーの協力が得られるように、既存システムに乗っかる → SageMakerよりチームナレッジがあるECSを優先する → 最初はシンプルに、コンテナを実行するだけの構成にする → チームで面倒をみるワークフローツールは1つにする

Slide 50

Slide 50 text

Slide 51

Slide 51 text

Slide 52

Slide 52 text

Slide 53

Slide 53 text

Slide 54

Slide 54 text

Slide 55

Slide 55 text

Slide 56

Slide 56 text

Slide 57

Slide 57 text

Slide 58

Slide 58 text

Slide 59

Slide 59 text

©2024 CyberAgent Inc. Distribution prohibited mac利用者で一時的にDockerﬁleを書き換えた場合は、 ECSで動くようにDockerﬁleのplatform指定を元に戻す FROM --platform=linux/arm64 python:3.11.7-slim as ml ↓ FROM --platform=linux/x86_64 python:3.11.7-slim as ml の前に・・・ ECRにimageを保存

Slide 60

Slide 60 text

Slide 61

Slide 61 text

Slide 62

Slide 62 text

Slide 63

Slide 63 text

Slide 64

Slide 64 text

Slide 65

Slide 65 text

Slide 66

Slide 66 text

Slide 67

Slide 67 text

Slide 68

Slide 68 text

Slide 69

Slide 69 text

Slide 70

Slide 70 text

Slide 71

Slide 71 text

Slide 72

Slide 72 text

Slide 73

Slide 73 text

Slide 74

Slide 74 text

Slide 75

Slide 75 text

Slide 76

Slide 76 text

Slide 77

Slide 77 text

Slide 78

Slide 78 text

Slide 79

Slide 79 text

Slide 80

Slide 80 text

Slide 81

Slide 81 text

Slide 82

Slide 82 text

Slide 83

Slide 83 text

Slide 84

Slide 84 text

Slide 85

Slide 85 text

©2024 CyberAgent Inc. Distribution prohibited StepFunctionsを作成 85 { "LaunchType": "FARGATE", "Cluster": "arn:aws:ecs:ap-northeast-1:123412341234:cluster/yoshino-teppei-mlops-handson-ecs", "TaskDefinition": "arn:aws:ecs:ap-northeast-1:123412341234:task-definition/yoshino-ml-pipeline:5", "NetworkConfiguration": { "AwsvpcConfiguration": { "AssignPublicIp": "DISABLED", "SecurityGroups": [ "sg-0047823863c206f2f" ], "Subnets": [ "subnet-05ba3c551f4ebc52f" ] } } } APIパラメータ作成した自分の ClusterのARNに変更 ECS Task定義のARNに変更セキュリティグループ {name}-mlops-handson-ml-pipeline-sgのID サブネット mlops-handson-private-subnet-1aのID (Amazon ECS > クラスター > {name}-mlops-handson-ecs) (Amazon ECS > タスク定義 > {name}-ml-pipeline) (VPC > セキュリティグループ) (VPC > サブネット)

Slide 86

Slide 86 text

Slide 87

Slide 87 text

Slide 88

Slide 88 text

Slide 89

Slide 89 text

Slide 90

Slide 90 text

Slide 91

Slide 91 text

Slide 92

Slide 92 text

Slide 93

Slide 93 text

Slide 94

Slide 94 text

Slide 95

Slide 95 text

Slide 96

Slide 96 text

Slide 97

Slide 97 text

Slide 98

Slide 98 text

Slide 99

Slide 99 text

Slide 100

Slide 100 text

Slide 101

Slide 101 text

Slide 102

Slide 102 text

Slide 103

Slide 103 text

Slide 104

Slide 104 text

Slide 105

Slide 105 text

Slide 106

Slide 106 text

Slide 107

Slide 107 text

Slide 108

Slide 108 text

Slide 109

Slide 109 text

Slide 110

Slide 110 text

Slide 111

Slide 111 text

Slide 112

Slide 112 text

Slide 113

Slide 113 text

Slide 114

Slide 114 text

Slide 115

Slide 115 text

Slide 116

Slide 116 text

Slide 117

Slide 117 text

Slide 118

Slide 118 text

Slide 119

Slide 119 text

Slide 120

Slide 120 text

Slide 121

Slide 121 text

©2024 CyberAgent Inc. Distribution prohibited Load Balancerの作成 121 VPC {name}-mlops-handson ネットワークマッピング ap-northeast-1a → mlops-handson-public-subnet-1a ap-northeast-1c → mlops-handson-public-subnet-1c ※右記の警告が出ている人はprivateサブネットを選んでいる。publicに変更する

Slide 122

Slide 122 text

©2024 CyberAgent Inc. Distribution prohibited Load Balancerの作成 122 セキュリティグループ {name}-mlops-handson-alb-sg リスナーとルーティングプロトコル: HTTP ポート: 8080 デフォルトアクション: 作成した自分のtaget group {name}-mlops-handson-tg 他の設定は変更せず「ロードバランサーの作成」をクリック

Slide 123

Slide 123 text

Slide 124

Slide 124 text

Slide 125

Slide 125 text

Slide 126

Slide 126 text

©2024 CyberAgent Inc. Distribution prohibited ECS Serviceの作成 126 VPC {name}-mlops-handson サブネット {name}-mlops-handson-private-subnet-1a {name}-mlops-handson-private-subnet-1c セキュリティグループ {name}-mlops-handson-predict-api-sg パブリックIP オフ

Slide 127

Slide 127 text

Slide 128

Slide 128 text

Slide 129

Slide 129 text

©2024 CyberAgent Inc. Distribution prohibited ECS Serviceの作成 129 サービスの自動スケーリングを使用 ONに変更タスクの最小数 2 タスクの最大数 6 ポリシー名 {name}-auto-scaling-policy ECSサービスメトリクス ALBRequestCountPerTarget ターゲット値 50 スケールアウトクールダウン期間 30 スケールインクールダウン期間 30 「作成」をクリック

Slide 130

Slide 130 text

Slide 131

Slide 131 text

Slide 132

Slide 132 text

©2024 CyberAgent Inc. Distribution prohibited 推論リクエストを送る 132 $ vi .env USER_NAME=yoshino-teppei AWS_ACCOUNT_ID=123412341234 AWS_ALB_DNS=yoshino-teppei-mlops-handson-alb-1312358109.ap-northeast-1.elb.amazonaws.com AWS_BUCKET=${USER_NAME}-mlops-handson AWS_REGION=ap-northeast-1 AWS_PROFILE=ai24-mlops VERSION=2024-05-14 MODEL=sgd_classifier_ctr_optuna_model ローカルからECS Serviceにリクエストを送る ALBのDNS名 $ make predict-ecs

Slide 133

Slide 133 text

Slide 134

Slide 134 text

Slide 135

Slide 135 text

Slide 136

Slide 136 text

Slide 137

Slide 137 text

©2024 CyberAgent Inc. Distribution prohibited ● S3 ● ECR ● ECS (cluster) ● step functions ● event bridge (schedule) ● ALB ● EC2 target group ● terraformリソース削除するもの一覧 $ cd infra/training $ terraform destroy 137 MLOps応用編は以上ですおつかれさまでした