Amazon SageMaker Clarifyで始めるモデルモニタリング

by クルトン

Slide 1

Slide 1 text

2023/07/19 データアナリティクス事業本部クルトン Amazon SageMaker Clarifyで始めるモデルモニタリング

Slide 2

Slide 2 text

● 名前：クルトン  ● 所属：インテグレーション部 MLチーム  ● 経歴：2022年新卒入社  ○ 入社前はクラウドほとんど未経験  自己紹介

Slide 3

Slide 3 text

ご意見・ご感想は #devio2023 を入れてツイートしてください！

Slide 4

Slide 4 text

本スライドで使う用語:その1 ● 学習 ○ モデルにデータを与えてより良い予測ができるようにする学習データセットインプットモデル

Slide 5

Slide 5 text

本スライドで使う用語:その2 ● 推論 ○ データを与えた時にどういうものを指すか予測する 99%の確率で”猫”です推論データセットインプットモデル

Slide 6

Slide 6 text

本スライドで使う用語:その3 ● 特徴量 ○ データの名前例えば猫なら…… 種類体重[kg] 年齢[年] メインクーン 5 1 ラグドール 4.5 1 ベンガル 5 7

Slide 7

Slide 7 text

セッション概要モデルを作りっぱなしにしていませんか？モデルは学習させて推論させる以外にも見ておくべき情報があります。今回はSageMakerで使えるClarifyを使った方法をご紹介します。

Slide 8

Slide 8 text

推論以外の情報推論以外の見ておくべき情報とは？

Slide 9

Slide 9 text

例えばビジネスに活用できそう推論データセットインプット 99%の確率で”猫”ですモデル

Slide 10

Slide 10 text

他者の反応で、なんでそう予測したの？上司Aさん

Slide 11

Slide 11 text

推論できるだけで良いの？誰かに説明するには根拠が必要！

Slide 12

Slide 12 text

モデルが推論をした理由

Slide 13

Slide 13 text

モデルモニタリング ● モデルが適切であること ○ 学習結果が適切であること ○ 運用中のモデルが適切であること ○ モデルの予測が適切であること ● データが適切であること ○ 異常なデータが入っていないこと(ドリフト検出)

Slide 14

Slide 14 text

モデルモニタリング ● モデルが適切であること ○ 学習結果が適切であること ○ 運用中のモデルが適切であること ○ モデルの予測が適切であること ● データが適切であること ○ 異常なデータが入っていないこと(ドリフト検出) 今回の説明はここ

Slide 15

Slide 15 text

● SageMakerについて  ● SageMakerでの一連の処理の流れ  ○ モデル学習のコード  ● SageMaker Clarifyで出力するレポートについて  ○ レポート出力をさせるコード  ● Clarifyで出力したレポートの見方お品書き

Slide 16

Slide 16 text

機械学習モデルの学習・推論が簡単にできるサービス  SageMakerについて https://aws.amazon.com/jp/cdp/sagemaker/

Slide 17

Slide 17 text

3つの開発環境    ● SageMaker notebook instance  ● SageMaker Studio  ● SageMaker Studio Lab  SageMakerの開発環境 Jupyterノートブックインスタンスが立ち上がり開発ができる

Slide 18

Slide 18 text

  1. データを用意  2. S3バケットへ用意したデータをアップロード  3. モデルを用意  4. S3にあるデータを使って学習  5. モデルを推論エンドポイントへデプロイ  6. 推論エンドポイントを使って予測 SageMakerの特徴学習データ準備モデル学習推論プロビジョニングや環境構築を自分でしなくて良い！

Slide 19

Slide 19 text

SageMaker Studioの画面例

Slide 20

Slide 20 text

  1. データを用意  2. S3バケットへ用意したデータをアップロード  3. モデルを用意  4. S3にあるデータを使って学習  5. 学習済みモデルで推論エンドポイント作成  6. 推論エンドポイントを使って予測 SageMakerの一通りの処理の流れ

Slide 21

Slide 21 text

  1. データを用意  2. S3バケットへ用意したデータをアップロード  3. モデルを用意  4. S3にあるデータを使って学習  5. 学習済みモデルで推論エンドポイント作成  6. 推論エンドポイントを使って予測 SageMakerの一通りの流れ学習データ準備

Slide 22

Slide 22 text

  1. データを用意  2. S3バケットへ用意したデータをアップロード  3. モデルを用意  4. S3にあるデータを使って学習  5. 学習済みモデルで推論エンドポイント作成  6. 推論エンドポイントを使って予測 SageMakerの一通りの流れ学習データ準備モデル学習推論

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

SageMakerの一通りの流れ Amazon SageMaker Amazon S3 (学習データ) Amazon S3 (推論データ) 推論エンドポイント学習データセットアップロード学習作成アップロード推論結果推論

Slide 26

Slide 26 text

  1. データを用意  2. S3バケットへ用意したデータをアップロード  3. モデルを用意  4. S3にあるデータを使って学習  5. モデルを推論エンドポイントへデプロイ  6. 推論エンドポイントを使って予測 SageMakerの特徴2 学習データ準備モデル学習推論開発に集中できるサービス

Slide 27

Slide 27 text

学習時のコード import sagemaker sess = sagemaker.Session() bucket = sess.default_bucket() prefix = "<フォルダ名>" import boto3 from sagemaker import get_execution_role role = get_execution_role() sagemaker-リージョン名-アカウントID 実行するのに必要な権限を揃えたRole

Slide 28

Slide 28 text

モデル用意: コンテナの準備2選 ● 公式が用意しているコンテナの読み込み ● ECRに登録したカスタムコンテナのURIをstr型で書く container = sagemaker.image_uris.retrieve("xgboost",sess.boto_region_nam e, "1.5-1") container = '<ご自身のアカウントID>.dkr.ecr.<リージョン名>.amazonaws.com/<コンテナ名>:latest'

Slide 29

Slide 29 text

モデル学習 xgb = sagemaker.estimator.Estimator( container, role, instance_count=1, instance_type="ml.m4.xlarge", output_path="s3://{}/{}/output".format(bucket, prefix), sagemaker_session=sess, ) xgb.fit("<学習用データセットがあるS3 URI>")

Slide 30

Slide 30 text

マネージメントコンソールにおける実行画面

Slide 31

Slide 31 text

● Clarifyでレポート出力 ○ 推論結果の理由を考えられる ○ PDP, SHAPの2種類レポート出力の概要基本的にPDPとSHAP両方を出力して確認しよう！

Slide 32

Slide 32 text

レポートの出力内容: PDP 特徴量A

Slide 33

Slide 33 text

レポートの出力内容: SHAPその1 特徴量名

Slide 34

Slide 34 text

レポートの出力内容: SHAPその2 特徴量A 特徴量B

Slide 35

Slide 35 text

PDPとはある特徴量1つ(2つ)が与える予測への平均的な影響を確認できるもの

Slide 36

Slide 36 text

PDP: 特徴量Aを確認元のデータ特徴量A 特徴量B 特徴量C 予測結果 3 3 6 f(3,3,6) = 0.113 5 4 1 f(5,4,1) = 0.314 5 5 3 f(5,5,3) = 0.697 予測結果の平均: 0.374666…

Slide 37

Slide 37 text

PDP: 値を変更して確かめる値を変更後のデータ何度か値の変更を繰り返して結果を確認予測結果の平均: 0.373666…(←元データ: 0.374666…) 特徴量A 特徴量B 特徴量C 予測結果 4(←3) 3 6 0.223(←0.113) 4(←5) 4 1 0.301(←0.314) 4(←5) 5 3 0.597(←0.697)

Slide 38

Slide 38 text

SHAPとは特徴量が予測にどれだけ役立ったか確認できるもの

Slide 39

Slide 39 text

SHAPとは: 前提のShapley値とある職場にて人物作られる商品の個数 A 5 B 4 C 5 A, B 8 A, C 11 B, C 7 A,B,C 20

Slide 40

Slide 40 text

SHAPとは: 限界貢献度 Aさんが作る商品数の各状況における最大数を確認したい ● Aさんのみなら5個 ● Bさんが働いてる時 ○ Aさん加わると8-4=4個がプラス ● Cさんが働いてる時 ○ Aさん加わると11-5=6個がプラス ● BさんとCさんが働いてる時 ○ Aさん加わると20-7=13個がプラス人物作られる商品の個数 A 5 B 4 C 5 A, B 8 A, C 11 B, C 7 A,B,C 20

Slide 41

Slide 41 text

Slide 42

Slide 42 text

SHAPとは: 限界貢献度の平均 Aさんが働いたら作られる商品の平均的な個数を知る人物できる商品の個数 A 5 B 4 C 5 A, B 8 A, C 11 B, C 7 A,B,C 20 作業開始順 Aさんの限界貢献度 A→B→C 5 A→C→B 5 B→A→C 4 B→C→A 13 C→A→B 6 C→B→A 13 (5+5+4+13+6+13) / 6 = 7.666……個

Slide 43

Slide 43 text

Slide 44

Slide 44 text

レポート出力までのステップ   1. モデルのデプロイ  2. 4つのconfigを設定  3. Clarifyを実行

Slide 45

Slide 45 text

モデルのデプロイ model_name = "<学習済みモデルの名前>" model = xgb.create_model(name=model_name) container_def = model.prepare_container_def() sess.create_model(model_name,role,container_def) Modelクラスのインスタンス作成コンテナの情報を取得 AWS環境へデプロイ

Slide 46

Slide 46 text

デプロイしたモデルの確認

Slide 47

Slide 47 text

レポート出力のための実行環境 Clarify実行時の環境設定をします。 from sagemaker import clarify clarify_processor = clarify.SageMakerClarifyProcessor(role=role,instance_ count=1, instance_type="ml.m4.xlarge",sagemaker_session=sess)

Slide 48

Slide 48 text

config1つ目: PDPConfig PDPの出力を設定 pdp_config_with_shap = clarify.PDPConfig( top_k_features=5, grid_resolution=25) SHAPの結果を見て重要度TOP5までPDPで確認出力の平均を確認する回数

Slide 49

Slide 49 text

config2つ目: SHAPConfig SHAPの出力 shap_config = clarify.SHAPConfig( baseline=[<データ>], num_samples=15, agg_method="mean_abs", ) SHAP値計算の基準 SHAP値の計算に使うデータ数 SHAP値の絶対値の平均

Slide 50

Slide 50 text

config3つ目: DataConfig データの入出力先などを設定 explainability_data_config = clarify.DataConfig( s3_data_input_path="<学習に使っていないデータセットS3 URI>", s3_output_path="<レポートの出力先 S3 URI>", label="<正解ラベルの名前>", headers=<各特徴量の名前(list型)>, dataset_type="text/csv", )

Slide 51

Slide 51 text

config4つ目: ModelConfig 推論エンドポイントのインスタンス model_config = clarify.ModelConfig( model_name=model_name, instance_type="ml.m4.xlarge", instance_count=1, accept_type="text/csv", content_type="text/csv", ) デプロイしたモデルの名前モデルがアウトプットするファイル拡張子モデルがインプットを受け付けるファイル拡張子

Slide 52

Slide 52 text

Clarifyの実行 clarify_processor.run_explainability( data_config=explainability_data_config, model_config=model_config, explainability_config=[pdp_config_with_shap, shap_config], logs=False, )

Slide 53

Slide 53 text

再掲: PDPとはある特徴量1つ(2つ)が与える予測への平均的な影響を確認できるもの

Slide 54

Slide 54 text

PDP 横軸割り当てた数値縦軸予測値特徴量A

Slide 55

Slide 55 text

再掲: SHAPとは特徴量が予測にどれだけ役立ったか確認できるもの

Slide 56

Slide 56 text

SHAP: 全体的な評価上から順番に予測に役立った特徴量特徴量名

Slide 57

Slide 57 text

SHAP: 各特徴量における結果各特徴量における予測に役立ったデータがどれくらいあるか確認できる分布赤色: 特徴量の中で値が大きいもの青色: 特徴量の中で値が小さいもの特徴量A 特徴量B

Slide 58

Slide 58 text

クルトン先輩によるまとめ ● 機械学習モデルは学習してから推論する ● SageMakerでは簡単に学習や推論ができる環境がある ● 良い推論であっても油断しちゃダメ！根拠は何？ ● SageMaker Clarifyを使って推論結果について考えてみよう

Slide 59

Slide 59 text

No content