CyberAgent AI事業本部MLOps研修基礎編

by Keita Hoshii

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

©2023 CyberAgent Inc. Distribution prohibited DevOpsとは 9 Googleによるとソフトウェアデリバリーの速度とサービスの信頼性の向上、ソフトウェアの関係者間で共有するオーナー権限の構築を目的とする、組織的で文化的な仕組み ● デプロイの高速化 ● ソフトウェアの安定性の向上 https://cloud.google.com/devops?hl=ja

Slide 10

Slide 10 text

©2023 CyberAgent Inc. Distribution prohibited MLOpsとは 10 Googleによると MLOpsは、MLシステム開発（Dev）とシステムオペレーション（Ops）の統合を目的とする ML エンジニアリングの文化と手法 MLOpsは、統合、テスト、リリース、デプロイ、インフラストラクチャ管理など、ML システム構築のすべてのステップで自動化とモニタリングを推進する https://cloud.google.com/architecture/mlops-continuous-delivery-and-automation-pipelines-in-machine-learning?hl=ja

Slide 11

Slide 11 text

©2023 CyberAgent Inc. Distribution prohibited MLOpsとは 11 Googleによると MLOpsは、MLシステム開発（Dev）とシステムオペレーション（Ops）の統合を目的とする ML エンジニアリングの文化と手法 MLOpsは、統合、テスト、リリース、デプロイ、インフラストラクチャ管理など、ML システム構築のすべてのステップで自動化とモニタリングを推進する実際何すればいいの？ https://cloud.google.com/architecture/mlops-continuous-delivery-and-automation-pipelines-in-machine-learning?hl=ja

Slide 12

Slide 12 text

©2023 CyberAgent Inc. Distribution prohibited MLOpsを構成する要素 12 https://proceedings.neurips.cc/paper_ﬁles/paper/2015/ﬁle/86df7dcfd896fcaf2674f757a2463eba-Paper.pdf おおげさに書きすぎている部分もあるが、、、モデル作成はサービスの一部分であり、システム全体まで責務を持つ

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

©2023 CyberAgent Inc. Distribution prohibited MLシステム問題 20 この状態でシステムに載せた場合、様々な問題が起きる ● モデルのバージョンが分からず、障害が起きた時に切り戻せない ● 特徴量の変換が意図通り行われているか判断できない ● 各個人のノートブックベースのコードになるので、コードの品質が担保できないその他にも ● モデル精度の劣化に対応できない ○ 時系列などで精度が劣化するため継続的に学習する必要性 ● テストの欠如

Slide 21

Slide 21 text

Slide 22

Slide 22 text

©2023 CyberAgent Inc. Distribution prohibited 構成する要素と役割 22 CI/CD ● 自動テスト・linterによるコード品質の担保、開発者体験の向上 ● 自動デプロイにより開発とデプロイのサイクルを高速化 Continuous Training(CT) ● 自動的なモデルの再学習 ● モデル精度の担保、評価 Continuous Monitoring(CM) ● 共変量シフトや意図しない入力による予測値の変化に対応する ● レイテンシやリソースの異常に対応する

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

©2023 CyberAgent Inc. Distribution prohibited レベル別MLOps 26 Googleによると大きくMLOpsには大きく3つのフェーズレベル0: 手動プロセスレベル1: MLパイプラインの自動化レベル2: CI/CDパイプラインの自動化 https://cloud.google.com/architecture/mlops-continuous-delivery-and-automation-pipelines-in-machine-learning?hl=ja

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Slide 32

Slide 32 text

Slide 33

Slide 33 text

©2023 CyberAgent Inc. Distribution prohibited 実際に導入した後 33 MLシステムを作ったあと、MLシステムを定量的に評価したいオンラインで継続的に学習・推論を行う教師ありの機械学習システムの場合 ML Test Score Googleが提唱しているMLシステムを評価する仕組み https://storage.googleapis.com/pub-tools-public-publication-data/pdf/aad9f93b86b7addfea4c419b9100c6cdd26cacea.pdf

Slide 34

Slide 34 text

©2023 CyberAgent Inc. Distribution prohibited ML Test Score 34 以下の4つのカテゴリーでそれぞれ7項目あり、それらを点数づけ ● 特徴量とデータについて ● モデル開発について ● MLのインフラについて ● MLのモニタリングについて MLシステムを定量化することで、伸ばすべき部分を明確化興味のある方は以下のリンクを参考 https://storage.googleapis.com/pub-tools-public-publication-data/pdf/aad9f93b86b7addfea4c419b9100c6cdd26cacea.pdf

Slide 35

Slide 35 text

Slide 36

Slide 36 text

Slide 37

Slide 37 text

Slide 38

Slide 38 text

©2023 CyberAgent Inc. Distribution prohibited 推論パターンひとくちに推論といっても用途によって様々 ● 推論アーキテクチャも複数存在 ● モデルのデプロイ方法も複数存在機械学習システムデザインパターンを例に、一般的なWebアプリケーションや実践編で作るDSPを例に紹介コードをいくつか例示しますが、クレデンシャルや特徴量の前処理の部分は省略しています https://mercari.github.io/ml-system-design-pattern/README_ja.html

Slide 39

Slide 39 text

Slide 40

Slide 40 text

©2023 CyberAgent Inc. Distribution prohibited リアルタイム推論用途：インタラクティブに処理する必要がある場合や、推論結果を使用した処理が走る場合に使われる方法例 ● RTBにおけるCTR・CVR予測 ● リアルタイムでの異常検知 https://mercari.github.io/ml-system-design-pattern/Serving-patterns/Synchronous-pattern/design_ja.html

Slide 41

Slide 41 text

Slide 42

Slide 42 text

Slide 43

Slide 43 text

©2023 CyberAgent Inc. Distribution prohibited バッチ推論用途：リアルタイムに推論する必要がなく、毎時やデータ追加などイベントをトリガーに定期的に溜まったデータを推論した時に用いられる方法例 ● 広告文をデータが溜まったタイミングで一括で自動生成する ● 推薦システムで一括でベクトルを更新するツール ● DWH(Snowflake、Redshift)・Workflow Tool(Airflow、Prefect) https://mercari.github.io/ml-system-design-pattern/Serving-patterns/Batch-pattern/design_ja.html

Slide 44

Slide 44 text

©2023 CyberAgent Inc. Distribution prohibited DWH等の推論対象を含むデータストアからデータを抽出し、特徴量変換・推論をして、DB等に格納する推論処理自体はリアルタイム推論と同じ https://mercari.github.io/ml-system-design-pattern/Serving-patterns/Batch-pattern/design_ja.html バッチ推論

Slide 45

Slide 45 text

©2023 CyberAgent Inc. Distribution prohibited 非同期推論用途：計算量が多く、推論してからレスポンスを返すとブラウザのタイムアウトに間に合わない場合などに非同期で処理する方法リクエストと推論器の間にMQやキャッシュを入れる例 ● ユーザからの設定や入力によって、MLモデルを学習させるWebサービスツール ● キュー(RabbitMQ、Kafka)・キャッシュ(Redis) https://mercari.github.io/ml-system-design-pattern/Serving-patterns/Asynchronous-pattern/design_ja.html

Slide 46

Slide 46 text

©2023 CyberAgent Inc. Distribution prohibited 非同期推論非同期で処理するため、キューにメッセージを送信し、クライアントにはリアルタイムでレスポンスを返す別サーバで推論を行い、クライアントとはDBやキューを介して結果を共有 https://mercari.github.io/ml-system-design-pattern/Serving-patterns/Asynchronous-pattern/design_ja.html

Slide 47

Slide 47 text

Slide 48

Slide 48 text

Slide 49

Slide 49 text

©2023 CyberAgent Inc. Distribution prohibited モデルビルドパターン ﬁles直下の学習済みモデルをビルド時に入れる起動させる時に、ローカルフォルダに置いているモデルを展開する FROM python:3.9.16-slim WORKDIR /app COPY requirements requirements RUN pip install --upgrade pip \ && pip install -r requirements/requirements.bid.txt COPY ../src /app/src COPY ../logs /var/log COPY ../files /app/files ENV AWS_DEFAULT_REGION ap-northeast-1 app = FastAPI() MODEL_FILE_DIR = "files" def load_model(model_file_name: str) -> object: with open(os.path.join(MODEL_FILE_DIR, model_file_name), "rb") as f: model = pickle.load(f) return model model = load_model(model_file_name="model.pkl") @app.get("/") def health_check(): return {"Hello": "World"}

Slide 50

Slide 50 text

Slide 51

Slide 51 text

©2023 CyberAgent Inc. Distribution prohibited モデルロードモデルは外部ストレージ(S3など)においておき、起動時にダウンロードして展開 FROM python:3.9.16-slim WORKDIR /app COPY requirements requirements RUN pip install --upgrade pip \ && pip install -r requirements/requirements.bid.txt COPY ../src /app/src COPY ../logs /var/log RUN mkdir /app/files ENV AWS_DEFAULT_REGION ap-northeast-1 app = FastAPI() S3_BUCKET = "s3_bucket" def fetch_model(s3_bucket: str, s3_key: str) -> Any: s3 = boto3.resource("s3") bucket = s3.Bucket(s3_bucket) byte_obj = bucket.Object(s3_key).get()["Body"].read() return pickle.loads(byte_obj) model = fecth_model(s3_bucket=S3_BUCKET, s3_key="path/to/model") @app.get("/") def health_check(): return {"Hello": "World"}

Slide 52

Slide 52 text

Slide 53

Slide 53 text

Slide 54

Slide 54 text

Slide 55

Slide 55 text

Slide 56

Slide 56 text

Slide 57

Slide 57 text

Slide 58

Slide 58 text

Slide 59

Slide 59 text

©2023 CyberAgent Inc. Distribution prohibited 学習ワークフロー Extract step ● データをストレージ(DWHなど)から抽出 Validate data step ● データのスキーマが変わっていないか ● 過去とデータの分布が変わっていないか Preprocess step ● モデルを学習させるための前処理 https://cloud.google.com/architecture/mlops-continuous-delivery-and-automation-pipelines-in-machine-learning?hl=ja

Slide 60

Slide 60 text

©2023 CyberAgent Inc. Distribution prohibited 学習ワークフロー Train step ● モデルの学習 Evaluate step ● 学習済みモデルのテストデータでの予測値を評価 ● 現在のモデルと新モデルの比較 ○ 優れている場合のみデプロイなど Validate model step ● インフラとの互換性やAPIとの整合性を担保 https://cloud.google.com/architecture/mlops-continuous-delivery-and-automation-pipelines-in-machine-learning?hl=ja

Slide 61

Slide 61 text

Slide 62

Slide 62 text

Slide 63

Slide 63 text

Slide 64

Slide 64 text

©2023 CyberAgent Inc. Distribution prohibited アンチパターン3 コストを度外視しており、とりあえず機械学習を入れようとする ● 機械学習は負債になりやすいので、導入すべきかはよく検討する ○ 機械学習導入による削減コストと人的コストの場合のみ導入する ■ 機械学習導入による削減コスト > 人的コスト ● 一般的に大規模モデルほど精度が向上するがコスト↑ ○ 精度向上による利益 > コスト(インフラ代)の場合のみ導入する ■ 単純な線形モデル等も検討に入れる

Slide 65

Slide 65 text

Slide 66

Slide 66 text

Slide 67

Slide 67 text

©2023 CyberAgent Inc. Distribution prohibited 負荷試験いざ推論サーバを立てた時に性能が足りず頓挫しないように事前に必要要件を定義し、負荷試験をする実際の想定より厳しめに負荷試験をすることで、サービスの品質を担保する問題があった際、ボトルネックの切り分けを行う重要なことは、ボトルネックの特定のみならず、原因特定のための必要なメトリクスが取れていることも意識する → 実運用時の早急な障害対応の観点

Slide 68

Slide 68 text

©2023 CyberAgent Inc. Distribution prohibited ボトルネックの解消アプリケーション側がボトルネックの場合、該当箇所を特定する 1. Proﬁler(※)を使ってボトルネックを特定する 2. ボトルネックを解消する a. コンピュートリソースを増強する b. アルゴリズムを変更する c. キャッシュを入れる d. コードレベルで最適化する(C++、Cython) ※ Appendixに記載

Slide 69

Slide 69 text

Slide 70

Slide 70 text

©2023 CyberAgent Inc. Distribution prohibited 最後に 70 ○ MLを本当に使うべきかを考える ○ ゴールはビジネス課題の解決であって、MLサービスを作ることではない ○ MLを導入した時のコストと解決できるコストを評価する ○ 小さく作り始める ○ いきなり完成系を目指すのではなく、小さく作り始める ■ デプロイは手動・簡単な線形モデルから ○ コミュニケーションを忘れない ○ 守備範囲が広く1人ではできないからこそ、チームメンバー(Biz、SWE、DS)と適切にコミュニケーションを取り、すり合わせる

Slide 71

Slide 71 text

Slide 72

Slide 72 text

Slide 73

Slide 73 text

Slide 74

Slide 74 text

Slide 75

Slide 75 text

©2023 CyberAgent Inc. Distribution prohibited プロファイラ PythonではプロファイラとしてcProﬁle が提供されている各部分の呼び出し回数や実行時間の統計情報を記録 (statsファイルとして吐き出せる) https://docs.python.org/ja/3/library/profile.html import cProfile def sum_func(a: int, b: int) -> int: return a + b def main(): profiler = cProfile.Profile() n = profiler.runcall(sum_func, 1, 2) profiler.dump_stats("./sum_func.stats") if __name__ == "__main__": main()

Slide 76

Slide 76 text

Slide 77

Slide 77 text