データサイエンスのフルサイクル開発を実現する機械学習パイプライン / Machine-learning-pipeline-realize-full-cycle-development-in-data-science

by CARTA Engineering

Slide 1

Slide 1 text

データサイエンスのフルサイクル開発を実現する機械学習パイプライン 2024-09-28 @PyCon 2024 CARTA MARKETING FIRMの事例から学ぶ神谷クリスチャン 1

Slide 2

Slide 2 text

Copyright © 2024 CARTA MARKETING FIRM Inc. All rights reserved 自己紹介神谷クリスチャン Cristian Kamiya 経歴 ● 2020年CARTA HOLDINGS(当時: VOYAGE GROUP)新卒入社 ● CARTA MARKETING FIRM 開発局DSP部MLチーム所属 ● データサイエンスエンジニア ● 2人の子供がいます（長男、次男） ● ブラジルと日本のハーフ󰎙󰏦 @xcnkx @x2CnK8x 2

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Copyright © 2024 CARTA MARKETING FIRM Inc. All rights reserved アジェンダ 1. フルサイクルデータサイエンティストとは 2. 課題と理想の機械学習基盤 3. CARTA MARKETING FIRMのデータ分析基盤の歴史 a. Luigiベース基盤 b. SageMakerベース基盤 c. Prefectベース基盤 4. 成果と今後の展望 5

Slide 6

Slide 6 text

1. フルサイクルデータサイエンティストとは？ 6

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Copyright © 2024 CARTA MARKETING FIRM Inc. All rights reserved 1. フルサイクルデータサイエンティストとは？ CARTA MARKETING FIRMにおける理想 CMF ML Task Cycle Collect data Clean data Explore data Evaluate Model Build and Train Model Continuou s Traning Continuou s Delivery Monitoring A/B testing ● プロダクトライフサイクル全体に対して 1人ひとりがオーナーシップを持つ ● 価値を届けるすべての過程を 1人で回すことができる 8

Slide 9

Slide 9 text

Copyright © 2024 CARTA MARKETING FIRM Inc. All rights reserved 1. フルサイクルデータサイエンティストとは？ CARTA MARKETING FIRMにおける理想 CMF ML Task Cycle Collect data Clean data Explore data Evaluate Model Build and Train Model Continuou s Traning Continuou s Delivery Monitoring A/B testing ● チームメンバー全員が単独で自律的にサイクルを回せる ● 属人性はツールや責務分離で改善していく 9

Slide 10

Slide 10 text

Copyright © 2024 CARTA MARKETING FIRM Inc. All rights reserved ● 1人が価値を届けるすべての領域を開発 ● あくまでも技術領域・開発対象範囲 1. 似ている概念 - フルスタック開発フルスタック開発とは引用元: https://speakerdeck.com/carta_engineering/42tokyo-special-lecture-231106?slide=23 10

Slide 11

Slide 11 text

フルサイクルフルスタックフルサイクル & フルスタックはスーパーマンしか出来ない CMF ML Task Cycle Collect data Clean data Explore data Evaluate Model Build and Train Model Continuous Traning Continuous Delivery Monitoring A/B testing 11

Slide 12

Slide 12 text

フルサイクルフルスタックツール / 責務分離を使うことで “属人性”を廃していくことが理想 CMF ML Task Cycle Collect data Clean data Explore data Evaluate Model Build and Train Model Continuous Traning Continuous Delivery Monitoring A/B testing 12

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Copyright © 2024 CARTA MARKETING FIRM Inc. All rights reserved 1. フルサイクルデータサイエンティストとは？なぜなら ● 一つの施策が当たるとは限らない、多くの施策を試す必要がある ● 最速で施策を実装・検証することが重要 ● 試行サイクルを効果的に回す上で、担当領域の区分けはただの障壁 ● 1人で全工程を担当するのが当然ながら、1番高速 14

Slide 15

Slide 15 text

2. 課題と理想の機械学習基盤 15

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Copyright © 2024 CARTA MARKETING FIRM Inc. All rights reserved ロジック施策・改善 Ops層データパイプラインモデル学習モデルサービングロジック層 2. 走り続けて見つけた理想状態データサイエンティストの仕事の領域が限定されてよりロジック施策・改善に対して高速にサイクルを回せる状態データ基盤サービング基盤学習基盤データサイエンティスト 20

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Copyright © 2024 CARTA MARKETING FIRM Inc. All rights reserved ● シンプル ○ 理解しやすく、使いやすいそして捨てやすい ● マネージドサービス ○ サーバーレス、ハードウェア管理不要 ○ スケーラビリティの自動化 ● カスタマイズ可能 ○ 基本機能は簡単に利用可能 ○ 高度なニーズにも対応可能 ● Pythonic ○ データサイエンティストに馴染みのある言語 ○ 豊富なライブラリとエコシステム 2. 理想の状態を支える基盤の技術要件 22

Slide 23

Slide 23 text

3. CARTA MARKETING FIRMのデータ分析基盤の歴史 23

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Slide 32

Slide 32 text

Slide 33

Slide 33 text

Slide 34

Slide 34 text

Slide 35

Slide 35 text

Slide 36

Slide 36 text

Slide 37

Slide 37 text

波乱 37

Slide 38

Slide 38 text

Slide 39

Slide 39 text

Slide 40

Slide 40 text

Slide 41

Slide 41 text

Slide 42

Slide 42 text

Slide 43

Slide 43 text

Slide 44

Slide 44 text

Copyright © 2024 CARTA MARKETING FIRM Inc. All rights reserved Sagemaker時代 - チーム状況 ● チームメンバー構成 ■ 󰞲ジュニアデータサイエンティスト：2名 ■ 󰞵新たにデータエンジニア：1名が加入 44 ● 役割分担の再編成 ○ 󰞲データサイエンティスト ■ 施策提案、ロジック開発、機械学習パイプラインの担当 ○ 󰞵データエンジニア ■ データパイプラインの開発・運用を担当

Slide 45

Slide 45 text

Slide 46

Slide 46 text

Slide 47

Slide 47 text

Slide 48

Slide 48 text

Slide 49

Slide 49 text

Slide 50

Slide 50 text

Copyright © 2024 CARTA MARKETING FIRM Inc. All rights reserved 選ばれたのがAWS SageMaker ● 既存システムとの親和性 ○ 既存システムがAWS上で稼働しているため、連携が容易 ○ DWHがBigQueryから Snowflakeへの移行しGoogle依存が減少 ● プロトタイピングプログラムの活用 ○ AWSのプロトタイピングエンジニアの支援を受けられたこと ○ ジュニアメンバー主体のチームでも実装可能 ● 学習コストの削減 ○ 新しいツールの導入による負担を軽減 50

Slide 51

Slide 51 text

Slide 52

Slide 52 text

Slide 53

Slide 53 text

Slide 54

Slide 54 text

Slide 55

Slide 55 text

Copyright © 2024 CARTA MARKETING FIRM Inc. All rights reserved Prefect時代 - 導入背景 1. インフラ構築の複雑さ ○ 当初は慣れの問題と考えていたが、A/Bテストのような一時的な実装にも高いコストがかかり、データサイエンティストの負担が増大 2. ワークフローの柔軟性不足 ○ Step Functionsでのタスク間のデータ受け渡しや新規DAGの追加が簡単ではない ○ すべてCDK上で書く必要があった 55 SageMaker基盤で見えてきた新たな課題

Slide 56

Slide 56 text

Copyright © 2024 CARTA MARKETING FIRM Inc. All rights reserved Prefect時代 - 導入背景 3. ログ監視の困難さ ○ Lambda、SageMaker Processing Jobs、Step Functionsなど、複数のサービスにまたがるログの確認が必要 ○ 障害時などの認知負荷が高い 4. オーバースペック ○ 私達のシステムに対して機能やスケーラビリティが過剰で、運用負荷が大きい ○ もっとシンプルなワークフローで十分 56

Slide 57

Slide 57 text

Copyright © 2024 CARTA MARKETING FIRM Inc. All rights reserved Prefect時代 - 次の基盤に求める技術要件 ● インフラ構築の簡素化 ○ データサイエンティストが容易に扱えるシンプルなインフラ管理 ● ワークフローの柔軟性と拡張性 ○ 直感的なワークフロー定義が可能 ● ログ監視とデバッグの効率化 ○ ログの一元管理で効率的な監視が可能 ● シンプル ○ 理解しやすく、使いやすい 57

Slide 58

Slide 58 text

Copyright © 2024 CARTA MARKETING FIRM Inc. All rights reserved 選ばれたのがPrefect ● Pythonエコシステムの統一性 ○ 全工程をPythonで一貫して記述可能 ○ 異なる技術スタックを扱う必要がない ○ インフラからバッチ処理までPythonで完結 ● 直感的なワークフロー構築 ○ タスク間のパラメータ設定が容易 ○ 既存のPython関数にデコレータを追加するだけでタスク定義 58

Slide 59

Slide 59 text

Slide 60

Slide 60 text

Copyright © 2024 CARTA MARKETING FIRM Inc. All rights reserved Prefectベース基盤のアーキテクチャ図 ● ECS ServiceでPrefect Workerを起動 ● WorkerがPrefect CloudにタスクをpollしてECSタスクを起動 ● ECSタスク内でTaskを実行 ● Prefect CloudにDeploymentをdeployするだけ 60

Slide 61

Slide 61 text

Slide 62

Slide 62 text

Slide 63

Slide 63 text

Slide 64

Slide 64 text

Slide 65

Slide 65 text

Slide 66

Slide 66 text

Copyright © 2024 CARTA MARKETING FIRM Inc. All rights reserved 各パイプラインのまとめ Luigiベース基盤 Sagemakerベース基盤 Prefectベース基盤 DSの責務範囲の狭さ ❌ ⭕ ⭕ A/Bテストの容易さ ❌ ⭕ ⭕ 開発体験 ❌ ⭕ ⭕ 実装コスト ⭕ 🔺 IaCの認知負荷が高い ⭕ ワークフローの柔軟性 ⭕ 🔺 StepFunctionでの記述が困難 ⭕ ログ監視 ⭕ 🔺 リソース別の CloudWatch logsを見る必要がある ⭕ 費用 ⭕ ⭕ 🔺 ユーザー課金のため 66

Slide 67

Slide 67 text

Slide 68

Slide 68 text

Slide 69

Slide 69 text

Slide 70

Slide 70 text

4. 成果と今後の展望 70

Slide 71

Slide 71 text

Copyright © 2024 CARTA MARKETING FIRM Inc. All rights reserved 4. 得られた成果データサイエンティストの本質的な価値を生む時間の増加 ● 現在のPrefectベース基盤により本質的な部分以外のOpsが減少 ● データサイエンティストがより価値を出せる本質的な部分に集中することができるように ML code Algorithm Core logic 本質的な部分減少非本質的な部分解決された部分 71

Slide 72

Slide 72 text

Slide 73

Slide 73 text

Copyright © 2024 CARTA MARKETING FIRM Inc. All rights reserved 4. 成果と今後の展望 ● 機械学習モデルのバージョン管理の最適化 ● 機械学習モデルのサービング基盤の改善 ● 機械学習モデルのE2Eテスト、リグレッションテストの強化 ● データ品質管理とモニタリングシステムの改善 ● モデルの説明可能性と透明性の向上 ● etc.. 73

Slide 74

Slide 74 text

Slide 75

Slide 75 text

Slide 76

Slide 76 text

ご清聴ありがとうございました🙇 76

Slide 77

Slide 77 text

Copyright © 2024 CARTA MARKETING FIRM Inc. All rights reserved 参考資料 ● スペシャリスト？フルスタック？whichではないフルサイクル開発者という生き方 / 42TOKYO-SPECIAL-LECTURE-231106 - Speaker Deck ● Full Cycle Data Science (FCDS): Key to Scaling Data-Driven Organizations | dmarcous ● Hidden Technical Debt in Machine Learning Systems ● 8年間の進化！CARTA MARKETING FIRMが機械学習基盤を刷新した理由とその成果 77