Tweet
Tweet

Slide 1

Slide 1 text

Lab：輕輕鬆鬆體驗 MLOps Photo by Faris Mohammed on Unsplash Cheng Wei Chen @ iThome Cloud Summit 2024

Slide 2

Slide 2 text

Lab 的內容不會涉及 LLM 或 進階的 ML 開發細節， 僅專注在 MLOps / ML 開發流程。

Slide 3

Slide 3 text

Cheng Wei Chen 陳正瑋 炬識科技 / Technology Consultant 《Effective DevOps 中⽂版》譯者、GitLab Hero、DevOps Taiwan Community 志⼯ https://chengweichen.com

Slide 4

Slide 4 text

Agenda 1. 暖場 2.「軟體」開發 與「ML」開發 3. 簡介 Lab 環境與內容 4. 實際操作 5. 回顧與總結

Slide 5

Slide 5 text

暖場

Slide 6

Slide 6 text

你們家有⾃⼰訓練ML嗎？

Slide 7

Slide 7 text

No content

Slide 8

Slide 8 text

No content

Slide 9

Slide 9 text

圖片來源：https://medium.com/@sarita_68521/understanding-neural-networks-in-10-minutes-b186 ff 435ded

Slide 10

Slide 10 text

「軟體」開發 與「ML」開發

Slide 11

Slide 11 text

資料來源：《設計機器學習系統：迭代開發⽣產環境就緒的 ML 程式》 將「輸入」與「規律模式」交給「軟體」， 然後我們可以得到「輸出」

Slide 12

Slide 12 text

資料來源：《設計機器學習系統：迭代開發⽣產環境就緒的 ML 程式》 將「輸入」與「輸出」交給「機器學習」， 然後我們可以得到「複雜的規律模式」

Slide 13

Slide 13 text

資料來源：《設計機器學習系統：迭代開發⽣產環境就緒的 ML 程式》 ML 以 輸入 和 輸出 來了解箇中的 規律模式， ⽽非透過輸入和規律模式來計算輸出。

Slide 14

Slide 14 text

你知道「輸入 & 輸出」與「規律模式」的內容， 然後透過「軟體開發流程」，產出「軟體」

Slide 15

Slide 15 text

你知道「輸入」與「輸出」的內容， 然後透過「ML開發流程」，產出「規律模式」

Slide 16

Slide 16 text

ML 是指從 既有資料 學習 複雜 規律模式， 並利⽤習得模式 預測 未⾒資料 的⽅法

Slide 17

Slide 17 text

No content

Slide 18

Slide 18 text

範例來源：https://github.com/apache/spark/blob/master/examples/src/main/python/pi.py , https://gitlab.com/gitlab-org/incubation-engineering/mlops/model_experiment_example

Slide 19

Slide 19 text

範例來源：https://github.com/apache/spark/blob/master/examples/src/main/python/pi.py , https://gitlab.com/gitlab-org/incubation-engineering/mlops/model_experiment_example

Slide 20

Slide 20 text

範例來源：https://github.com/apache/spark/blob/master/examples/src/main/python/pi.py , https://gitlab.com/gitlab-org/incubation-engineering/mlops/model_experiment_example

Slide 21

Slide 21 text

範例來源：https://github.com/apache/spark/blob/master/examples/src/main/python/pi.py , https://gitlab.com/gitlab-org/incubation-engineering/mlops/model_experiment_example

Slide 22

Slide 22 text

範例來源：https://github.com/apache/spark/blob/master/examples/src/main/python/pi.py , https://gitlab.com/gitlab-org/incubation-engineering/mlops/model_experiment_example

Slide 23

Slide 23 text

範例來源：https://github.com/apache/spark/blob/master/examples/src/main/python/pi.py , https://gitlab.com/gitlab-org/incubation-engineering/mlops/model_experiment_example

Slide 24

Slide 24 text

範例來源：https://github.com/apache/spark/blob/master/examples/src/main/python/pi.py , https://gitlab.com/gitlab-org/incubation-engineering/mlops/model_experiment_example

Slide 25

Slide 25 text

範例來源：https://github.com/apache/spark/blob/master/examples/src/main/python/pi.py , https://gitlab.com/gitlab-org/incubation-engineering/mlops/model_experiment_example

Slide 26

Slide 26 text

範例來源：https://github.com/apache/spark/blob/master/examples/src/main/python/pi.py , https://gitlab.com/gitlab-org/incubation-engineering/mlops/model_experiment_example

Slide 27

Slide 27 text

範例來源：https://github.com/apache/spark/blob/master/examples/src/main/python/pi.py , https://gitlab.com/gitlab-org/incubation-engineering/mlops/model_experiment_example

Slide 28

Slide 28 text

No content

Slide 29

Slide 29 text

No content

Slide 30

Slide 30 text

No content

Slide 31

Slide 31 text

No content

Slide 32

Slide 32 text

No content

Slide 33

Slide 33 text

No content

Slide 34

Slide 34 text

No content

Slide 35

Slide 35 text

Version Control System Package Registry Artifacts Management Release Dependencies Source Code Deploy Appliation Deploy Appliation Deploy Appliation Local Alpha Beta Production

Slide 36

Slide 36 text

Version Control System Package Registry Dependencies Local ML Team Testing Production Testing ML Dependencies Code Code Model Experiments Deploy ML Deploy ML Model Registry Model Experiments System Prod Data Data Pipeline Data for Dev

Slide 37

Slide 37 text

圖片來源：https://towardsdatascience.com/what-the-ops-are-you-talking-about-518b1b1a2694

Slide 38

Slide 38 text

No content

Slide 39

Slide 39 text

簡介 Lab 環境與內容

Slide 40

Slide 40 text

實際操作

Slide 41

Slide 41 text

講義 https://chengweichen.com/2024/07/ithome- cloud-summit-2024-mlops-with-gitlab.html

Slide 42

Slide 42 text

回顧與總結

Slide 43

Slide 43 text

範例來源：https://github.com/apache/spark/blob/master/examples/src/main/python/pi.py , https://gitlab.com/gitlab-org/incubation-engineering/mlops/model_experiment_example 看起來都是 Code，實際上很不⼀樣

Slide 44

Slide 44 text

資料科學家更喜歡這樣做事？

Slide 45

Slide 45 text

No content

Slide 46

Slide 46 text

No content

Slide 47

Slide 47 text

Version Control System Package Registry Dependencies Local ML Team Testing Production Testing ML Dependencies Data for Dev Code Code Model Experiments Deploy ML Deploy ML Model Registry Model Experiments System Prod Data Data Pipeline

Slide 48

Slide 48 text

反思： MLOps 不是 ML + DevOps

Slide 49

Slide 49 text

反思： ML 的交付頻率？迭代頻率？

Slide 50

Slide 50 text

反思： MLOps 是為了誰？ 滿⾜什麼需求？

Slide 51

Slide 51 text

反思： MLOps ⼯具鏈本⾝有價值嗎？

Slide 52

Slide 52 text

反思： 你家有礦（Data）嗎？