打造 MLOps 平台 改善 AI 模型開發流程

由於不同的專案，對於 AI 開發模型需要不同的資源，而專案之間就會產生資源不足的問題，初期可以購買機器來短暫解決問題，長期還是需要有一個平台可以監控管理及部署 AI 模型，所以部門決定打造 MLOps 平台及自動化流程。本議程會介紹工程團隊如何找到 AI 開發痛點，及如何跟公司 IT 部門密切合作打造此平台。

Blog: https://blog.wu-boy.com/
GitHub: https://github.com/appleboy

Transcript

1. 打造 MLOps 平台 改善 AI 模型開發流程 Bo-Yi Wu 2023/07/19 CloudSummit 台灣雲端⼤會
2. About me • Software Engineer in Mediatek (AIDE) • Maintain Drone CI/CD Plugin (15) • Member of Gitea Platform • Member of Gin Golang Framework • Maintain GitHub Actions Plugins (18).
4. ⼤綱 • What’s MLOps? • AI Developer Pain Points • AI MLOps Solution
5. What’s MLOps
6. https://en.wikipedia.org/wiki/MLOps
7. 1. Shortening Development Cycles 2. Increasing Development Velocity
8. MLOps: Manual process https://bit.ly/3L8xMRC
9. Automated ML Pipeline
10. Automated ML Pipeline
11. AI Developer Pain Points
12. AI Development Pain Points • 運算資源不⾜? (80%) • 如何⾃動化流程? (20%)
13. 1. 運算資源不⾜ 1. 待顆 GPU 不⽤夠 2. 單台 GPU 不夠⽤ 3. 資料處理太慢 4. ……
14. 2. 如何⾃動化流程 (20%)
15. 2. 如何⾃動化流程 (20%)
16. AI MLOps Solution
17.  ߗᱪҡޢ
     ܥ౷ҡӡ  ላश੒ຊ
     ։ᚙ੒ຊ 運算資源不⾜? • 各個部⾨購買硬體 (如右圖) • 開發者跳到 SW/HW 使⽤ (如下圖)
18. Scaling AI and Python Workloads Effortlessly with Ray
20. 解決⽅案
21. 開發者能做什麼? ฏߦԽ႔ཧ ࢿྉ႔ཧ ੔߹
    $PNQVUJOH
    'BSN
    ࢿݯ
22. ⾃動化流程管理 (Internal)
23. ⾃動化流程管理 (AWS)
24. ML as a Service