Slide 1
Slide 1 text
No content
Slide 2
Slide 2 text
企業開發⽂化
MLOps ⾯向
Slide 3
Slide 3 text
01
02
03
04
What is MLOps?
AS IS & TO BE
What should do first? How to do?
Team Strategies
Self Introduction
05 Q & A
CONTENT
MLOps: Machine Learning Operations
Slide 4
Slide 4 text
01
Self
Introduction
Slide 5
Slide 5 text
Rei Huang
Machine Learning
Engineer
Education
• Bachelor in Mathematics @ CCU
• Master in Mathematics @ NTHU
Work Experience
• E.Sun Commercial Bank (2016 ~ 2022)
• LINE Taiwan EC (2022 ~ Now)
Slide 6
Slide 6 text
MLOps: Machine Learning Operations
02
What is MLOps
Slide 7
Slide 7 text
圖片來源: D.Sculley et. al. NIPS 2015 Hidden Technical Debt in Machine Learning Systems
2100
特點項⽬⽂字
特點項⽬
The surrouding Infra of ML code
1234
特點項⽬⽂字
特點項⽬
999
特點項⽬⽂字
特點項⽬
Slide 8
Slide 8 text
Actual Task Flow
Discuss Business Demand Assess demand by data Create Issue or ticket
Start coding
Test
PR Deployment Monitoring
Design
Slide 9
Slide 9 text
Actual Task Flow
Discuss Business Demand Assess demand by data Create Issue or ticket
Start coding
Test
PR Deployment Monitoring
Design
Slide 10
Slide 10 text
廣度？
How to complete such a big deal?
圖片來源：Yahoo 新聞：數位人才有哪些能力？數位領域的T型人才驅動企業成功數位轉型
API
Database
ML
Algorithm
Data
Analysis
Slide 11
Slide 11 text
03
AS IS & TO BE
Slide 12
Slide 12 text
⼯作上會這麼做
你現在可能這樣做
Notebook 寫到底
一個 script 寫完所有邏輯
使用 ensemble 建模型把
performance 最佳化
有很多時間嘗試不同的 ML 演算
法，甚至可以 tune hyper
parameters
有結構化的 production code
完整的建模流程與服務架構
需要考量訓練與預測的運算效率
穩定的 model serving
不同應用情境的 feature
engineering
圖片來源:onlyGFX.com
Slide 13
Slide 13 text
Real Work Style
開發前與大家同步執行方式 or design
程式碼是需要被 review 的 (Pull
Request)
先講解 PR 目的
Review PR 後直接與原作者溝通
頻繁且快速 sync
Documentation (Coding as
document)
共同制定 team best practice
分享、回饋、調整
Slide 14
Slide 14 text
What should do first? How to do?
04
Team
Strategies
Slide 15
Slide 15 text
時間有限 but 願望無窮
To do or not to do, that is a question
新的 business
需求
新的 feature
加入訓練資料
Clean Code
Unit Test 想要測
試更多情境
Machine learning
Metric & business
evaluation
CI / CD 更完整
Log format 想要修改
的更漂亮
看到新的 model 想要
套用
多組 model
做交叉比對
對特定資料或者情
境做資料分析
圖片來源: ⾃由時報 莎⼠比亞的10個⼩祕密 你知道幾個呢？
Slide 16
Slide 16 text
實務上的抉擇基準
P0: 最緊急
P1: 如果沒有緊急事項
就先做
P2: 不急，有空再做
Feature: 新功能 (P0 or
P1)
Bug: 現在不修就完了
(P0)
Known issue (P1 or P2)
解決方式
短解：僅解決現有問題
長解：擴充功能、大規模
refactor or enhancement
問題種類
緊急程度
Slide 17
Slide 17 text
結論
我們以為的 ML、AI 工程師不僅是做
ML、AI
真實的企業開發與學生時代的
research、比 hackathon、打 kaggle
有不少差異，需要很多團隊合作以及
為商業場景做設計
策略的重要性、團隊的核心價值 Work Smart / Work Hard
Slide 18
Slide 18 text
No content