資料煉金術師：一場關於 LINE 電商煉金的故事

Speaker: Vila Lin
Event: 梅竹黑客松企業參訪

Transcript

1. 資料煉⾦術師
2. 01 02 02 推薦系統 資料科學家、機器學習工程師、資料工程師 電商鍊成陣 國家鍊⾦術師 真的有賢者之石嗎? 我所看到的真理 Agenda
3. Vila Lin 電商資料⼯程經理 • 學歷: 清⼤⽣資 MS • 領域: 機器學習、類神經網路、⽣物統計 、演算法設計與分析
4. SECTION 01 電商鍊成陣 推薦系統
5. 推薦 in LINE 錢包 左: LINE 禮物個⼈化品牌推薦 右: LINE 個⼈化類別推薦
6. 推薦 in LINE 購物 個⼈化品牌商品 個⼈化店家 熱銷⾦榜 低價商品 今⽇熱搜字
7. SECTION 02 資料⼯程師、機器學習⼯程師、資料科學家 國家鍊⾦術師
8. 電商鍊⾦術師 資料 分析師 軟體 ⼯程師 DevOps ⼯程師 商業面向 工程面向
9. 電商鍊⾦術師 資料科學家 機器學習工程師 資料工程師 研究 ML/AI 進階分析 研究 ML/AI 進階分析 模型/演算法/參數最佳化 開發 ML 流程 軟體工程 設計模式 分散式架構
10. 鍊⾦術師的戰⾾位置 資料科學家 資料工程師 機器學習工程師 ML Ops 陣線 資料分析 & 挑選 資料收集 & 清洗 建模 驗證 推論 部署
11. 鍊⾦術師的技能 資料庫 資料工具與平台 天橋下的說書人 資料視覺化 商業洞察 成效指標 假設與實驗 模型推論 統計與 ML 建模 模型佈建 資料流 ML Ops
12. 資料⼯程師 資料流 資料庫 資料⼯具與平台 ML Ops 資料⼯程師的主線技能
13. 資料科學家 統計與 ML 建模 推論 假設與實驗 成效評估 資料科學家的主線技能 A/B Testing Hit Rate F1 Score CTR
14. 關於模型
15. 關於模型 雙塔模型 (推薦系統) BERT (NLP) CNN (影像/語音辨識)
16. 機器學習⼯程師 ML Ops 模型佈建 統計與 ML 建模 模型推論 機器學習⼯程師的主線技能
17. SECTION 03 真的有賢者之⽯嗎? 我所看到的真理
18. 沒有賢者之⽯ 任何演算法/模型都有適⽤場景 (LLM 的 fine-tune其實也是滿滿領域知識) 遇到困難⼤家持續溝通和討論 找出 dev 與 po 都可以接受的⽅案
19. 不要被數字騙了 模型成效過好其實很可疑 記得回過頭確認資料集是否有問題 免得上線引入真實資料的模型⼤失所望
20. 數學很重要 • 資料⼯程師: 資料確保 (判讀統計趨勢找問題) • 資料科學家: 統計分析、模型驗證、 A/B 測試 • 機器學習⼯程師: 特徵⼯程、實作演算法或模型