資料煉金術師：一場關於 LINE 電商煉金的故事

by LINE Developers Taiwan

Slide 1

Slide 1 text

資料煉⾦術師

Slide 2

Slide 2 text

01 02 02 推薦系統資料科學家、機器學習工程師、資料工程師電商鍊成陣國家鍊⾦術師真的有賢者之石嗎? 我所看到的真理 Agenda

Slide 3

Slide 3 text

Vila Lin 電商資料⼯程經理 • 學歷: 清⼤⽣資 MS • 領域: 機器學習、類神經網路、⽣物統計、演算法設計與分析

Slide 4

Slide 4 text

SECTION 01 電商鍊成陣推薦系統

Slide 5

Slide 5 text

推薦 in LINE 錢包左: LINE 禮物個⼈化品牌推薦右: LINE 個⼈化類別推薦

Slide 6

Slide 6 text

推薦 in LINE 購物個⼈化品牌商品個⼈化店家熱銷⾦榜低價商品今⽇熱搜字

Slide 7

Slide 7 text

SECTION 02 資料⼯程師、機器學習⼯程師、資料科學家國家鍊⾦術師

Slide 8

Slide 8 text

電商鍊⾦術師資料分析師軟體⼯程師 DevOps ⼯程師商業面向工程面向

Slide 9

Slide 9 text

電商鍊⾦術師資料科學家機器學習工程師資料工程師研究 ML/AI 進階分析研究 ML/AI 進階分析模型/演算法/參數最佳化開發 ML 流程軟體工程設計模式分散式架構

Slide 10

Slide 10 text

鍊⾦術師的戰⾾位置資料科學家資料工程師機器學習工程師 ML Ops 陣線資料分析 & 挑選資料收集 & 清洗建模驗證推論部署

Slide 11

Slide 11 text

鍊⾦術師的技能資料庫資料工具與平台天橋下的說書人資料視覺化商業洞察成效指標假設與實驗模型推論統計與 ML 建模模型佈建資料流 ML Ops

Slide 12

Slide 12 text

資料⼯程師資料流資料庫資料⼯具與平台 ML Ops 資料⼯程師的主線技能

Slide 13

Slide 13 text

資料科學家統計與 ML 建模推論假設與實驗成效評估資料科學家的主線技能 A/B Testing Hit Rate F1 Score CTR

Slide 14

Slide 14 text

關於模型

Slide 15

Slide 15 text

關於模型雙塔模型 (推薦系統) BERT (NLP) CNN (影像/語音辨識)

Slide 16

Slide 16 text

機器學習⼯程師 ML Ops 模型佈建統計與 ML 建模模型推論機器學習⼯程師的主線技能

Slide 17

Slide 17 text

SECTION 03 真的有賢者之⽯嗎? 我所看到的真理

Slide 18

Slide 18 text

沒有賢者之⽯任何演算法/模型都有適⽤場景 (LLM 的 fine-tune其實也是滿滿領域知識) 遇到困難⼤家持續溝通和討論找出 dev 與 po 都可以接受的⽅案

Slide 19

Slide 19 text

不要被數字騙了模型成效過好其實很可疑記得回過頭確認資料集是否有問題免得上線引入真實資料的模型⼤失所望

Slide 20

Slide 20 text

數學很重要 • 資料⼯程師: 資料確保 (判讀統計趨勢找問題) • 資料科學家: 統計分析、模型驗證、 A/B 測試 • 機器學習⼯程師: 特徵⼯程、實作演算法或模型