Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
資料煉金術師:一場關於 LINE 電商煉金的故事
Search
LINE Developers Taiwan
PRO
January 30, 2024
Technology
1
2.3k
資料煉金術師:一場關於 LINE 電商煉金的故事
Speaker: Vila Lin
Event: 梅竹黑客松企業參訪
LINE Developers Taiwan
PRO
January 30, 2024
Tweet
Share
More Decks by LINE Developers Taiwan
See All by LINE Developers Taiwan
透過 Cloud Functions, Firebasem Gemini Pro 打造具有記憶的 Open Data LINE Bot
line_developers_tw
PRO
0
11
就讓AI幫你帶LINE好運
line_developers_tw
PRO
1
32
沒想過的前端錯誤處理可能比你有做的還多
line_developers_tw
PRO
0
51k
LINE 台灣實習計畫 2024 - TECH FRESH 介紹
line_developers_tw
PRO
0
510
LINE 台灣實習計畫 - 相關福利與面試流程
line_developers_tw
PRO
0
520
Navigating My Internship: A 5W1H Perspective
line_developers_tw
PRO
0
23
1001 號 到 333 號
line_developers_tw
PRO
0
15
關於我連線三年半的故事
line_developers_tw
PRO
0
880
LINE 電商部門實習分享
line_developers_tw
PRO
0
48
Other Decks in Technology
See All in Technology
NewSQL Landscape
oracle4engineer
PRO
0
110
Secrets of a PowerShell "Guru"
guyrleech
1
100
Documentação de Produtos: Artefatos essenciais na prática
rigolon
1
190
Cracking the KubeCon CfP
inductor
2
270
Amplify 🩷 Bedrock 〜生成AI入門〜
minorun365
PRO
9
1.1k
競技としてのKaggle、役に立つKaggle
yu4u
7
2.5k
家族アルバム みてねにおけるGrafana活用術 / Grafana Meetup Japan Vol.1 LT
isaoshimizu
1
1.1k
Google Cloud Next '24 Recap(Cloud Run/k8s)
mokocm
0
370
Max out Local LLM in Challenging Environments
sashimimochi
2
200
認知症フレンドリーテックとスタックチャン
naokiuc
0
350
Rustで「プリズモイダル法」を利用して「土量計算」をガチでやる
nokonoko1203
1
350
ExaDB-D dbaascli で出来ること
oracle4engineer
PRO
0
2.1k
Featured
See All Featured
Keith and Marios Guide to Fast Websites
keithpitt
408
22k
Debugging Ruby Performance
tmm1
70
11k
How to Ace a Technical Interview
jacobian
273
22k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
41
4.4k
Intergalactic Javascript Robots from Outer Space
tanoku
266
26k
What's new in Ruby 2.0
geeforr
337
31k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
323
20k
Optimising Largest Contentful Paint
csswizardry
13
2.4k
Docker and Python
trallard
35
2.7k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
9
1.3k
From Idea to $5000 a Month in 5 Months
shpigford
378
45k
Making the Leap to Tech Lead
cromwellryan
125
8.5k
Transcript
資料煉⾦術師
01 02 02 推薦系統 資料科學家、機器學習工程師、資料工程師 電商鍊成陣 國家鍊⾦術師 真的有賢者之石嗎? 我所看到的真理 Agenda
Vila Lin 電商資料⼯程經理 • 學歷: 清⼤⽣資 MS • 領域: 機器學習、類神經網路、⽣物統計
、演算法設計與分析
SECTION 01 電商鍊成陣 推薦系統
推薦 in LINE 錢包 左: LINE 禮物個⼈化品牌推薦 右: LINE 個⼈化類別推薦
推薦 in LINE 購物 個⼈化品牌商品 個⼈化店家 熱銷⾦榜 低價商品 今⽇熱搜字
SECTION 02 資料⼯程師、機器學習⼯程師、資料科學家 國家鍊⾦術師
電商鍊⾦術師 資料 分析師 軟體 ⼯程師 DevOps ⼯程師 商業面向 工程面向
電商鍊⾦術師 資料科學家 機器學習工程師 資料工程師 研究 ML/AI 進階分析 研究 ML/AI 進階分析
模型/演算法/參數最佳化 開發 ML 流程 軟體工程 設計模式 分散式架構
鍊⾦術師的戰⾾位置 資料科學家 資料工程師 機器學習工程師 ML Ops 陣線 資料分析 & 挑選
資料收集 & 清洗 建模 驗證 推論 部署
鍊⾦術師的技能 資料庫 資料工具與平台 天橋下的說書人 資料視覺化 商業洞察 成效指標 假設與實驗 模型推論 統計與
ML 建模 模型佈建 資料流 ML Ops
資料⼯程師 資料流 資料庫 資料⼯具與平台 ML Ops 資料⼯程師的主線技能
資料科學家 統計與 ML 建模 推論 假設與實驗 成效評估 資料科學家的主線技能 A/B Testing
Hit Rate F1 Score CTR
關於模型
關於模型 雙塔模型 (推薦系統) BERT (NLP) CNN (影像/語音辨識)
機器學習⼯程師 ML Ops 模型佈建 統計與 ML 建模 模型推論 機器學習⼯程師的主線技能
SECTION 03 真的有賢者之⽯嗎? 我所看到的真理
沒有賢者之⽯ 任何演算法/模型都有適⽤場景 (LLM 的 fine-tune其實也是滿滿領域知識) 遇到困難⼤家持續溝通和討論 找出 dev 與 po
都可以接受的⽅案
不要被數字騙了 模型成效過好其實很可疑 記得回過頭確認資料集是否有問題 免得上線引入真實資料的模型⼤失所望
數學很重要 • 資料⼯程師: 資料確保 (判讀統計趨勢找問題) • 資料科學家: 統計分析、模型驗證、 A/B 測試
• 機器學習⼯程師: 特徵⼯程、實作演算法或模型
None
None
None