Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
資料煉金術師:一場關於 LINE 電商煉金的故事
Search
LINE Developers Taiwan
PRO
January 30, 2024
Technology
1
2.9k
資料煉金術師:一場關於 LINE 電商煉金的故事
Speaker: Vila Lin
Event: 梅竹黑客松企業參訪
LINE Developers Taiwan
PRO
January 30, 2024
Tweet
Share
More Decks by LINE Developers Taiwan
See All by LINE Developers Taiwan
The Magic of Feature Toggles:
line_developers_tw
PRO
0
13
透過 Cloud Function + Firebase 與 Gemini Pro Vision 打造一個旅遊小幫手 LINE ChatBot
line_developers_tw
PRO
0
1.3k
iThome Cloud Summit 2024 - 透過生成式 AI 多模態模型與 LINE Bot 產生有趣應用
line_developers_tw
PRO
0
48
從實習到專家:LINE TECH FRESH -t的成長軌跡
line_developers_tw
PRO
0
52
QA 蝦米 QA?我的扣超讚的啊
line_developers_tw
PRO
0
910
這就很玄囉! 從粽子看開發的世界
line_developers_tw
PRO
0
900
從混亂到掌控:使用 Observability 揭開管家的神秘面紗
line_developers_tw
PRO
0
1.3k
蔡EC:24歲開發一次成功
line_developers_tw
PRO
0
900
你在 DevOps 什麼啦,我要趕快上線!
line_developers_tw
PRO
0
470
Other Decks in Technology
See All in Technology
サービスの持続的な成長と技術負債について
siva_official
PRO
10
4.4k
LINE WORKSへ簡単通知!Incoming Webhookアプリの紹介
mmclsntr
0
110
GoとアクターモデルでES+CQRSを実践! / proto_actor_es_cqrs
ytake
1
150
dxd2024-生成AIに振り回された3か月間の成功と失敗/dxd2024-link-and-motivation
lmi
2
260
運用改善、不都合な真実 / 20240722-ssmjp-kaizen
opelab
17
8k
MySQLのロックの種類とその競合
yoku0825
6
1.6k
スタートアップにおける組織設計とスクラムの長期戦略 / Scrum Fest Kanazawa 2024
yoshikiiida
13
3.6k
ABEMAにおけるLLMを用いたコンテンツベース推薦システム導入と効果検証
cyberagentdevelopers
PRO
1
720
Luupの開発組織におけるインシデントマネジメントの変遷 ver.RoadtoSRENEXT2024
grimoh
1
270
セキュリティ研修 Day1【MIXI 24新卒技術研修】
mixi_engineers
PRO
0
160
「我々はどこに向かっているのか」を問い続けるための仕組みづくり / Establishing a System for Continuous Inquiry about where we are
daitasu
0
170
Docker互換のセキュアなコンテナ実行環境「Podman」超入門
devops_vtj
6
3.2k
Featured
See All Featured
Robots, Beer and Maslow
schacon
PRO
157
8.1k
Keith and Marios Guide to Fast Websites
keithpitt
408
22k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
155
14k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
13
430
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
149
45k
It's Worth the Effort
3n
181
27k
Building an army of robots
kneath
301
42k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
23
1.9k
Stop Working from a Prison Cell
hatefulcrawdad
266
20k
The Brand Is Dead. Long Live the Brand.
mthomps
52
36k
Producing Creativity
orderedlist
PRO
340
39k
Optimising Largest Contentful Paint
csswizardry
18
2.6k
Transcript
資料煉⾦術師
01 02 02 推薦系統 資料科學家、機器學習工程師、資料工程師 電商鍊成陣 國家鍊⾦術師 真的有賢者之石嗎? 我所看到的真理 Agenda
Vila Lin 電商資料⼯程經理 • 學歷: 清⼤⽣資 MS • 領域: 機器學習、類神經網路、⽣物統計
、演算法設計與分析
SECTION 01 電商鍊成陣 推薦系統
推薦 in LINE 錢包 左: LINE 禮物個⼈化品牌推薦 右: LINE 個⼈化類別推薦
推薦 in LINE 購物 個⼈化品牌商品 個⼈化店家 熱銷⾦榜 低價商品 今⽇熱搜字
SECTION 02 資料⼯程師、機器學習⼯程師、資料科學家 國家鍊⾦術師
電商鍊⾦術師 資料 分析師 軟體 ⼯程師 DevOps ⼯程師 商業面向 工程面向
電商鍊⾦術師 資料科學家 機器學習工程師 資料工程師 研究 ML/AI 進階分析 研究 ML/AI 進階分析
模型/演算法/參數最佳化 開發 ML 流程 軟體工程 設計模式 分散式架構
鍊⾦術師的戰⾾位置 資料科學家 資料工程師 機器學習工程師 ML Ops 陣線 資料分析 & 挑選
資料收集 & 清洗 建模 驗證 推論 部署
鍊⾦術師的技能 資料庫 資料工具與平台 天橋下的說書人 資料視覺化 商業洞察 成效指標 假設與實驗 模型推論 統計與
ML 建模 模型佈建 資料流 ML Ops
資料⼯程師 資料流 資料庫 資料⼯具與平台 ML Ops 資料⼯程師的主線技能
資料科學家 統計與 ML 建模 推論 假設與實驗 成效評估 資料科學家的主線技能 A/B Testing
Hit Rate F1 Score CTR
關於模型
關於模型 雙塔模型 (推薦系統) BERT (NLP) CNN (影像/語音辨識)
機器學習⼯程師 ML Ops 模型佈建 統計與 ML 建模 模型推論 機器學習⼯程師的主線技能
SECTION 03 真的有賢者之⽯嗎? 我所看到的真理
沒有賢者之⽯ 任何演算法/模型都有適⽤場景 (LLM 的 fine-tune其實也是滿滿領域知識) 遇到困難⼤家持續溝通和討論 找出 dev 與 po
都可以接受的⽅案
不要被數字騙了 模型成效過好其實很可疑 記得回過頭確認資料集是否有問題 免得上線引入真實資料的模型⼤失所望
數學很重要 • 資料⼯程師: 資料確保 (判讀統計趨勢找問題) • 資料科學家: 統計分析、模型驗證、 A/B 測試
• 機器學習⼯程師: 特徵⼯程、實作演算法或模型
None
None
None