做Data超讚的 誰懂？

- Speaker: Charlie Wang
- Event: 清大資訊科學社企業參訪

Transcript

1. 做Data超讚的 誰懂？
2. Charlie Wang Data Science Team Lead 清大工工 -> 台大商研 2017-2019 : 天下雜誌 2020-2021 : Vpon 2021-Now : LINE TW
3. 01 02 03 如何做數據轉型 如何讓數據發揮槓桿效益 職場上的資料科學家 CONTENT
4. SECTION 01 職場上的 資料科學家
5. 預測模型專案 DS DS DS DS 在學校，你可能負責: EDA Model build Hyper- parameter tuning Evaluation Feature Engineering Error analysis 已知問題 ＋ 既有資料
6. 預測模型專案 進到職場後: DS DE MLE DA PM Biz DS DE DS DS DE DA MLE EDA Model build Hyper- parameter tuning Evaluation Feature Engineering Error analysis Data preparation Scaling Performance Model decay Data drift ?
7. 預測模型專案 進到職場後: DS DE MLE DA PM Biz DS DE DS DS DE DA MLE EDA Model build Hyper- parameter tuning Evaluation Feature Engineering Error analysis Data preparation Scaling Performance Model decay Data drift ? Biz problem ML problem Key metrics How to use 色情貼文辨識 檢舉率 / 曝光量 定期偵測排除 Method 影像辨識 / 社群網絡 找出色情貼文
8. 預測模型專案 進到職場後: DS DE MLE DA PM Biz DS DE DS DS DE DA MLE EDA Model build Hyper- parameter tuning Evaluation Feature Engineering Error analysis Data preparation Scaling Performance Model decay Data drift ? 潛在問題: • 資料散落各地，形同孤島 • 權限控管 • 指標定義不同 • 文件沒有統一格式
9. 預測模型專案 進到職場後: DS DE MLE DA PM Biz DS DE DS DS DE DA MLE EDA Model build Hyper- parameter tuning Evaluation Feature Engineering Error analysis Data preparation Scaling Performance Model decay Data drift 1. 將 [統計指標] 轉換成 [商業指標] 2. 線下與線上測試 ?
10. 預測模型專案 進到職場後: DS DE MLE DA PM Biz DS DE DS DS DE DA MLE EDA Model build Hyper- parameter tuning Evaluation Feature Engineering Error analysis Data preparation Scaling Performance Model decay Data drift 批量預測 或 即時預測 ?
11. 預測模型專案 進到職場後: DS DE MLE DA PM Biz DS DE DS DS DE DA MLE EDA Model build Hyper- parameter tuning Evaluation Feature Engineering Error analysis Data preparation Scaling Performance Model decay Data drift ?
12. 預測模型專案 圖片來源：https://www.tutorialscampus.com/agile/software-development.htm
13. SECTION 02 如何做 數據轉型
14. 使用數據 解決問題 數據創新/改善 收集數據 判斷 創新 數據運營 運營數據 數據轉型 Source: 車品覺, 大數據的關鍵思考
15. 營收(Supply Side) ＝購買人數ｘ客單價 ＝市場大小ｘ市佔率ｘ客單價 ＝(A產品市場大小ｘ市佔率ｘ客單價)+(B產品ｘ…..) ＝超商通路ｘ(….) 商業邏輯建立 對比上下趨勢
16. 小明說今天段考五科平均考80分 你覺得小明考很好還是考很糟？ 商業邏輯建立 對比上下趨勢 要有Benchmark 才能進行判讀！ 跟同班同學比 跟上次段考比 跟去年段考比 對比 下鑽 五科拆開來比 趨勢 近六次段考比 判斷「小明」本身的表現 判斷「不同考題」的影響 排除「季節因素」的影響 判斷「科目強弱」的組成 判斷小明本身「穩定性」與趨勢
17. 商業邏輯建立 對比上下趨勢 小明說今天段考五科平均考80分 你覺得小明考很好還是考很糟？ 要有Benchmark 才能進行判讀！ 跟同班同學比 跟上次段考比 跟去年段考比 對比 下鑽 五科拆開來比 趨勢 近六次段考比 • 小明考得比大多數 同學高 • 過去六次都有相近 表現，但這次名次 稍微退步 • 除了數學60分， 其他都在85分上 下 拉升 • 小明認真唸書 • 小明學習力不錯 • 小明數學可能不好 • 也許可以單看數學近 六次表現 • 判斷是「數學」不拿 手，還是這次數學 「題材」不拿手
18. 使用數據 解決問題 數據創新/改善 收集數據 判斷 創新 數據運營 運營數據 數據轉型 Source: 車品覺, 大數據的關鍵思考
19. Data Cleaning Raw Data Dashboard AI / ML Data Mart 運營數據就像是料理供應鏈 Picture Source: google search
20. Data Cleaning Raw Data Dashboard AI / ML Data Mart 運營數據的關鍵議題 (SCM in Data) 更新頻率 / 儲存 更新同步 / 口徑 商業邏輯維運 運算效能 / 重構 Picture Source: google search
21. Source: https://www.qubole.com/what-is-data-lake/
22. 使用數據 解決問題 數據創新/改善 收集數據 判斷 創新 數據運營 運營數據 Source: 車品覺, 大數據的關鍵思考
23. SECTION 03 如何讓數據 發揮槓桿效益？
24. Data-Driven Decision-Making 有個目標，需要決策： 分配 有限資源 使用經驗作為依據 使用數據
25. 使用數據 解決問題 數據創新/改善 收集數據 判斷 創新 數據運營 運營數據 數據平台 Data-Driven Decision-making Source: 車品覺, 大數據的關鍵思考
26. Data Dev LINE Family Services LINE SHOPPING LINE SPOT LINE MUSIC LINE Sticker LINE VOOM LINE Reward Fact Checker LINE HELP TW LINE Travel NLP Knowledg e Graph Uplift Modeling NER Classifier Duplication Detector Auto completion Keyword Extraction Related Search Text Generation User Tagging Data Analytics Recom- mendation CLV LINE TODAY 而Data Dev Team，就是在思考如何跨服務強化數據賦能
27. Smart Text Source: Penny Sun
28. Smart Text Source: Penny Sun
29. Picture Source: google search 數據平台 Data-Driven Decision-making