LLM 商品規格萃取大冒險- Vila

Transcript

1. LLM 商品規格萃取大冒險 EC Data Lead Vila Lin
2. 01 02 03 04 習得 LLM 魔法 實戰訓練場 寶藏與傳承 序章 CONTENT
3. 01 序章
4. 冒險的招喚 勇敢的資料工程團隊: LINE購物王國正面臨前所未有的挑戰 2000萬件商品資料如迷宮般混亂 消費者無法找到心儀的寶物... 運用魔法，將混沌化為秩序！
5. 現況 商品繁多 維運耗時 廠商多元 商品多樣 非結構化 不易使用
6. 混沌迷宮 傳統規則式 • 規則式維運 => 打地鼠 • 對新品與長尾商品不友善 • 仰賴商家回拋結構化資料
7. 期望與挑戰 • 準確性 • 擴充性 • 成本控管
8. 02 習得 LLM 魔法
9. 構築魔法陣 資料搜集 資料清洗 規格萃取 後處理 驗證評估 生產環境
10. 淨化試煉 • 字元與格式統一 • 抑制結構性雜訊 • 極端樣本處理 • 可觀測性
11. 詠唱學院 • 來源與規格雙層優先序 • 同義異詞擴展 • 福利品/整新品/整修品 • 導入法遵強約束「負向規則」 • 範例驅動
12. 附魔工坊 • 欄位契約與驗證 • 多值拆解 • 單位標準化 • 品牌同義字歸一化
13. 03 實戰訓練場
14. 資源管理所 • Airflow 搭配 Spark • GPT-4o mini • 批次與增量處理
15. 守望者之塔 • 定時異常檢查並即時告警 • 雙重驗證閉環 • Prompt 系統化管理
16. 勝利殿堂 • 準確率：95% • 累積規格：2000 萬+ • 日處理量：120 萬筆 • 成本降低：90%
17. 04 寶藏傳承
18. 智慧聖殿 系統化 品質 驗證 持續 迭代
19. 智慧聖殿 過度相信 LLM 不做 資料清洗 只有 唯一方案