Slide 1
Slide 1 text
Wakuwaku!!!!!! 原來⾃然語⾔可以這樣玩
Danny Lo
2023/06/09
Slide 2
Slide 2 text
Danny Lo
Data Dev, TECH FRESH
• NTU CSIE
• Research Assistant @MSLAB
• LINE TECH FRESH @LINE Data Dev
Slide 3
Slide 3 text
Large Language Model …?
※ Source: generated by Midjourney
給語言模型大量資料，期待他能展現超越小型語言
模型的文本理解和生成能力
Slide 4
Slide 4 text
準備⼯作
Model
Data Device
Slide 5
Slide 5 text
建立 NLP pipeline
Data preparation
Model
training
Model
Evaluation
Model
Validation
Model
Analysis
Slide 6
Slide 6 text
事情似乎沒有那麼容易
• 資料量不足，特別是中文的文本和訓練集
• Error: CUDA out of memory. 👊 👊 👊
• 訓練時間過長
• 模型表現不如預期
※ Source: generated by Midjourney
Slide 7
Slide 7 text
解決⽅法
Slide 8
Slide 8 text
AS-IS
專案切換
效率低落
※ Source: generated by Midjourney
Slide 9
Slide 9 text
TO-BE
Context Switch
※ Source: generated by Midjourney
Slide 10
Slide 10 text
THANK YOU