Tweet
Tweet

Slide 1

Slide 1 text

揭秘LLMOps: 讓LLM服務像火箭 般穩定高效的祕密!

Slide 2

Slide 2 text

Maggie Lee LINE Taiwan, Machine Learning Engineer Education: 國立政治大學 中文系學士/ 資科系碩士 Specialty: • Machine Learning • Large Language Model • Knowledge Graph

Slide 3

Slide 3 text

iThome CIO 21%↑ 各企業優先目標大改變 用AI強化分析與決策 20%↑ 用AI創新應用與服務

Slide 4

Slide 4 text

iThome CIO 35% 各企業優先目標大改變 用AI強化分析與決策 41% 用AI創新應用與服務

Slide 5

Slide 5 text

iThome CIO 37% 47% 加強企業數位轉型 提高員工生產力 採用GAI目的大調查

Slide 6

Slide 6 text

01 02 03 04 Faster Time to Market 如何優化合作模式 Reliability and Quality 如何快速打造可靠的服務 Regulatory Compliance and Ethics 法規與倫理面的實際方案 LLMOps流程上存有什麼挑戰 05 總結 CONTENT

Slide 7

Slide 7 text

01 LLMOps流程上 存有什麼挑戰

Slide 8

Slide 8 text

MLOps到LLMOps流程/合作再進化 提升效率 看重商業價值創造 工程上需要LLM 即時支援use case LLM作為生產力增強器 1234 特點項目文字 特點項目 安全性 穩定性 紀錄prompt各 版本的表現差異 維持服務穩定性 服務安全性不只有 避免輸出歧視 還有更多可用工具

Slide 9

Slide 9 text

訓練模型的機會減少後 實驗有被好好紀錄嗎 2100 特點項目文字 特點項目 準確性成為LLM的關鍵因素 穩定性 紀錄prompt各 版本的表現差異 維持服務穩定性 安全性 服務安全性不只有 避免輸出歧視 還有更多可用工具 看重商業價值創造 工程上需要LLM 即時支援use case 提升效率

Slide 10

Slide 10 text

屬於GenAI LLMOps獨有的挑戰 LLM道德和法律愈發重要 安全性 服務安全性不只有 避免輸出歧視 還有更多可用工具 穩定性 紀錄prompt各 版本的表現差異 維持服務穩定性 看重商業價值創造 工程上需要LLM 即時支援use case 提升效率

Slide 11

Slide 11 text

02 Faster Time to Market 如何優化合作模式

Slide 12

Slide 12 text

文字生成開發流程 將任務轉換 成Prompt 深入瞭解 問題 優化模型 輸出品質 對內容進行 自動化審查 對內容進行 人工檢查 BO Legal Engineer PM Engineer Engineer Engineer BO Legal Engineer ？？？？

Slide 13

Slide 13 text

Select Foundational Model Evaluate Results Prompt Engineering Room for improvement Deploy to Production Enough Resource RAG Fine-tuning

Slide 14

Slide 14 text

以客服案件分類解釋器為例 不好意思 我在認證電話號碼時 無法收到認證碼（簡訊） 我該怎麼辦？ Input 標籤: 政策 原因： 電話號碼內的Auth Penalty History因用戶多 次認證被鎖定，無法完成 簡訊認證 Output 分類客訴案件 讓客服團隊可以快速統整 服務需要優化的地方 標籤有 產品、政策、活動、 系統問題、客服營運問題

Slide 15

Slide 15 text

R&R 混亂 完蛋！效能越改 越低怎麼辦 我覺得這個 prompt跟我分類 定義不一樣 我要修改prompt 以客服案件分類解釋器為例

Slide 16

Slide 16 text

將Prompt以CO-STAR 切分任務 Context Objective Style Tone Audience Response 以客服案件分類解釋器為例 Provider Engineer Engineer BO Engineer BO BO confirmer BO Engineer Engineer Engineer Engineer Engineer

Slide 17

Slide 17 text

快速建立POC 決定是否使用 RAG or tuning 若準確度/正確度 低於60% 嘗試加入 model based solution 討論服務 可接受的表現 與團隊討論預期效能 建議落在當前 平均表現正負10% R&R 混亂 優化到 什麼程度 完蛋！效能越改 越低怎麼辦 我覺得這個 prompt跟我分類 定義不一樣 我要修改prompt 以客服案件分類解釋器為例 我希望這個服務達 到90%的準確率 這個服務我有辦 法達到嗎？

Slide 18

Slide 18 text

快速建立POC 決定是否使用 RAG or tuning 若準確度/正確度 低於60% 嘗試加入 model based solution 討論服務 可接受的表現 與團隊討論預期效能 建議落在當前 平均表現正負10% 整合服務 R&R 混亂 優化到 什麼程度 控制output 格式 完蛋！效能越改 越低怎麼辦 我覺得這個 prompt跟我分類 定義不一樣 我要修改prompt 以客服案件分類解釋器為例 我希望這個服務達 到90%的準確率 這個服務我有辦 法達到嗎？

Slide 19

Slide 19 text

03 Reliability and Quality 如何快速打造 可靠的服務

Slide 20

Slide 20 text

Make it more easy Select Foundational Model Evaluate Results Prompt Engineering Room for improvement Deploy to Production Upload Test data

Slide 21

Slide 21 text

集中管理 – 方便管理不同project的prompt，提升效率。 Why use open-source LLMOps platform

Slide 22

Slide 22 text

成本透明- 開發專案需要多少金額清清楚楚 Why use open-source LLMOps platform

Slide 23

Slide 23 text

一目瞭然 - 簡化的prompt編輯和版本管理 Why use open-source LLMOps platform

Slide 24

Slide 24 text

紀錄不同prompt版本表現及差異 Why use open-source LLMOps platform

Slide 25

Slide 25 text

Input Prompt template metadata Upload test data Create mlflow exp. Execute predict & evaluation Log template and performance Do retriever Input retriever metadata exp. Is exist • Prompt name • environmentName • X-Pezzo-Api-Key • X-Pezzo-Project-Id Edit prompt & deploy • DB connection info • Index name • 搜索的input對到test data的哪個欄位 Yes No Prompt name Prompt VersionSha model date score filename note 客服分類器V1 f9dfb462b52 gpt-4o 2024-08-28 0.853 8M-2W.csv 更改event定義 客服分類器V1 k8ehf452a34 gpt-4o 2024-08-27 0.749 8M-1W.csv 增加輸出繁體中文 • exp. name: {prompt_id} • Run_id: {promptVersionSha}-{date-string}

Slide 26

Slide 26 text

04 Regulatory Compliance and Ethics 法規與倫理面的 實際解決方案

Slide 27

Slide 27 text

AI 法案基本原則 七大 基本 原則 永續 發展 人類 自主 隱私 保護 透明 可解釋 資訊 安全 問責 隱私 保護

Slide 28

Slide 28 text

AI 法案基本原則 七大 基本 原則 永續 發展 人類 自主 隱私 保護 透明 可解釋 資訊 安全 問責 隱私 保護

Slide 29

Slide 29 text

Regulation Check 廣告文案生成 輸出文案就夠了嗎 單身男士進！女孩尋找伴 侶，可深處了解約會 預防高血壓中風腦溢血心 肌梗塞？中醫有解！ 十年白髮變黑 竟靠這個小玩意 帶有情色以及 性暗示內容 過度宣稱療效 涉及改變身體外觀 例如：使頭髮烏黑。

Slide 30

Slide 30 text

Regulation Check 法規 • 化粧品標示宣傳廣告涉及虛偽誇大或醫療效能認定準則 • 藥品廣告法令及審查原則 • 食品衛生管理法….. 可用詞/ 不可宣稱詞 • 涉及影響生理機能或改變身體結構之詞句 • 化妝品得宣稱詞句例示及不適當宣稱詞句列舉 • 食品通常可使用之詞句… 內部規則 • LINE Logo 規範 • 色情裸露 • 不當內容… 過往審核結果 • 搜尋相似的廣告來參考過往審核結果

Slide 31

Slide 31 text

Regulation Check 生成 廣告文案 Spam keyword Detection 廣告文案及 對應審查結果 歷史資料 Regulation Check 是否通過 採用 是否通過

Slide 32

Slide 32 text

System guard input System guard System guard LLM Generative model output Prompt hacking ML Commons AI Safety ML Commons AI Safety Regulation check

Slide 33

Slide 33 text

Takeaway 01 02 03 串接 pezzo + Mlflow + gradio 輕鬆紀錄每次實驗 防止Prompt hacking / 增加AI common security Check / 法規檢查 串接開源LLMOps服務 實驗一指到位 針對LLM輸入及輸出安全主動出擊 文字生成專案 寫prompt不單是一個任務 以CO-STAR 切分子任務 開發優先順序/驗收對象一目瞭然

Slide 34

Slide 34 text

No content