就讓AI幫你帶LINE好運

活動：台大AI社
講者：Maggie Lee, Ray Lu

Transcript

2. 就讓AI幫你帶LINE好運 Data Dev - Ray Lu & Maggie Lee 2024.03.04 上半場
3. Agenda Maggie⾃我介紹 部⾨介紹 新年好運籤專案分享 Ray⾃我介紹 AI專案開發流程 新年好運圖專案分享 上半場 長輩圖元素介紹 實作流程說明 ⽣成長輩圖⽂字 優化⽂字內容 ⽣成長輩圖底圖 優化長輩圖底圖 ⼩組合作+成果分享 下半場 2min 4min 10min 2min 4min 10min 就讓AI幫你帶LINE好運 2min 2min 6min 5min 7min 5min 15min 晚安朋友，⼀起來做端午長輩圖
4. 2016-2020 政⼤中⽂雙資料科學 2021 LINE@Data Dev LINE TECH FRESH 2021-2022 政⼤資科碩⼠ 2019-2020 中研院@CKIP 實習⽣ 2022 Intel@CCG Software Graphics intern 2022-now LINE@Data Dev Machine Learning Engineer Maggie Lee
5. 部⾨介紹
6. 你是否曾在LINE上看到過這些 LINE 貼圖 LINE 貼圖 LINE 購物 LINE 熱點
7. Data Dev LINE Family Services LINE SHOPPING LINE SPOT LINE MUSIC LINE Sticker LINE VOOM LINE Reward Fact Checker LINE HELP TW LINE Travel NLP CV MarTech NER Classifier Duplication Detector Auto completion Keyword Extrac9on Related Search Text Genera9on User Tagging Data Analy,cs Recom- mendaAon CLV/ RFM LINE TODAY 7 Data Dev的任務有哪些 Image Search Social Intelligence UpliB Modeling Sales forecas9ng STT
8. & 我們團隊的使命 8 發掘潛在問題與機會 創造新的產品與商業模式 或企業社會責任 使⽤ DS/ML/AI 理論 技術改善產品並保障 資料使⽤的品質與可信度
9. 新年好運籤專案
10. 10 AI 好運籤 - overview 先選想求的運勢 再選你的解籤師傅
11. 11 運勢等級 籤詩 解籤 會依照使⽤者 所選的運勢種類跟 ⾓⾊來進⾏解籤 ⽣成內容如下 共三個區塊
12. 12 審查內容以品牌⾓度有無不合適性 並包含語意通順度以及是否含有⼤陸⽤語 審查內容是否有著作權相關的疑慮 審查內容是否有包含不當⽤詞 正式上線的⽣成服務 需要考慮什麼 案例⼀ 案例⼆ 案例三
13. 13 將抽象的需求具體化 ⼀個喜歡獨處但討厭孤單的minini 有很多想 法，但後悔沒有付諸⾏動，想要在selini⽣氣的 時候讓他冷靜下來，但從沒成功過 lenini個性討厭孤單，所以⽂字強調「別孤單」 喜歡浪漫，所以⽂字強調「浪漫」且語氣較浪漫 富有同情⼼，不會去評判
14. 安全性 • 為確保未來侵權糾紛以及內容失當所產⽣的糾紛，必須證明是利⽤⽣成式模型 且在⽣成的過程中有極⼒避免爭議情事發⽣ • 建議⽣成的prompt當中帶有以下四項內容： 1. 不可輸出含有侵權之相關內容 2.不可含有不雅詞和違禁品 3.輸出必須為台灣繁體中⽂字及⽤語 4.語句必須符合⼈類邏輯及認知 • 使⽤Google Search來搜尋是否有⼀樣的句⼦/內容 • 使⽤相關套件將字體 簡->繁 14
15. ChatGPT prompt 26計濃縮 1. 不必對LLM客氣，不需要添加像是 “請”，“如果你不介意”，“謝謝”的語句，直接切入主題即可 2.將複雜的任務分解成⼀系列更簡單的提⽰ 3.使⽤肯定的指令，避免使⽤像“不要”這樣的負⾯語⾔。 4.加上 我將給予$xxx的⼩費以換取更好的解決⽅案！（聽說泰勒絲的演唱會⾨票也可以） 5.給出以範例為主的提⽰（few shot） 6.格式化你的提⽰時，開始使⽤###instruction###，接著是###example###或者如果相關的話 接著是###question###。使⽤⼀個或多個換⾏來分隔指⽰、範例、問題、上下⽂ 7. 包含以下短語：你的任務是 和 你必須 8.為⼤型語⾔模型指定⾓⾊ 15
16. 16 ⽂字⽣成的專案需要注意 當需求過於 抽象時 輸出效果 不顯著 輸出字數 難以控制 會有輸出部分 胡說八道 無法理解的情況 在開spec之前，讓我們看⼀下ChatGPT有哪些隱形限制 確定 ChatGPT的 ⽣成良率 決定審查的 ⼈⼒資源 實際⽣成前 請提出需要 檢核的規範
17. 17 1. 要先深入理解⽬標任務所⾯臨的問題 2. 提供的指令越詳細，條件越具體越好 3. 不要期望 ChatGPT 每次能給出最完美的答案 審查時間及⼈⼒也要考慮進去 4. 先準備好⼀套實證有效的⽂案架構 ⼩結
18. ？？？？ 我是誰
19. 學歷 • 國立交通⼤學（2015-2018） • 資訊科學⼯程研究所 碩⼠ • 國立臺北科技⼤學（2011-2015） • 電機⼯程系 學⼠ ⼯作經驗 • LINE • Software Engineer（2021/10-現在） • 資策會 數位轉型研究院 • Software Engineer (2018/09-2021/10) • 中央研究院資訊所 CKIP • Intern （2016/06-2016/09)
20. AI 專案的流程
21. AI 專案的流程 • 釐清問題 • 評估可⾏性 • 提供解法 • 收集 • 整理 • 實驗 • 定義 Metrics • 包裝 API • 優化 • CI/CD • Scalability • Notification • Dashboard 了解需求 準備資料 訓練/測試 模型 包裝 部署 監控
22. AI 專案的流程 了解需求 準備資料 訓練/測試 模型 包裝 部署 監控 模型不夠好
23. AI 專案的流程 了解需求 準備資料 訓練/測試 模型 包裝 部署 監控
24. AI 專案的流程 了解需求 準備資料 訓練/測試 模型 包裝 部署 監控 速度不夠快
25. AI 專案的流程 了解需求 準備資料 訓練/測試 模型 包裝 部署 監控
26. 新年好運圖專案
27. 新年好運圖 - Overview
28. 新年好運圖 - Overview 原圖去背 關鍵字 組合 prompt 並⽣成 結果去背 提⾼解析度 加上外框
29. 新年好運圖 - Data Preparation
30. 新年好運圖 - Stable Diffusion Encoder Decoder Text Encoder 北極熊
31. 新年好運圖 - ControlNet Preprocess ControlNet
32. 新年好運圖 - Prompt Engineering • ⽤哪些關鍵字？ • 關鍵字權重？ • 關鍵字順序？ • 模型的參數？ 了解需求 準備資料 訓練/測試 模型 包裝 部署 監控
33. 新年好運圖 - Test • 預估流量 • 壓⼒測試 了解需求 準備資料 訓練/測試 模型 包裝 部署 監控
34. ⼩結 • 收集/轉換合適的資料 • 訓練/實驗⾃動化 • 壓⼒/效能測試 • 包裝/部署⾃動化
35. 下集預告 端午佳節愉快！ 您好！朋友！
36. 晚安朋友 ⼀起來做端午長輩圖 Data Dev - Ray Lu & Maggie Lee 2024.03.04 下半場
37. 長輩圖元素介紹
38. 你是不是逢年過節 就收到⼀堆長輩圖 端午長輩圖 – Data Preparation
39. 第⼀式 展現智慧，才學型 善意問候，關⼼型 第⼆式 ⽤⽂字表達他的關⼼ 順便暗⽰你很久 沒跟他問安了 字體要⼤ 要鮮豔 要帶有 像詩⼀般 的⽂字 簡單直覺 ⾊彩鮮豔 簡單直覺 利⽤粽⼦最能代表端午 並且放上⼤⼤的端午⼆字 帶有關⼼的⽂字 打不過就加入，⼀起來分析長輩圖 非紅即綠
40. 實作流程說明
41. ⽣成⽂字 確認規格 STEP 1 STEP 2 STEP 3 STEP 4 STEP 5 搜集素材 ⽣成圖片 將⽂字疊圖 讓我們⼀起開始接下來的流程吧 步驟如下 早安！朋友！ 端午佳節快樂！ ⼀張圖片要有兩段⽂字 ⼀段是問好 ⼀段要跟端午 有相關的祝福語 字數15字以內 圖片要有龍⾈ 走寫實風
42. 長輩圖⽂字⽣成
43. 43 ⽂字⽣成⼯具 Groq 近期因⽣成速度快速 ⽽爆紅公司
44. 44 ⽂字⽣成 – 試試看 ⾸先，ChatGPT3.5 眼中長輩圖是什麼 再來思考⼀下： 1. 如何重定義長輩圖 2. ⽣成的風格希望如何 3. 字數上限是多少 4. 以同樣的Prompt⽣成 能穩定達到期望的標準嗎 5 min
45. 45 ⽂字⽣成 – Prompt Optimize 給予few shot [範例⼀] 第⼀層是祝福， 第⼆層是關懷， 第三層是相信， 第四層是溫馨。 [範例⼆] 給您粽量級的祝福 [範例三] 幸福會接粽⽽來
46. 46 ⽂字⽣成 – Prompt Optimize Prompt Perfect 優化Prompt⽤詞及格式 3 min
47. 圖片⽣成 - ⼯具 • RunwayML • StabilityAI • OpenAI • Midjourney
48. 圖片⽣成 - ⼯具
49. 圖片⽣成 - ⼯具 5 min
50. 圖片⽣成 - Prompt Optimize e.g. Close-up polaroid photo of a husky, soft lighting, outdoors, 24mm Nikon Z FX
51. 圖片⽣成 - Prompt Optimize product shot photo of dragon boat, flowers, sunnny day, outdoors, telephoto lens A photo of dragon boat festival
52. 圖片⽣成 - Blending Text 10 min
53. 試試看吧！朋友！
54. 結果分享 端午佳節愉快！ 您好！朋友！ 5 min
55. 實習計劃分享
56. 除了可以學到很多… 掃描 QR code 獲得更多資訊
57. THANK YOU