就讓AI幫你帶LINE好運

Slide 1

Slide 1 text

No content

Slide 2

Slide 2 text

就讓AI幫你帶LINE好運 Data Dev - Ray Lu & Maggie Lee 2024.03.04 上半場

Slide 3

Slide 3 text

Agenda Maggie⾃我介紹部⾨介紹新年好運籤專案分享 Ray⾃我介紹 AI專案開發流程新年好運圖專案分享上半場長輩圖元素介紹實作流程說明⽣成長輩圖⽂字優化⽂字內容⽣成長輩圖底圖優化長輩圖底圖⼩組合作+成果分享下半場 2min 4min 10min 2min 4min 10min 就讓AI幫你帶LINE好運 2min 2min 6min 5min 7min 5min 15min 晚安朋友，⼀起來做端午長輩圖

Slide 4

Slide 4 text

2016-2020 政⼤中⽂雙資料科學 2021 LINE@Data Dev LINE TECH FRESH 2021-2022 政⼤資科碩⼠ 2019-2020 中研院@CKIP 實習⽣ 2022 Intel@CCG Software Graphics intern 2022-now LINE@Data Dev Machine Learning Engineer Maggie Lee

Slide 5

Slide 5 text

部⾨介紹

Slide 6

Slide 6 text

你是否曾在LINE上看到過這些 LINE 貼圖 LINE 貼圖 LINE 購物 LINE 熱點

Slide 7

Slide 7 text

Data Dev LINE Family Services LINE SHOPPING LINE SPOT LINE MUSIC LINE Sticker LINE VOOM LINE Reward Fact Checker LINE HELP TW LINE Travel NLP CV MarTech NER Classiﬁer Duplication Detector Auto completion Keyword Extrac9on Related Search Text Genera9on User Tagging Data Analy,cs Recom- mendaAon CLV/ RFM LINE TODAY 7 Data Dev的任務有哪些 Image Search Social Intelligence UpliB Modeling Sales forecas9ng STT

Slide 8

Slide 8 text

& 我們團隊的使命 8 發掘潛在問題與機會創造新的產品與商業模式或企業社會責任使⽤ DS/ML/AI 理論技術改善產品並保障資料使⽤的品質與可信度

Slide 9

Slide 9 text

新年好運籤專案

Slide 10

Slide 10 text

10 AI 好運籤 - overview 先選想求的運勢再選你的解籤師傅

Slide 11

Slide 11 text

11 運勢等級籤詩解籤會依照使⽤者所選的運勢種類跟⾓⾊來進⾏解籤⽣成內容如下共三個區塊

Slide 12

Slide 12 text

12 審查內容以品牌⾓度有無不合適性並包含語意通順度以及是否含有⼤陸⽤語審查內容是否有著作權相關的疑慮審查內容是否有包含不當⽤詞正式上線的⽣成服務需要考慮什麼案例⼀案例⼆案例三

Slide 13

Slide 13 text

13 將抽象的需求具體化⼀個喜歡獨處但討厭孤單的minini 有很多想法，但後悔沒有付諸⾏動，想要在selini⽣氣的時候讓他冷靜下來，但從沒成功過 lenini個性討厭孤單，所以⽂字強調「別孤單」喜歡浪漫，所以⽂字強調「浪漫」且語氣較浪漫富有同情⼼，不會去評判

Slide 14

Slide 14 text

安全性 • 為確保未來侵權糾紛以及內容失當所產⽣的糾紛，必須證明是利⽤⽣成式模型且在⽣成的過程中有極⼒避免爭議情事發⽣ • 建議⽣成的prompt當中帶有以下四項內容： 1. 不可輸出含有侵權之相關內容 2.不可含有不雅詞和違禁品 3.輸出必須為台灣繁體中⽂字及⽤語 4.語句必須符合⼈類邏輯及認知 • 使⽤Google Search來搜尋是否有⼀樣的句⼦/內容 • 使⽤相關套件將字體簡->繁 14

Slide 15

Slide 15 text

ChatGPT prompt 26計濃縮 1. 不必對LLM客氣，不需要添加像是 “請”，“如果你不介意”，“謝謝”的語句，直接切入主題即可 2.將複雜的任務分解成⼀系列更簡單的提⽰ 3.使⽤肯定的指令，避免使⽤像“不要”這樣的負⾯語⾔。 4.加上我將給予$xxx的⼩費以換取更好的解決⽅案！（聽說泰勒絲的演唱會⾨票也可以） 5.給出以範例為主的提⽰（few shot） 6.格式化你的提⽰時，開始使⽤###instruction###，接著是###example###或者如果相關的話接著是###question###。使⽤⼀個或多個換⾏來分隔指⽰、範例、問題、上下⽂ 7. 包含以下短語：你的任務是和你必須 8.為⼤型語⾔模型指定⾓⾊ 15

Slide 16

Slide 16 text

16 ⽂字⽣成的專案需要注意當需求過於抽象時輸出效果不顯著輸出字數難以控制會有輸出部分胡說八道無法理解的情況在開spec之前，讓我們看⼀下ChatGPT有哪些隱形限制確定 ChatGPT的⽣成良率決定審查的⼈⼒資源實際⽣成前請提出需要檢核的規範

Slide 17

Slide 17 text

17 1. 要先深入理解⽬標任務所⾯臨的問題 2. 提供的指令越詳細，條件越具體越好 3. 不要期望 ChatGPT 每次能給出最完美的答案審查時間及⼈⼒也要考慮進去 4. 先準備好⼀套實證有效的⽂案架構⼩結

Slide 18

Slide 18 text

？？？？我是誰

Slide 19

Slide 19 text

學歷 • 國立交通⼤學（2015-2018） • 資訊科學⼯程研究所碩⼠ • 國立臺北科技⼤學（2011-2015） • 電機⼯程系學⼠⼯作經驗 • LINE • Software Engineer（2021/10-現在） • 資策會數位轉型研究院 • Software Engineer (2018/09-2021/10) • 中央研究院資訊所 CKIP • Intern （2016/06-2016/09)

Slide 20

Slide 20 text

AI 專案的流程

Slide 21

Slide 21 text

AI 專案的流程 • 釐清問題 • 評估可⾏性 • 提供解法 • 收集 • 整理 • 實驗 • 定義 Metrics • 包裝 API • 優化 • CI/CD • Scalability • Notification • Dashboard 了解需求準備資料訓練/測試模型包裝部署監控

Slide 22

Slide 22 text

AI 專案的流程了解需求準備資料訓練/測試模型包裝部署監控模型不夠好

Slide 23

Slide 23 text

AI 專案的流程了解需求準備資料訓練/測試模型包裝部署監控

Slide 24

Slide 24 text

AI 專案的流程了解需求準備資料訓練/測試模型包裝部署監控速度不夠快

Slide 25

Slide 25 text

AI 專案的流程了解需求準備資料訓練/測試模型包裝部署監控

Slide 26

Slide 26 text

新年好運圖專案

Slide 27

Slide 27 text

新年好運圖 - Overview

Slide 28

Slide 28 text

新年好運圖 - Overview 原圖去背關鍵字組合 prompt 並⽣成結果去背提⾼解析度加上外框

Slide 29

Slide 29 text

新年好運圖 - Data Preparation

Slide 30

Slide 30 text

新年好運圖 - Stable Diffusion Encoder Decoder Text Encoder 北極熊

Slide 31

Slide 31 text

新年好運圖 - ControlNet Preprocess ControlNet

Slide 32

Slide 32 text

新年好運圖 - Prompt Engineering • ⽤哪些關鍵字？ • 關鍵字權重？ • 關鍵字順序？ • 模型的參數？了解需求準備資料訓練/測試模型包裝部署監控

Slide 33

Slide 33 text

新年好運圖 - Test • 預估流量 • 壓⼒測試了解需求準備資料訓練/測試模型包裝部署監控

Slide 34

Slide 34 text

⼩結 • 收集/轉換合適的資料 • 訓練/實驗⾃動化 • 壓⼒/效能測試 • 包裝/部署⾃動化

Slide 35

Slide 35 text

下集預告端午佳節愉快！您好！朋友！

Slide 36

Slide 36 text

晚安朋友⼀起來做端午長輩圖 Data Dev - Ray Lu & Maggie Lee 2024.03.04 下半場

Slide 37

Slide 37 text

長輩圖元素介紹

Slide 38

Slide 38 text

你是不是逢年過節就收到⼀堆長輩圖端午長輩圖 – Data Preparation

Slide 39

Slide 39 text

第⼀式展現智慧，才學型善意問候，關⼼型第⼆式⽤⽂字表達他的關⼼順便暗⽰你很久沒跟他問安了字體要⼤要鮮豔要帶有像詩⼀般的⽂字簡單直覺⾊彩鮮豔簡單直覺利⽤粽⼦最能代表端午並且放上⼤⼤的端午⼆字帶有關⼼的⽂字打不過就加入，⼀起來分析長輩圖非紅即綠

Slide 40

Slide 40 text

實作流程說明

Slide 41

Slide 41 text

⽣成⽂字確認規格 STEP 1 STEP 2 STEP 3 STEP 4 STEP 5 搜集素材⽣成圖片將⽂字疊圖讓我們⼀起開始接下來的流程吧步驟如下早安！朋友！端午佳節快樂！⼀張圖片要有兩段⽂字⼀段是問好⼀段要跟端午有相關的祝福語字數15字以內圖片要有龍⾈走寫實風

Slide 42

Slide 42 text

長輩圖⽂字⽣成

Slide 43

Slide 43 text

43 ⽂字⽣成⼯具 Groq 近期因⽣成速度快速⽽爆紅公司

Slide 44

Slide 44 text

44 ⽂字⽣成 – 試試看⾸先，ChatGPT3.5 眼中長輩圖是什麼再來思考⼀下： 1. 如何重定義長輩圖 2. ⽣成的風格希望如何 3. 字數上限是多少 4. 以同樣的Prompt⽣成能穩定達到期望的標準嗎 5 min

Slide 45

Slide 45 text

45 ⽂字⽣成 – Prompt Optimize 給予few shot [範例⼀] 第⼀層是祝福，第⼆層是關懷，第三層是相信，第四層是溫馨。 [範例⼆] 給您粽量級的祝福 [範例三] 幸福會接粽⽽來

Slide 46

Slide 46 text

46 ⽂字⽣成 – Prompt Optimize Prompt Perfect 優化Prompt⽤詞及格式 3 min

Slide 47

Slide 47 text

圖片⽣成 - ⼯具 • RunwayML • StabilityAI • OpenAI • Midjourney

Slide 48

Slide 48 text

圖片⽣成 - ⼯具

Slide 49

Slide 49 text

圖片⽣成 - ⼯具 5 min

Slide 50

Slide 50 text

圖片⽣成 - Prompt Optimize e.g. Close-up polaroid photo of a husky, soft lighting, outdoors, 24mm Nikon Z FX

Slide 51

Slide 51 text

圖片⽣成 - Prompt Optimize product shot photo of dragon boat, flowers, sunnny day, outdoors, telephoto lens A photo of dragon boat festival