20241125 - AI 繪圖實戰魔法工作坊 @ 實踐大學

Transcript

1. AI 繪圖實戰魔法 工作坊 AI Art Magic Workshop
2. 關於 — 數據女巫 𝔻.𝕡𝕪𝕤 個人簡介 競賽經歷 聯絡我 個人背景  財金 ＆ 資工 創作特色  絢麗、空靈、破碎感 創作工具  日常以使用自己訓練的 Stable Diffusion 模 型為主  Live Creative Prompting 時會用 Midjourney  2024 技嘉 GIGABYTE｜VS AI 街頭對戰 冠軍  2024 華碩 ASUS 校園 AI 繪圖競賽 亞軍 + 現場最佳人氣 獎  2024 台灣 AI 生成大賽鳥巢盃 十六強  2024 臺灣文化與永續發展：AI 視覺創作之明信片設計競 賽 佳作  2024 華碩 ASUS ProArt AI 時光機 – 狂想童話 佳作  2024 台灣金星設計獎 Taiwan Top Star 特優獎  2024 台灣文化科技大會 TTXC VS AI 街頭對戰 [世界大賽] 亞軍  2024 臺北生成藝術節 佳作  Email: dpys@techmagichouse.art  Instagram: @data_pythoness  Facebook: 數據女巫 𝔻.𝕡𝕪𝕤  Website: techmagichouse.art 01
3. 主流 AI 繪圖工具介紹 02 MidJourney 介紹 Bing Image Creator 介紹 Stable Diffusion 介紹 我的 MJ & SD 作品 AI 繪圖還能做什麼？ 大綱 OUTLINE
4. Stable Diffusion 入門 踏入 Stable Diffusion 的世界 SD 模型與他們的集散地 畫出第一張圖！ 安裝擴充功能 (Extensions) 如何寫出好的 prompt ? 寫不出 prompt 來怎麼辦？ 什麼是 LoRA? 03 大綱 OUTLINE
5. 開源的圖轉影工具 線上的圖轉影工具 1 + 1 >=2 | 實現真正的魔法 04 AI 繪圖對戰比賽介紹 大綱 OUTLINE 2024 台灣 AI 生成大賽＆論壇 2024 華碩校園 AI 繪圖競賽 2024 GIGABYTE｜VS AI 街頭對戰 變出動圖的魔法 使用工具 決定主題 把故事變成現實吧！
6. 主流 AI 繪圖工具介紹 05
7. 主流 AI 繪圖工具 - MidJourney 06 吳淡如，《櫻花貓少女》，2023年2月12 日  由位於美國加州舊金山的同名研究實驗室開發之人工智慧程式  可根據文字生成圖像（text-to-image）  於 2022 年 7 月 12 日進入公開測試階段  使用者可透過 Discord 的機器人指令進行操作或 App 操作 （New in 2023.10） Midjourne y
8. 我的 MJ 作品 07 < 停頓的秒針 > The Paused Second Hand < 遺失的光影 > The Lost Light and Shadow
9. 我的 MJ 作品 08 《天•愛灣 T•AI WAN》 《天•愛灣 T•AI WAN》 是由臺灣文化做為發想的系列作， 這系列的作品要素圍繞在傲視群雄的尖端科技以及作為東亞文化精粹的傳統廟宇上。 此系列的命名靈感來自於 NVIDIA 執行長黃仁勳於 2024 年 6 月所提的「TAIWAN 字母就藏 AI，理當為世界打造 AI 基礎」的意見。 "T" 近於台語的「天」—系列名稱應運而生。 我們希望使觀者能夠從作品的畫面上直觀地感受到臺灣—這座實力被世界低估的島嶼上的多元性。 恰是這兩種看似矛盾的元素，卻能在這座小島上和諧的共存並相互輝映。 • 工具：Midjourney • 修正：Photoshop • 後處理：Stable Diffusion 賽博、蓮花與信仰之所在 三分天注定七分靠打拼 佛法無邊電路板 2024 台灣金星設計獎 特優作品
10. 主流 AI 繪圖工具 - Bing Image Creator 09  就是微軟的 bing  可根據文字生成圖像（text-to-image）  基於 OpenAI 的 DALL-E 模型的先進版本，且已經 整合到新版的 Bing 和 Edge 瀏覽器中  完全免費
11. 主流 AI 繪圖工具 - Stable Diffusion 10  一種基於潛在空間（latent space）的擴散模型 (Diffusion model)  可根據文字生成圖像（text-to-image）  最初由新創公司 StabilityAI、慕尼黑大學的 CompVis 研究團體與 Runway 合作開發  可再細分為 SD 1.5、SD 2.0、SDXL、Flux 等變體 “A photograph of an astronaut riding a horse” stability.ai
12. 我的 SD 作品 11 淨土 《ELYSIUM》
13. 我的 SD 作品 12 幻想曲 《REVERIE》
14. 我的 SD 作品 13 賽博龐克 《CYBERPUNK》
15. AI 繪圖還能做什麼？ 14 設計：自動生成去背 PNG 素材 LayerDiffusion 建築：草圖渲染、線稿上色 電商：換裝換背景 OutfitAnyone ControlNet
16. Stable Diffusion 入門 15
17. 踏入 Stable Diffusion 的世界 Stable Diffusion 是「模型」，而調用這頭巨獸的最簡單方式就是使用 圖形化的介面，因此在使用 Stable Diffusion 時，我們需要有 SD 的模 型本人以及 WebUI，而圖形化介面有非常多的選擇。 16 Stable Diffusion WebUI ComfyUI
18. 踏入 Stable Diffusion 的世界 17 StabilityMatrix
19. 踏入 Stable Diffusion 的世界 18 2. 選擇要裝的 package 3. SD 安裝完成！ 1. (建議) 使用 Portable Mode 安裝 https://techmagichouse.art/how-to-install- stabilitymatrix/
20. SD 模型與他們的 集散地 Civitai 19 https://civitai.com/
21. SD 模型與他們的 集散地 下載動漫模型：MeinaMix 20
22. 畫出第一張圖！ 21 正向 prompt：要的東西 反向 prompt：不要的東西 Prompt -> masterpiece, best quality, 1girl, looking at viewer, flowers, … Negative Prompt -> worst quality, low quality, normal quality, lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, jpeg artifacts, signature, watermark, username, blurry, artist name, … 沒辦法用的同學請使用線上服務 https://tensor.art/
23. 一些可以安裝的擴充功能 (Extensions) 22 把界面弄成繁體中文 自動修臉等等… https://techmagichouse.art/stable- diffusion-webui-recommended- extentions-list/
24. 如何寫出好的 prompt ? 23 人物描述 視角 平視視角 背景 乾淨背景 粉色短髮, 呆毛, 綠色眼睛 角色特徵 微笑, 得意的, 驕傲, 雙手叉腰 正臉, 看著鏡頭, 全身 表情 ＆ 動作 黑色三角形對稱頭飾, 紅色蝴蝶結 黑色及膝學生裙, 金色裝飾 小學生制服, 白色膝上襪 衣服 一個女孩, 蘿莉 10 歲左右的小女孩 大師作品, 最高畫質 品質提示
25. 如何寫出好的 prompt ? 24 人物描述 1個女孩, 蘿莉, 10 歲左右的小女孩 粉色短髮, 呆毛, 綠色眼睛 微笑, 得意的, 驕傲, 雙手叉腰 正臉, 看著鏡頭, 全身 黑色三角形對稱頭飾, 紅色蝴蝶結, 黑色及膝學生裙, 金色裝飾, 小學生制服, 白色膝上襪 可愛, 自信, 動漫風 背景 乾淨背景 品質提示 大師作品, 最高畫質 1 girl, loli, about 10 years old, short pink hair, dull hair, green eyes, smiling, proud, proud, hands on hips, straight face, looking at the camera, whole body, black triangular symmetrical headdress, red bow, black knee-length student Skirt, gold decoration, elementary school uniform, white knee socks, cute, confident, anime style Clear white background Masterpiece, best quality
26. 寫不出 prompt 來怎麼辦？ 25 動用咒語網站 例如 https://tags.novelai.dev/ 反推提詞 SD / MJ，甚至 ChatGPT 都能反推 提詞 多練習 勤能補拙，還能順便練英文 增加背景知識 攝影知識的中英對照詞彙等
27. 什麼是 LoRA? 26 好像哪裡怪怪的？ 不太像…
28. 什麼是 LoRA? Hu 等人（2022）提出了低秩適應（Low-Rank Adaptation, LoRA） 如圖 右，這是一種透過凍結 Transformer 的原始權重並在各層中加入可訓練的 低秩分解矩陣以達到減少訓練參數的技術。 在圖右中，左邊的 Pretrain Weights 代表原始預訓練模型的權重，它是一 個 d×d 維的矩陣，右邊的黃色區塊則是由兩個低秩矩陣組成，下面的A矩陣 的維度是d×r，而上面的B矩陣則是 r×d。在微調之前，A 會被初始化成隨 機的小數值，而 B 矩陣為一個數值全 0 的矩陣，在微調的過程中，模型會學 習並慢慢更新 A 與 B 中的數值，使得兩矩陣的乘積逐漸逼近原始的模型權 重。 這種技術相較於傳統的全參數微調來說，可以極大幅的減少訓練參數至一萬 倍以及大幅減少 GPU 的 VRAM 使用量至三倍。此外，在 GPT-2 與 GPT-3 的模型中，他們方法的效果甚至超越了全參數微調。 27 LoRA: Low-Rank Adaptation of Large Language Models
29. 什麼是 LoRA? 28 1個女孩, 蘿莉, 10 歲左右的小女孩 粉色短髮, 呆毛, 綠色眼睛 微笑, 得意的, 驕傲, 雙手叉腰 正臉, 看著鏡頭, 全身 黑色三角形對稱頭飾, 紅色蝴蝶結, 黑色及 膝學生裙, 金色裝飾, 小學生制服, 白色膝 上襪 可愛, 自信, 動漫風 (anya_forger_spyxfamily:1.1), <lora:anya_forger_spyxfamily:0.8>, Seed: 4090511812
30. 什麼是 LoRA? LoRA 模型：安妮亞 Anya 29
31. 什麼是 LoRA? 30 Seed: 4090511812 best quality, masterpiece, highres, solo, (anya_forger_spyxfamily:1.1), 1girl, child, hairpods, looking at viewer, meme, indoors, peeking out, anime_style, 5, <lora:anya_forger_spyxfamily:0.8>, 不好的 LoRA： 過度擬合 （overfitting） 長的太像原始圖片的 資料集，完全沒有泛 化效果
32. AI 繪圖對戰 比賽介紹 31
33. 2024 台灣 AI 生成 大賽＆論壇 32 比賽網址： https://contest.bhuntr.com/tw/aiarttw/home/#limit  性質：私人比賽  主辦單位：鳥巢  指定 AI 繪圖平台：不限  賽程  初賽  方式：線上投票（不影響入選與否）  舉辦時間：03/04～04/01  複賽＋準決賽＋決賽  方式：實體  舉辦時間：4/27
34. 初賽 – 投票 & 抽獎 33 初賽 – 投票 & 抽獎  人氣前二：繪圖板（3000 以下）  投票者：抽 AI 繪圖書 投票規則  每日一票
35. 複賽 & 決賽 – 講座 & 比賽 34 評分：由 4 位評審團打分數，加總最高者勝利 人數：複賽 80 位以上，決賽取 16 位 題目：由 GPT 出的 複賽  關卡：一戰  題數：三題  限時：15 分鐘 準決賽  關卡：一戰  題數：一題  限時： 4 分鐘 決賽  關卡：三戰兩勝  題數：一題  限時： 4 分鐘
36. 比賽獎品 35
37. 2024 華碩校園 AI 繪圖競賽 36 比賽網址： https://bhuntr.com/tw/competitions/jvhwmdggjiucist md6  性質：公司比賽  主辦單位：華碩 ASUS  指定 AI 繪圖平台：Stable Diffusion  賽程  初賽  方式：主辦方線上審核，交 SD 原件  舉辦時間：03/25～04/10  準決賽＋決賽  方式：實體，分北中南三場  舉辦時間：4/21 & 5/26
38. 複賽 – 講座 & 比賽 37  評分：評審團根據各分面評分  題目：「我的電競 AI 同學」  人數：台北場共五組，十取一進決賽  限時：15 分鐘，並且有兩分鐘闡述作品理念  抽獎：參加講座可獲得 ASUS 筆電 評分項目 佔比 創意和原創性 50% Prompt表現法 20% 作品完整性 15% 適應主題 15%
39. 比賽獎品 38
40. 2024 GIGABYTE｜ VS AI 街頭對戰 39 比賽網址：https://gigabyteai.bhuntr.com/tw/home/  性質：公司比賽  主辦單位：技嘉 GIGABYTE + Dimension Plus 初未來，第二年舉 辦  指定 AI 繪圖平台：Midjourney  賽程  初賽  方式：主辦方線上審核選 32 強  題目：如果人生可以升級，你會……? If life could be upgraded, you would……?  舉辦時間：04/22～05/05  複賽＋準決賽  方式：線上，全程直播  關卡：  32 強 -> 16 強：一關  16 強 -> 8 強：三戰兩勝  舉辦時間：5/18  決賽  方式：實體，有專用街機  舉辦時間： 6/1
41. 複賽 – 講座 & 比賽 40  評分：評審團多數決  題目：VS AI 系統提供  人數：32 強取 8 強，8 強實體打決賽  限時：200 秒 （3 分鐘半左右）  抽獎：人氣投票、線上觀戰與預測冠軍皆有獎項
42. 決賽 – 直播電競比賽 41  街機樣式的電腦（其實就是 Discord 介面）…  目前可以拿來做這個 VS AI 的比賽也可以做雙 人對戰，贏輸由 AI 評分 你好，人類！Hello, Human! ＠ 臺北當代藝術館 《VS AI 街頭對戰》由系統產生題目，兩座獨 立人工智慧文生圖的遊戲機台，針對系統的題 目，自動做出回應，彼此競賽產生圖像，並且 說明解釋生圖的想法（原因）。 機台之間狀似機辯問答，不停地以文字與影像 生成對戰回應，沒人知道人工智慧如此不間斷 地問與答下的最終產物，是否能逼近智慧的本 質？或更見其人工智慧狹隘的文字與圖像碎片 拼貼？
43. 比賽獎品 42
44. 變出動圖的魔法 43
45. 開源的圖轉影工具 44 Animatediff （文字 or 圖片轉影片） 線上 Demo：AnimateDiff-Lightning 「窗隙外的天空的雲模糊了記憶。」 “The clouds in the sky outside the window blur the memory.” 「我生命之花冠飾於你明天的鬢端。」 “The flower crown of my life will adorn your temples tomorrow.”
46. 線上的圖轉影工具 45 Runway Gen-2（圖轉影片） 恐怖慎入
47. 線上的圖轉影工具 46 Runway Gen-3（圖轉影片） 首幀 尾幀
48. 線上的圖轉影工具 47 Viggle（圖片轉跳舞） https://www.youtube.com/shorts/7j_okAxjR0k
49. 1 + 1 >=2 | 實現真正的魔法 48 Kling（可靈 AI）＋ Suno 配樂 + Capcut 剪輯 & 特 效 https://youtu.be/JX28dxEAVd0?si=hGT3yZipSJS8XUmZ
50. 來做點故事吧！ 49
51. IMAGE Stable Diffusion, Midjourney, Bing VIDEO Runway, Kling (可靈), Vidu 50 MUSIC Suno FILM Adobe Premiere Pro / Capcut (剪映) Adobe After Effect
52. 決定主題！ 51 線上抽籤：https://www.toolskk.com/ballot  當代魔法學校: 學生們在一所現代魔法學校學習如何使用魔法解決日常問題， 例如怎樣用魔法加速上網速度，或者讓咖啡自動加熱。  時間旅行的誤會: 一位學生意外撿到了一台不定時觸發的時間機器，害他他 每天醒來時都處於不同的歷史時期，並必須適應當時的生活與文化。  超級英雄的日常: 描述一個超級英雄在平凡工作中的日常生活，例如超速英 雄在郵局工作結果把信都炸光了，或者會隱身的英雄在圖書館整理書籍。  幽默科技啟動公司: 一群學生創建了一家科技啟動公司，專門開發奇怪且不 實用的產品，例如自動綁鞋帶機器人或永不翻頁的電子書閱讀器。  寵物語言翻譯器: 一位學生發明了一種能讓動物說話的裝置，但動物們說出 的話卻出人意料地幽默和尷尬。  偵探俱樂部的奇案: 一群學生組成的偵探俱樂部解決校園內外的各種奇特和 幽默的案件，例如調查誰吃掉了教室的零食。  魔幻食譜大賽: 學生們參與一個魔幻食譜比賽，使用各種奇怪的食材和法術 來創造出意想不到的菜餚和甜點。 OR
53. CONTACT ME  Email: dpys@techmagichouse.art  Instagram: @data_pythoness  Facebook: 數據女巫 𝔻.𝕡𝕪𝕤  Website: techmagichouse.art 52