Tweet
Tweet

Slide 1

Slide 1 text

Gemma 初體驗 Johnny Sung

Slide 2

Slide 2 text

No content

Slide 3

Slide 3 text

Full stack developer Johnny Sung (宋岡諺) https://fb.com/j796160836 https://blog.jks.co ff ee/ https://www.slideshare.net/j796160836 https://github.com/j796160836

Slide 4

Slide 4 text

大 綱 •Gemma 介紹 •AI 語 言 模型 大比 拼 •如何取得？ •如何架設？

Slide 5

Slide 5 text

https://medium.com/@dilipkashyap15/googles-new-ai-model-gemini-now-available-in-bard-here-is-how-to-use-259386d6bd68

Slide 6

Slide 6 text

https://ai.google.dev/gemma?hl=zh-tw#gemma-2

Slide 7

Slide 7 text

Gemma 家族 •Gemma：熟知類似 Gemini 的開源模型 •CodeGemma：Gemma for coding •PaliGemma：圖形識別 •RecurrentGemma：根據 Gri ff i n 是 一 種混合型模型架構 •ShieldGemma：加強安全性與規範的版本

Slide 8

Slide 8 text

AI 大比 拼 https://www.storm.mg/lifestyle/3901220

Slide 9

Slide 9 text

評選標準 •GPU 卡跑得動 •繁體中 文 •通 用 性佳

Slide 10

Slide 10 text

GPU 跑不跑得動？ https://huggingface.co/spaces/Vokturz/can-it-run-llm （推論） （vRAM 大小 ） （模型 大小 ）

Slide 11

Slide 11 text

https://huggingface.co/spaces/Vokturz/can-it-run-llm

Slide 12

Slide 12 text

https://huggingface.co/spaces/Vokturz/can-it-run-llm

Slide 13

Slide 13 text

https://huggingface.co/spaces/Vokturz/can-it-run-llm

Slide 14

Slide 14 text

選 手 介紹 Gemma-2-9B TAIDE-LX-8B MR Breeze-7B TAIDE 計畫是由財團法 人 國 家實驗研究院 (國研院) 致 力 於開發符合台灣語 言 和 文 化特性的 生 成式 人工 智慧 對話引擎模型 基於 Llama3 開發並建置 聯發創新基地 (MediaTek Research) 基於 Mistral-7B 開發出 開源的 MediaTek Research Breeze-7B 模型 採 用 與建 立 Gemini 模型時 相同的研究成果和技術， 開源 LLM 模型 https://huggingface.co/chienweichang/Llama3-TAIDE-LX-8B-Chat-Alpha1-GGUF https://huggingface.co/MediaTek-Research/Breeze-7B-Instruct-v1_0 https://huggingface.co/google/gemma-2-9b

Slide 15

Slide 15 text

No content

Slide 16

Slide 16 text

No content

Slide 17

Slide 17 text

No content

Slide 18

Slide 18 text

No content

Slide 19

Slide 19 text

No content

Slide 20

Slide 20 text

No content

Slide 21

Slide 21 text

No content

Slide 22

Slide 22 text

https://www.facebook.com/coolermasterTW/photos/%E4%BD%A0%E7%9A%84-4090-%E5%8F%AF%E4%BB%A5%E7%9C%8B-youtube%E6%88%91%E7%9A%84-cpu-%E5%85%A7%E9%A1%AF%E4%B9%9F%E5%8F%AF%E4%BB%A5%E7%9C%8B-youtube%E6%88%91%E5%80%91%E4%B9%8B%E9%96%93%E6%B2%92%E6%9C%89%E5%B7%AE%E5%88%A5%E5%B0%8D%E5%90%A7-coolermaster-makeityours-%E6%A2%97%E5%9C%96-%E5%B7%AE/862187132789920/

Slide 23

Slide 23 text

如何取得？ • 自己 架 •Vertex AI •Google AI Studio

Slide 24

Slide 24 text

Vertex AI Google Ai Studio https://makersuite.google.com/ https://console.cloud.google.com/vertex-ai/generative/ language/create/text

Slide 25

Slide 25 text

自己 架？No Way

Slide 26

Slide 26 text

首 先，你要有張 NVIDIA 的卡 （誤）

Slide 27

Slide 27 text

https://www.bankrate.com/investing/what-is- fi at-money/

Slide 28

Slide 28 text

不 用 啦！ 用 Google Cloud 就好 ☺

Slide 29

Slide 29 text

自己 架 •Ollama https://ollama.com/ •Open webui https://openwebui.com/ •Kubernetes (K8s) •NVIDIA GPU Operator • …

Slide 30

Slide 30 text

https://ollama.com/download

Slide 31

Slide 31 text

踩到的雷 •GPU 的分割 方 式 •GPU 不 小心 被佔滿 •docker-compose 注意 GPU 數量

Slide 32

Slide 32 text

Q & A https://pixabay.com/illustrations/universe-person-silhouette-stars-1044107/