Slide 1

Slide 1 text

Building applications in the Gemini API family.

Slide 2

Slide 2 text

Evan Lin Engineering Director of LINE Taiwan Developer Relations Go & Cloud AI GDE LINE Platform Evangelist TECH FRESH People Manager

Slide 3

Slide 3 text

P A R T 0 1 Gemini API 2026 重點更新。 重點不是模型又變強了。重點是——Google 終於把 Gemini API 「從一個 endpoint 做 成一個應用平台」這件事認真做了。

Slide 4

Slide 4 text

C A P A B I L I T Y MA P Gemini API 家族 —— 全景圖。 模型是引擎,工具才是讓你能蓋出產品的鋼骨。 MODELS Gemini 3.5 GENERATION 文字 · 圖像 · 多模態 generateContent Function calling Structured output RETRIEVAL 把外部資料拉進來 File Search (managed RAG) Grounding with Google Search URL Context AGENT + ASYNC 長任務 · 多步驟 Agents API (managed loop) Webhook delivery 非同步回推 Deep Research agent MCP server 整合 INFRASTRUCTURE 支撐應用的基礎能力 · Context caching(命中率高、價格 1 折) · Batch API(離線任務 5 折) · Live API(語音/視訊串流) · Safety filters & usage controls Building applications in the Gemini API family

Slide 5

Slide 5 text

P A R T 0 2 三個會改變你 架構的工具。 下面這三件事不是「另一個 feature」——他們改了你「怎麼設計系統」本身: File Search、Agents API、Webhook delivery。

Slide 6

Slide 6 text

T O O L 01 · R E T R I E V A L File Search —— Managed RAG。 Building applications in the Gemini API family SUP PORTS 支援的格式與規格 PDF、DOCX、TXT、JSON、常見程式碼檔 單一 store 建議 < 20 GB 內建 citation 標註來源段落 raw file 48 小時清掉、store 內 embedding 永久保留 支援 Gemini 3.5 Pro / Flash / Flash-Lite 目前不能與 Grounding with Google Search 在同一次 call 並 用。

Slide 7

Slide 7 text

T O O L 0 1 · W H A T 'S N E W A T I /O 2 02 6 File Search —— 三個 May 2026 更新。 從「文件搜尋」往「企業級檢索層」靠攏。 01 · MULTIMODAL 圖文同一個語意空間 Gemini Embedding 2 讓圖片與文字共用同 一個 embedding 空間。 上傳一份含截圖、 圖表的 PDF,bot 可以「看懂」圖再回答。 支援 PNG / JPEG、最大 4K × 4K、單次 query 最多 6 張。 02 · METADATA Custom filter,先過濾再檢 索 每份檔案打標籤——department、 status、 lang —— query 時可指定範圍,精準度與權 限隔離一次解決。 最常見的用法:分租戶(multi-tenant)、分 部門權限。 03 · PAGE CITATIONS 引用標到第幾頁 回應裡的 grounding metadata 會精確指出 「答案出自哪份檔案的第幾頁」。 對企業客 服、法規查詢場景的可信度是巨大提升。 在 LINE 端可以直接 reformat 成 Flex Message 的引用卡片。 Building applications in the Gemini API family

Slide 8

Slide 8 text

T O O L 0 1 · W H A T 'S N E W A T I /O 2 02 6 多模態檔案搜尋範例 Building applications in the Gemini API family WH A T IS N EW 多模態檔案搜尋 可以輸入 PDF (內包括圖片) ,並且可以透過直接 上傳圖片來搜尋相關資料。

Slide 9

Slide 9 text

T O O L 0 2 · A G E N T Agents API —— 讓 Google 幫你跑 loop。 不是「更聰明的 gener a teC ontent」,是一個「長期任務服務」— — 你的架構要掌握這 個轉變。 舊 自己維護 a gent l oop tool ca l l → 觀察 → 規劃 → tool ca l l … … 狀態、r etr y、超時、中斷復原 ,每一段都是坐在你的伺服器上燒你的邏輯。 新 I nter a cti on 是一個 f i r s t- cl a s s 物件 你 POST 一份 interaction、拿到 interaction_id 。Goog le 負責跑(可達 20 分鐘、100+ 次工具呼叫),你負責「等他來」。 內建 Deep R es ea r ch · D eep R es ea r ch M a x 直接用支撐 NotebookLM 與 Gemini App 的同一條研究 pipeline,自動 動產出含引用的完整報告。 產 A R C H I T EC T U R E S H I FT 你的架構必須接受三件事 請求出去以後不是等 response 回來 任務狀態是一個可查詢的 ID,你要存 結果透過 webhook「推」回來(下一頁) 認識這個型態很重要— — 這是 pa ym ent / j ob queue 同一套思維, 不是 L L M A P I 這五年你熟的「同步 R P C 」。 Building applications in the Gemini API family

Slide 10

Slide 10 text

T O O L 0 2 · A G E N T Agents AtI —— 讓 Doogle 幫你跑 loop。 Building applications in the Gemini API family

Slide 11

Slide 11 text

T O O L 0 2 · A G E N T Agents AtI 範例 Building applications in the Gemini API family 範例 說明 研究小幫手 建立四個 Tools: - code_execution 準備網頁應用 - Filesystem 報告寫入檔案 - google_search 搜尋與抓取網頁 - url_context 抓取網址

Slide 12

Slide 12 text

T O O I 0 3 · A S Y N C D EI IV ER Y Webhook —— 換 Google 來 call 你。 A gents A P I 的同胞雙生。不要 pol l i ng、不要長連接— — a gent 跑完,Gem i ni 主動 P O S T 結果進來。 0 1 · KIC K O FF 建立 interaction 你的 s er ver 呼叫 A gents A P I , webhookUrl 與 m eta da ta 。立刻拿到 interaction_id。 → 02 · GOOGLE WORKS A gent 背景跑任務 幾秒到幾分鐘。你的 server 不用 等、不用連著。 → 0 3 · C A I I B A C K Gemini POST 到你的 webhook 帶 interaction_id、status、完整結 果。IaA/ 簽章 + timestamp,你 負責驗。 → 04 · FAN-OUT 推回使用者 查 interaction_id 跟蹤的 user, 用 LINE Push API 送結果。 W H Y W EB H O O K, N O T P O I I I N G 低延遲 × 低成本 不用輪詢、不用 keep-alive 長連接 At-least-once delivery——設計冪等 handler 適合上百、上千個並行任務 A R C H I T EC T U R A I P A T T ER N Webhook In · Webhook Out 入口:LINE webhook 送使用者訊息進來 出口:Gemini webhook 送 agent 結果進來 中間不 block,server = event handler。 B ui l di ng a ppl i ca ti ons i n the Gem i ni A P I f a m i l y

Slide 13

Slide 13 text

A R CH I T E C T U R E D E C I S I O N 不是「丟給 LLa」, 是「query 該走哪一條路徑」。 架構師的工作:在 L L M 之前設一個快、便宜、可預測的 r outi ng 層。 INPU T U s er m es s a ge 使用者在 LINE 傳訊息進來 → R O U T E Intent router (Flash- Lite Lite ) ) 用便宜小模型判斷分類;幾十毫 秒、幾乎免費。 → BRA NCH 三條路徑 · 快問快答 → generateContent · 查 公司資料 → File Search · 長任務 → Agents API → D EI I V ER Y 同步 reply / 非同步 webhook 快問題用 LLbE reply token 同步回 ;長任務等 Gemini webhook 進來 再 push。 R outi ng 層是「你設計的」那一黚,不是 Googl e 給你的。 這是你從 「ca l l A P I 」 變成 「a r chi tect」 的關鍵動作— — 準確、可觀測、成本可控 。 Building applications in the Gemini API family

Slide 14

Slide 14 text

P A R T 0 3 從「call API」 到「architect apps apps」。

Slide 15

Slide 15 text

B EFO R E 經典的 LINE Bot 架構。 核心流程:Webhook 進、Reply 出。 01 · USE R 使用者傳訊息 在 LL bE A p p 輸入文字、貼圖、圖 片、語音。 → 0 2 · P I A T FO R M LINE Messaging Platform 把 event POST 到你設定的 webhook URL,附 X-Line-Signature 簽章。 → 03 · YOU R SERVE R Webhook handler 驗章 → 業務邏輯(通常是 k e y w o ) d mat ch / i f- e l s e )→ 組回應 。 → 0 4 · R EP I Y Reply / Push API 用 replyToken 回(限 1 次)或 push(隨時、有額度)。 便宜、可預測、但擴充很痛——新的需求都要寫新的 i f 。 語意理解幾乎為零,使用者多打一個錯字就 fallback 到 default reply。 Building applications in the Gemini API family

Slide 16

Slide 16 text

A F T E R 加入 Demini 後的新架構。 中間那段「業務邏輯」,換成 router + 三個工具。 C H A N N EI M es s a gi ng P l a tf or m 收訊息、回訊息 簽章驗證 I I FF / R i ch M enu 前端入口、權限授權 Push API 非同步任務完成回推 YOUR WE BHOOK SE RVER 1 · 驗章 & pa r s e 驗 X-Line-Signature、抽出 message text + user_id 2 · Intent Router Clash-Lite 結構化輸出,分類到三條路徑之一 3 · Tool dispatch 呼叫對應的 Gemini API,組成回應 4 · For m a t & r epl y 把 citation 轉成 Flex Message,呼叫 LINE Reply G EM IN I A P I gener a teC ontent + Fi l e S ea r ch 私有資料、需要 citation gener a teC ontent + Gr oundi ng 即時公開資訊 Agents API + Webhook 長任務、Deep Research File Search Store 公司知識庫、預先 index 好 B ui l di ng a ppl i ca ti ons i n the Gem i ni A P I f a m i l y

Slide 17

Slide 17 text

P A R T 0 4 Demo —— 知識庫 客服 Bot。

Slide 18

Slide 18 text

T H E S C EN E 場景 —— 一個內部知識庫客服。 員工或客戶在 LINE 用自然語言問問題,bot 從上千份文件找答案、附引用。 需求 1 100+ 份 PDF、操作手冊、簡報 用自然語言問問題,跨檔案找答案。 需求 2 回答附上引用 必須說明「出自哪份檔案、第幾頁」,可點擊跳到原文。 需求 3 部門權限隔離 HR 員工不能查到財務檔案;多租戶場景同理。 需求 4 回應 < 5 秒 L I N E 場景的硬性 U X 紅線。 KB 內部知識庫小幫手 差勤系統怎麼申請補休? 依《HR-差勤辦法 v3.2》第 12 頁:員工於假日加班後,可在三 個月內向直屬主管申請補休,補休時數依加班核定為準。 來源:IR-差勤辦法 v3.2 · 第 12 頁 那如果是 RD 部門的人? RD 部門另適用《RD-工時管理補充規定》第 4 頁…… 來源:RD-工時管理補充規定 · 第 4 頁 Building applications in the Gemini API family

Slide 19

Slide 19 text

S Y S T EM A R C H IT EC T U R E 系統架構 —— 三層、薄薄一片。 Webhook Server 只做三件事:驗章、路由、格式化回應。 I I N E S I D E User in LINE App 輸入問題 W ebhook event POST 到你的 server,附簽章 R epl y w i th Fl ex 回應 + 引用卡片 YOUR WE BHOOK SE RVER 驗章 X-Line-Signature ✓ User → Department 查使用者所屬部門,準備 metadata filter 呼叫 Gemini generate/ontent + file_search tool(帶 metadata) For m a t ci ta ti ons 把 grounding_metadata 包成 Flex Bubble G EM IN I · G O O G I E 3.5 Flash + File Search 語意檢索 + 自動 citation Fi l eS ea r chS tor e 公司 100+ 份檔案 每份貼 dept = "hr" / "rd" / "fin" gem i ni - em beddi ng- 2 索引時用 $0. 1D / 1M tokens (一次性) Building applications in the Gemini API family

Slide 20

Slide 20 text

T A K EA W A Y S 你不是補一個 LLM。 你是架構一個系統。 01 在 I I M 之前設「r outer 」。 不要把所有 query 交給同一個 prompt。用 Flash- Lite 做 intent router,分到 generateContent、File Search、Agents API——這是你「能控制、能觀測、 能控成本」的起點。 02 長任務 = A gents A P I + W ebhook。 不要 polling、不要長連接、不要在 LINE webhook webhook 裡等。「fire → 」「、 Google 跑 → 」「 」「 webhook 推回來 → 」「push 給使用者」是個 個 4-stage pipeline,學会他。 03 File Search 取代一條 pipeline。 你不再需要 Pinecone + chunking + LangChain 。留下的時間,幫你把「上線後要面對的事」做好 。留下 :metadata 權限、citation UX、cost monitoring monitoring。 。 B ui l di ng a ppl i ca ti ons i n the Gem i ni A P I f a m i l y

Slide 21

Slide 21 text

No content