Building applications in the Gemini API family.

I/O Extended Taipei 2026 https://gdg.community.dev/events/details/google-gdg-taipei-presents-google-io-extended-2026-taipei/
Speaker : Evan Lin

Transcript

1. Building applications in the Gemini API family.
2. Evan Lin Engineering Director of LINE Taiwan Developer Relations Go & Cloud AI GDE LINE Platform Evangelist TECH FRESH People Manager
3. P A R T 0 1 Gemini API 2026 重點更新。 重點不是模型又變強了。重點是——Google 終於把 Gemini API 「從一個 endpoint 做 成一個應用平台」這件事認真做了。
4. C A P A B I L I T Y MA P Gemini API 家族 —— 全景圖。 模型是引擎，工具才是讓你能蓋出產品的鋼骨。 MODELS Gemini 3.5 GENERATION 文字 · 圖像 · 多模態 generateContent Function calling Structured output RETRIEVAL 把外部資料拉進來 File Search （managed RAG） Grounding with Google Search URL Context AGENT + ASYNC 長任務 · 多步驟 Agents API (managed loop) Webhook delivery 非同步回推 Deep Research agent MCP server 整合 INFRASTRUCTURE 支撐應用的基礎能力 · Context caching（命中率高、價格 1 折） · Batch API（離線任務 5 折） · Live API（語音／視訊串流） · Safety filters & usage controls Building applications in the Gemini API family
5. P A R T 0 2 三個會改變你 架構的工具。 下面這三件事不是「另一個 feature」——他們改了你「怎麼設計系統」本身： File Search、Agents API、Webhook delivery。
6. T O O L 01 · R E T R I E V A L File Search —— Managed RAG。 Building applications in the Gemini API family SUP PORTS 支援的格式與規格 PDF、DOCX、TXT、JSON、常見程式碼檔 單一 store 建議 < 20 GB 內建 citation 標註來源段落 raw file 48 小時清掉、store 內 embedding 永久保留 支援 Gemini 3.5 Pro / Flash / Flash-Lite 目前不能與 Grounding with Google Search 在同一次 call 並 用。
7. T O O L 0 1 · W H A T 'S N E W A T I /O 2 02 6 File Search —— 三個 May 2026 更新。 從「文件搜尋」往「企業級檢索層」靠攏。 01 · MULTIMODAL 圖文同一個語意空間 Gemini Embedding 2 讓圖片與文字共用同 一個 embedding 空間。 上傳一份含截圖、 圖表的 PDF，bot 可以「看懂」圖再回答。 支援 PNG / JPEG、最大 4K × 4K、單次 query 最多 6 張。 02 · METADATA Custom filter，先過濾再檢 索 每份檔案打標籤——department、 status、 lang —— query 時可指定範圍，精準度與權 限隔離一次解決。 最常見的用法：分租戶（multi-tenant）、分 部門權限。 03 · PAGE CITATIONS 引用標到第幾頁 回應裡的 grounding metadata 會精確指出 「答案出自哪份檔案的第幾頁」。 對企業客 服、法規查詢場景的可信度是巨大提升。 在 LINE 端可以直接 reformat 成 Flex Message 的引用卡片。 Building applications in the Gemini API family
8. T O O L 0 1 · W H A T 'S N E W A T I /O 2 02 6 多模態檔案搜尋範例 Building applications in the Gemini API family WH A T IS N EW 多模態檔案搜尋 可以輸入 PDF (內包括圖片) ，並且可以透過直接 上傳圖片來搜尋相關資料。
9. T O O L 0 2 · A G E N T Agents API —— 讓 Google 幫你跑 loop。 不是「更聰明的 gener a teC ontent」，是一個「長期任務服務」— — 你的架構要掌握這 個轉變。 舊 自己維護 a gent l oop tool ca l l → 觀察 → 規劃 → tool ca l l … … 狀態、r etr y、超時、中斷復原 ，每一段都是坐在你的伺服器上燒你的邏輯。 新 I nter a cti on 是一個 f i r s t- cl a s s 物件 你 POST 一份 interaction、拿到 interaction_id 。Goog le 負責跑（可達 20 分鐘、100+ 次工具呼叫），你負責「等他來」。 內建 Deep R es ea r ch · D eep R es ea r ch M a x 直接用支撐 NotebookLM 與 Gemini App 的同一條研究 pipeline，自動 動產出含引用的完整報告。 產 A R C H I T EC T U R E S H I FT 你的架構必須接受三件事 請求出去以後不是等 response 回來 任務狀態是一個可查詢的 ID，你要存 結果透過 webhook「推」回來（下一頁） 認識這個型態很重要— — 這是 pa ym ent / j ob queue 同一套思維， 不是 L L M A P I 這五年你熟的「同步 R P C 」。 Building applications in the Gemini API family
10. T O O L 0 2 · A G E N T Agents AtI —— 讓 Doogle 幫你跑 loop。 Building applications in the Gemini API family
11. T O O L 0 2 · A G E N T Agents AtI 範例 Building applications in the Gemini API family 範例 說明 研究小幫手 建立四個 Tools: - code_execution 準備網頁應用 - Filesystem 報告寫入檔案 - google_search 搜尋與抓取網頁 - url_context 抓取網址
12. T O O I 0 3 · A S Y N C D EI IV ER Y Webhook —— 換 Google 來 call 你。 A gents A P I 的同胞雙生。不要 pol l i ng、不要長連接— — a gent 跑完，Gem i ni 主動 P O S T 結果進來。 0 1 · KIC K O FF 建立 interaction 你的 s er ver 呼叫 A gents A P I ， webhookUrl 與 m eta da ta 。立刻拿到 interaction_id。 → 02 · GOOGLE WORKS A gent 背景跑任務 幾秒到幾分鐘。你的 server 不用 等、不用連著。 → 0 3 · C A I I B A C K Gemini POST 到你的 webhook 帶 interaction_id、status、完整結 果。IaA/ 簽章 + timestamp，你 負責驗。 → 04 · FAN-OUT 推回使用者 查 interaction_id 跟蹤的 user， 用 LINE Push API 送結果。 W H Y W EB H O O K, N O T P O I I I N G 低延遲 × 低成本 不用輪詢、不用 keep-alive 長連接 At-least-once delivery——設計冪等 handler 適合上百、上千個並行任務 A R C H I T EC T U R A I P A T T ER N Webhook In · Webhook Out 入口：LINE webhook 送使用者訊息進來 出口：Gemini webhook 送 agent 結果進來 中間不 block，server = event handler。 B ui l di ng a ppl i ca ti ons i n the Gem i ni A P I f a m i l y
13. A R CH I T E C T U R E D E C I S I O N 不是「丟給 LLa」， 是「query 該走哪一條路徑」。 架構師的工作：在 L L M 之前設一個快、便宜、可預測的 r outi ng 層。 INPU T U s er m es s a ge 使用者在 LINE 傳訊息進來 → R O U T E Intent router （Flash- Lite Lite ） ） 用便宜小模型判斷分類；幾十毫 秒、幾乎免費。 → BRA NCH 三條路徑 · 快問快答 → generateContent · 查 公司資料 → File Search · 長任務 → Agents API → D EI I V ER Y 同步 reply / 非同步 webhook 快問題用 LLbE reply token 同步回 ；長任務等 Gemini webhook 進來 再 push。 R outi ng 層是「你設計的」那一黚，不是 Googl e 給你的。 這是你從 「ca l l A P I 」 變成 「a r chi tect」 的關鍵動作— — 準確、可觀測、成本可控 。 Building applications in the Gemini API family
14. P A R T 0 3 從「call API」 到「architect apps apps」。
15. B EFO R E 經典的 LINE Bot 架構。 核心流程：Webhook 進、Reply 出。 01 · USE R 使用者傳訊息 在 LL bE A p p 輸入文字、貼圖、圖 片、語音。 → 0 2 · P I A T FO R M LINE Messaging Platform 把 event POST 到你設定的 webhook URL，附 X-Line-Signature 簽章。 → 03 · YOU R SERVE R Webhook handler 驗章 → 業務邏輯（通常是 k e y w o ） d mat ch / i f- e l s e ）→ 組回應 。 → 0 4 · R EP I Y Reply / Push API 用 replyToken 回（限 1 次）或 push（隨時、有額度）。 便宜、可預測、但擴充很痛——新的需求都要寫新的 i f 。 語意理解幾乎為零，使用者多打一個錯字就 fallback 到 default reply。 Building applications in the Gemini API family
16. A F T E R 加入 Demini 後的新架構。 中間那段「業務邏輯」，換成 router + 三個工具。 C H A N N EI M es s a gi ng P l a tf or m 收訊息、回訊息 簽章驗證 I I FF / R i ch M enu 前端入口、權限授權 Push API 非同步任務完成回推 YOUR WE BHOOK SE RVER 1 · 驗章 & pa r s e 驗 X-Line-Signature、抽出 message text + user_id 2 · Intent Router Clash-Lite 結構化輸出，分類到三條路徑之一 3 · Tool dispatch 呼叫對應的 Gemini API，組成回應 4 · For m a t & r epl y 把 citation 轉成 Flex Message，呼叫 LINE Reply G EM IN I A P I gener a teC ontent + Fi l e S ea r ch 私有資料、需要 citation gener a teC ontent + Gr oundi ng 即時公開資訊 Agents API + Webhook 長任務、Deep Research File Search Store 公司知識庫、預先 index 好 B ui l di ng a ppl i ca ti ons i n the Gem i ni A P I f a m i l y
17. P A R T 0 4 Demo —— 知識庫 客服 Bot。
18. T H E S C EN E 場景 —— 一個內部知識庫客服。 員工或客戶在 LINE 用自然語言問問題，bot 從上千份文件找答案、附引用。 需求 1 100+ 份 PDF、操作手冊、簡報 用自然語言問問題，跨檔案找答案。 需求 2 回答附上引用 必須說明「出自哪份檔案、第幾頁」，可點擊跳到原文。 需求 3 部門權限隔離 HR 員工不能查到財務檔案；多租戶場景同理。 需求 4 回應 < 5 秒 L I N E 場景的硬性 U X 紅線。 KB 內部知識庫小幫手 差勤系統怎麼申請補休？ 依《HR-差勤辦法 v3.2》第 12 頁：員工於假日加班後，可在三 個月內向直屬主管申請補休，補休時數依加班核定為準。 來源：IR-差勤辦法 v3.2 · 第 12 頁 那如果是 RD 部門的人？ RD 部門另適用《RD-工時管理補充規定》第 4 頁…… 來源：RD-工時管理補充規定 · 第 4 頁 Building applications in the Gemini API family
19. S Y S T EM A R C H IT EC T U R E 系統架構 —— 三層、薄薄一片。 Webhook Server 只做三件事：驗章、路由、格式化回應。 I I N E S I D E User in LINE App 輸入問題 W ebhook event POST 到你的 server，附簽章 R epl y w i th Fl ex 回應 + 引用卡片 YOUR WE BHOOK SE RVER 驗章 X-Line-Signature ✓ User → Department 查使用者所屬部門，準備 metadata filter 呼叫 Gemini generate/ontent + file_search tool（帶 metadata） For m a t ci ta ti ons 把 grounding_metadata 包成 Flex Bubble G EM IN I · G O O G I E 3.5 Flash + File Search 語意檢索 + 自動 citation Fi l eS ea r chS tor e 公司 100+ 份檔案 每份貼 dept = "hr" / "rd" / "fin" gem i ni - em beddi ng- 2 索引時用 $0. 1D / 1M tokens （一次性） Building applications in the Gemini API family
20. T A K EA W A Y S 你不是補一個 LLM。 你是架構一個系統。 01 在 I I M 之前設「r outer 」。 不要把所有 query 交給同一個 prompt。用 Flash- Lite 做 intent router，分到 generateContent、File Search、Agents API——這是你「能控制、能觀測、 能控成本」的起點。 02 長任務 = A gents A P I + W ebhook。 不要 polling、不要長連接、不要在 LINE webhook webhook 裡等。「fire → 」「、 Google 跑 → 」「 」「 webhook 推回來 → 」「push 給使用者」是個 個 4-stage pipeline，學会他。 03 File Search 取代一條 pipeline。 你不再需要 Pinecone + chunking + LangChain 。留下的時間，幫你把「上線後要面對的事」做好 。留下 ：metadata 權限、citation UX、cost monitoring monitoring。 。 B ui l di ng a ppl i ca ti ons i n the Gem i ni A P I f a m i l y