Slide 1

Slide 1 text

Building applications in the Gemini API family.

Slide 2

Slide 2 text

Evan Lin Engineering Director of LINE Taiwan Developer Relations Go & Cloud AI GDE LINE Platform Evangelist TECH FRESH People Manager

Slide 3

Slide 3 text

P A R T 0 1 Gemini API 2026 重點更新。 重點不是模型又變強了。重點是——Google 終於把 Gemini API 「從一個 endpoint 做 成一個應用平台」這件事認真做了。

Slide 4

Slide 4 text

C A P A B I L I T Y MA P Gemini API 家族 —— 全景圖。 模型是引擎,工具才是讓你能蓋出產品的鋼骨。 MODELS Gemini 3.5 GENERATION 文字 · 圖像 · 多模態 generateContent Function calling Structured output RETRIEVAL 把外部資料拉進來 File Search (managed RAG) Grounding with Google Search URL Context AGENT + ASYNC 長任務 · 多步驟 Agents API (managed loop) Webhook delivery 非同步回推 Deep Research agent MCP server 整合 INFRASTRUCTURE 支撐應用的基礎能力 · Context caching(命中率高、價格 1 折) · Batch API(離線任務 5 折) · Live API(語音/視訊串流) · Safety filters & usage controls Building applications in the Gemini API family

Slide 5

Slide 5 text

P A R T 0 2 三個會改變你 架構的工具。 下面這三件事不是「另一個 feature」——他們改了你「怎麼設計系統」本身: File Search、Agents API、Webhook delivery。

Slide 6

Slide 6 text

T O O L 01 · R E T R I E V A L File Search —— Managed RAG。 Building applications in the Gemini API family SUP PORTS 支援的格式與規格 PDF、DOCX、TXT、JSON、常見程式碼檔 單一 store 建議 < 20 GB 內建 citation 標註來源段落 raw file 48 小時清掉、store 內 embedding 永久保留 支援 Gemini 3.5 Pro / Flash / Flash-Lite 目前不能與 Grounding with Google Search 在同一次 call 並 用。

Slide 7

Slide 7 text

T O O L 01 · W H A T ' S N E W A T I / O 20 2 6 File Search —— 三個 May 2026 更新。 從「文件搜尋」往「企業級檢索層」靠攏。 01 · MULTIMODAL 圖文同一個語意空間 Gemini Embedding 2 讓圖片與文字共用同 一個 embedding 空間。 上傳一份含截圖、 圖表的 PDF,bot 可以「看懂」圖再回答。 支援 PNG / JPEG、最大 4K × 4K、單次 query 最多 6 張。 02 · METADATA Custom filter,先過濾再檢 索 每份檔案打標籤——department、 status、 lang —— query 時可指定範圍,精準度與權 限隔離一次解決。 最常見的用法:分租戶(multi-tenant)、分 部門權限。 03 · PAGE CITATIONS 引用標到第幾頁 回應裡的 grounding metadata 會精確指出 「答案出自哪份檔案的第幾頁」。 對企業客 服、法規查詢場景的可信度是巨大提升。 在 LINE 端可以直接 reformat 成 Flex Message 的引用卡片。 Building applications in the Gemini API family

Slide 8

Slide 8 text

T O O L 01 · W H A T ' S N E W A T I / O 20 2 6 多模態檔案搜尋範例 Building applications in the Gemini API family WH A T IS N EW 多模態檔案搜尋 可以輸入 PDF (內包括圖片) ,並且可以透過直接 上傳圖片來搜尋相關資料。

Slide 9

Slide 9 text

T O O L 02 · A GE N T Agents API —— 讓 Google 幫你跑 loop。 不是「更聰明的 generateContent」,是一個「長期任務服務」——你的架構要掌握這 個轉變。 舊 自己維護 agent loop tool call → 觀察 → 規劃 → tool call…… 狀態、retry、超時、中斷復原 ,每一段都是坐在你的伺服器上燒你的邏輯。 新 Interaction 是一個 first-class 物件 你 POST 一份 interaction、拿到 interaction_id 。Google 負責跑(可 達 20 分鐘、100+ 次工具呼叫),你負責「等他來」。 內建 Deep Research · Deep Research Max 直接用支撐 NotebookLM 與 Gemini App 的同一條研究 pipeline,自 動產出含引用的完整報告。 ARCHITECTURE SHIFT 你的架構必須接受三件事 請求出去以後不是等 response 回來 任務狀態是一個可查詢的 ID,你要存 結果透過 webhook「推」回來(下一頁) 認識這個型態很重要——這是 payment / job queue 同一套思維, 不是 LLM API 這五年你熟的「同步 RPC」。 Building applications in the Gemini API family

Slide 10

Slide 10 text

T O O L 0 2 · A G E N T Agents API —— 讓 Google 幫你跑 loop。 Building applications in the Gemini API family

Slide 11

Slide 11 text

TOOL 02 · AGENT Agents API 範例 Building applications in the Gemini API family 範例 說明 研究小幫手 建立四個 Tools: - code_execution 準備網頁應用 - Filesystem 報告寫入檔案 - google_search 搜尋與抓取網頁 - url_context 抓取網址

Slide 12

Slide 12 text

T O O L 03 · A S Y N C D E L I V E R Y Webhook —— 換 Google 來 call 你。 Agents API 的同胞雙生。不要 polling、不要長連接——agent 跑完,Gemini 主動 POST 結果進來。 01 · KICK OFF 建立 interaction 你的 server 呼叫 Agents API,帶 上 webhookUrl 與 metadata。 立刻拿到 interaction_id。 → 0 2 · G O O GL E W O R K S Agent 背景跑任務 幾秒到幾分鐘。你的 server 不用 等、不用連著。 → 03 · C ALLBACK Gemini POST 到你的 webhook 帶 interaction_id、status、完整 結果。HMAC 簽章 + timestamp ,你負責驗。 → 04 · FAN-OUT 推回使用者 查 interaction_id 跟蹤的 user, 用 LINE Push API 送結果。 WHY WEBHOOK, NOT POLLING 低延遲 × 低成本 不用輪詢、不用 keep-alive 長連接 At-least-once delivery——設計冪等 handler 適合上百、上千個並行任務 ARCHITECTURAL PATTERN Webhook In · Webhook Out 入口:LINE webhook 送使用者訊息進來 出口:Gemini webhook 送 agent 結果進來 中間不 block,server = event handler。 Building applications in the Gemini API family

Slide 13

Slide 13 text

A R C H I T E C T U R E D E C I S I O N 不是「丟給 LLM」, 是「query 該走哪一條路徑」。 架構師的工作:在 LLM 之前設一個快、便宜、可預測的 routing 層。 INPUT User message 使用者在 LINE 傳訊息進來 → ROUTE Intent router (Flash-Lite ) 用便宜小模型判斷分類;幾十毫 秒、幾乎免費。 → BRANC H 三條路徑 · 快問快答 → generateContent · 查公司資料 → File Search · 長任 務 → Agents API → DELIVE RY 同步 reply / 非同步 webhook 快問題用 LINE reply token 同步 回;長任務等 Gemini webhook 進來再 push。 Routing 層是「你設計的」那一黚,不是 Google 給你的。 這是你從 「call API」 變成 「architect」 的關鍵動作——準確、可觀測、成本可控。 Building applications in the Gemini API family

Slide 14

Slide 14 text

P A R T 0 3 從「call API」 到「architect apps 」。

Slide 15

Slide 15 text

B E FO R E 經典的 LINE Bot 架構。 核心流程:Webhook 進、Reply 出。 01 · USER 使用者傳訊息 在 LINE App 輸入文字、貼圖、圖 片、語音。 → 02 · P LATFORM LINE Messaging Platform 把 event POST 到你設定的 webhook URL,附 X-Line- Signature 簽章。 → 03 · YOUR SE RVE R Webhook handler 驗章 → 業務邏輯(通常是 keyword match / if-else)→ 組 回應。 → 04 · RE PLY Reply / Push API 用 replyToken 回(限 1 次)或 push(隨時、有額度)。 便宜、可預測、但擴充很痛——新的需求都要寫新的 if 。 語意理解幾乎為零,使用者多打一個錯字就 fallback 到 default reply。 Building applications in the Gemini API family

Slide 16

Slide 16 text

A F T E R 加入 Gemini 後的新架構。 中間那段「業務邏輯」,換成 router + 三個工具。 CHANNEL Messaging Platform 收訊息、回訊息 簽章驗證 LIFF / Rich Menu 前端入口、權限授權 Push API 非同步任務完成回推 YOUR WE BHOOK SER VER 1 · 驗章 & parse 驗 X-Line-Signature、抽出 message text + user_id 2 · Intent Router Flash-Lite 結構化輸出,分類到三條路徑之一 3 · Tool dispatch 呼叫對應的 Gemini API,組成回應 4 · Format & reply 把 citation 轉成 Flex Message,呼叫 LINE Reply GEMI NI API generateContent + File Search 私有資料、需要 citation generateContent + Grounding 即時公開資訊 Agents API + Webhook 長任務、Deep Research File Search Store 公司知識庫、預先 index 好 Building applications in the Gemini API family

Slide 17

Slide 17 text

P A R T 0 4 Demo —— 知識庫 客服 Bot。

Slide 18

Slide 18 text

T H E S C E N E 場景 —— 一個內部知識庫客服。 員工或客戶在 LINE 用自然語言問問題,bot 從上千份文件找答案、附引用。 需求 1 100+ 份 PDF、操作手冊、簡報 用自然語言問問題,跨檔案找答案。 需求 2 回答附上引用 必須說明「出自哪份檔案、第幾頁」,可點擊跳到原文。 需求 3 部門權限隔離 HR 員工不能查到財務檔案;多租戶場景同理。 需求 4 回應 < 5 秒 LINE 場景的硬性 UX 紅線。 KB 內部知識庫小幫手 差勤系統怎麼申請補休? 依《HR-差勤辦法 v3.2》第 12 頁:員工於假日加班後,可在 三個月內向直屬主管申請補休,補休時數依加班核定為準。 來源:HR-差勤辦法 v3.2 · 第 12 頁 那如果是 RD 部門的人? RD 部門另適用《RD-工時管理補充規定》第 4 頁…… 來源:RD-工時管理補充規定 · 第 4 頁 Building applications in the Gemini API family

Slide 19

Slide 19 text

T A K E AW A Y S 你不是補一個 LLM。 你是架構一個系統。 01 在 LLM 之前設「router」。 不要把所有 query 交給同一個 prompt。用 Flash-Lite 做 intent router,分到 generateContent、File Search、Agents API— —這是你「能控制、能觀測、能控成本」的起點 。 02 長任務 = Agents API + Webhook。 不要 polling、不要長連接、不要在 LINE webhook 裡等。「fire → 」「、 Google 跑 → 」「webhook 推回來 → 」「push 給使用者」是 個 4-stage pipeline,學会他。 03 File Search 取代一條 pipeline 。 你不再需要 Pinecone + chunking + LangChain 。留下的時間,幫你把「上線後要面對的事」做好 :metadata 權限、citation UX、cost monitoring。 Building applications in the Gemini API family

Slide 20

Slide 20 text

No content