バッチで安く、A/Bで確かめ、動的ルーティングで届ける Google Cloudで実現するLLM選定戦略

https://jaguer-tech-lunch.connpass.com/event/408350/
2026年10月28日に開催された「Jagu'e'r Tech Lunch」での登壇資料です。
当日はデモを交えながら、Google Cloud / Gemini 環境における実践的な LLM 選定・移行・運用戦略についてお話ししました。

■ 概要
LLM の急速な進化に伴い「最新・最高性能のモデルへ即時切り替えたい」というニーズが高まる一方、プロンプトの効き方の変化、JSON 出力構造の崩れ、予期せぬレイテンシ増やレート制限といった本番トラブルのリスクも存在します。

本発表では、モデル変更に伴うリスクを最小化し、コストとユーザー体験のバランスを最大化するための「3重の防御策」と「動的ルーティング」のアーキテクチャパターンを紹介しています。

■ 主なトピック新モデルへの即時切り替えに潜むリスク（出力崩れ・レイテンシ増など）
第1の防壁：決定論的アサーションとオフライン評価（CI/CDによる足切り、LLM-as-a-Judge の使い所）
第2の防壁：遅延0msの Shadow Testing 基盤（本番ミラーリング） FinOps の実践：Gemini Batch API によるコスト半減アプローチ 第3の防壁：ブラインド A/B テストの実態（「高性能モデル＝最良のUX」とは限らないケーススタディ）
最適解：ユースケースに応じた動的ルーティング（Contextual Routing）

■ 関連リンク
登壇イベント（connpass）: https://jaguer-tech-lunch.connpass.com/event/408350/
デモ・検証リポジトリ: https://github.com/shu-kob/adk-agent-chat（ADK: Agent Development Kit と Gemini を用いたチャットボット実装）

#GoogleCloud #Gemini #LLM #FinOps #Jaguer #機械学習

Transcript

1. バッチで安く、A/Bで確かめ、 動的ルーティングで届ける Google Cloudで実現するLLM選定戦略 2026年10月28日 @Jagu'e'r Tech Lunch 株式会社スリーシェイク 小渕 周 Shu Kobuchi
2. 自己紹介 小渕 周 (Shu Kobuchi) こぶシュー X: @shu_kob 株式会社スリーシェイク Sreake 事業部 アプリケーション開発支援チーム マネージャー • Google Cloud, Geminiを用いた生成 AI アプリケーション開発 • • • Google Cloud 認定14試験全冠 Jagu'e'r AI/ML分科会運営メンバー 2027年1月15日(金) Jagu'e'r Camp製作委員会 2
3. 本日のアジェンダ 1. 2. 3. 4. 5. なぜ「新モデルへの即時切り替え」は危険なのか？ 第1の防壁：決定論的アサーションとオフライン評価 第2の防壁：遅延0msの Shadow Testing 基盤 第3の防壁：ブラインド A/B テストで起きた「大逆転劇」 最適解：動的ルーティングと FinOps ポイント：新モデルを安全に検証・運用するための設計パターン 3
4. 現場の悩み： LLMの進化スピード • LLM進化の速さ ◦ Gemini 3.5 → 3.6 → 3.7 → 3.8 と新モデル連発 ◦ 公開ベンチマークでSoTA（State-of-the-Art：世界最高記録） → 今すぐ使用モデルを差し替えたい、という誘惑 • 即時切り替えで本番に起きるトラブル ◦ プロンプトの利き方が変わり、JSON出力構造などの崩れ ◦ 期待する回答とのズレ ◦ レート制限(429 Quota Exhaunted)や推論増によるレイテンシ増 4
5. 安全に切り替える「 3重の防御案」 ① オフライン 評価 ② Shadow Testing ③ ブラインド A/Bテスト 本番 利用 • ① オフライン評価(CI/CD): 既存機能を壊していないかの足切り（回帰テ スト） • ② Shadow Testing(本番ミラーリング): トラフィックに対する挙動・負荷・ エラーの無害な確認 • ③ ブラインド A/B テスト: 人間の好みの確認 • 3つの防壁で、ユーザー満足度の高いモデル移行を実現 5
6. LLMの評価は決定論 First (＋ LLM-as-a-Judge) • LLM-as-a-Judgeでは不十分な理由 ◦ LLM利用コスト増大 ◦ 利用時によってスコアのブレ ◦ 機械的欠陥（書式崩れ）の検知遅れ → LLM-as-a-Judgeではユースケースによってはオプショナルに使用 6
7. Shadow Testing - 隔離で本番影響なし ユーザー入力 現モデル 例) Gemini 3.8 flash 即時 A/Bテスト 評価・比 較 新モデル 例) Gemini 4 Argon 出力 (ユーザーには 非表示) 7
8. FinOps: Gemini Batch APIによるコスト削減 トラフィック トラフィックの 数%以下など 即時出力 評価 トラフィックの 残り90何% 個人情報等 マスクして 蓄積 Gemini Batch API • Shadow Testingの課題であるコスト倍増を抑制（半額） 8
9. ブラインド A / B テスト どちらが新モデルかわ からず 場所も時々によってラ ンダム 回答A 回答B 9
10. 高性能モデルが全てに勝るとは限らず • Gemini 3.8 / 3.7 Flash ◦ 教科書的で前置きが長すぎチャットボットでは 会話のテンポが悪いことも ◦ Flashの中でも、3.8は推論が長く、レイテンシ悪化 比較すると体感可能 • Gemini 3.5 Flash Lite ◦ チャットボットとしてストレスの少ない会話 ▪ 自然な相槌 ▪ レイテンシ良 ▪ コスト低 10
11. フィットするモデルはケースバイケース • 気軽な話題、共感を求める ◦ GeminiだとFlash Lite、軽量モデル • 論理的推論やハルシネーションを抑えたい場合 ◦ GeminiだとFlash、さらに高度な課題はPro、Argon • 話題によって最適なモデルは異なる ◦ モデル選択の動的ルーティング ◦ RAGは検索メインで推論の必要性は小さく、Flash Liteなど 11
12. Gemini Appも動的ルーティング搭載へ https://x.com/googlecloud/status/2114431803394048151?a=BGb02rUFfOTDEmAiZjI&s=20 12
13. 最後に ご清聴ありがとうございました 参考 • 検証リポジトリ ◦ https://github.com/shu-kob/adk-agent-chat ▪ ADK(Agent Development Kit)・Geminiを 用いたチャットボット 13