Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Sandbox基盤のLLM Proxy選び!LiteLLMと agentgatewayを試して...

Sponsored · Your Podcast. Everywhere. Effortlessly. Share. Educate. Inspire. Entertain. You do you. We'll handle the rest. →
SansanTech PRO
November 19, 2026

Sandbox基盤のLLM Proxy選び!LiteLLMと agentgatewayを試して分かったこと

■イベント
CloudNative Days Winter 2026
https://cloudnativedays.jp/

■登壇概要
タイトル:Sandbox基盤のLLM Proxy選び!LiteLLMと agentgatewayを試して分かったこと
登壇者:技術本部 Application Platform Group 辻田 美咲

■ 技術本部 採用情報
https://media.sansan-engineering.com

SansanTech PRO

November 19, 2026

Transcript

8 slides
  1. Sandbox基盤の出⼝に、LLM Proxyを置く GKE Agent Sandbox 実⾏環境を隔離 AIが⽣成したコードや エージェント Vertex AI

    LLM Proxy Bedrockなど LLM Proxyに求めたこと アクセス先の制限 ガードレール コストと利⽤状況の可視化
  2. LLM Proxyはagentgatewayを選んだ LiteLLM OSS版 agentgateway OSS版 アクセス先の制限 ガードレール コストと利⽤状況 OSSでできる

    OSSでできる ⼀部が有償版 keyとteam単位で モデルを制限 OSSでできる モデルごとにCEL認可 Model Armor連携もOSS key‧team単位は有償 OSSでできる 正規表現は組み込み Model Armorは外部(有償) 予算‧コストはOSS 監査ログ(変更履歴)は有償 ⼀部⾃分で作る 課⾦ラベルとBigQuery 上限は外部サービス連携 変更履歴はGit 決め⼿ : ⾜りない統制を、Proxy本体を改造せずCRDとCELで組める
  3. LiteLLMは、⾜りない統制が有償版か⾃作コードになる ① テナント払出 ② アクセス先の制限 ③ 利⽤上限 ④ ログ‧コスト ⑤

    ガードレール 有償版が必要 OSSでできる OSSでできる ⼀部が有償版 OSSでできる teamまではOSS Organizationと 6⼈⽬以降のSSO は有償 使えるモデルを keyとteamで制限 keyとteamで 予算とレート制限 OTel‧コスト はOSS 監査ログ (変更履歴) は有償 全体適⽤はOSS key‧team別 は有償 ⾃分で⾜すなら、Pythonのコードを本体に組み込む
  4. agentgatewayは、⾜りない統制を⾃分たちで作れる ① テナント払出 ② アクセス先の制限 ③ 利⽤上限 ④ ログ‧コスト ⑤

    ガードレール ⾃分で作る OSSでできる ⾃分で作る ⼀部⾃分で作る OSSでできる tenantと consumerの ⼀覧から keyと認可を⽣成 モデルごとに CEL認可 外部のレート 制限サービス連携 ⾦額の上限はなし ログはOTel コストは 課⾦ラベルと BigQueryで集計 正規表現と Model Armor (外部‧有償) 全体にAudit運⽤ ⼀覧からCRDとTerraformを⽣成する。変更履歴はGitに残る
  5. LLMへの⼊⼝と実⾏環境を、別々に守る GKEクラスタ Agent Sandbox 実⾏環境を隔離 agentgateway LLM Proxy virtual key

    / CEL認可 エージェント 接続先をCRDで管理 LLM API Vertex AI Bedrockなど OTelでトレースを取得 NetworkPolicyで、Sandboxの通信先をagentgatewayだけに許可 隔離はAgent Sandbox、LLMへの⼊⼝の統制はagentgateway

More Decks by SansanTech

Other Decks in Technology