AI Gateway入門 - マルチLLM時代の交通整理 -

DIO NIGHT VOL.2でAI GatewayについてLTさせていただきました。
その際に使用した資料になります。
よろしくお願いします。

Transcript

1. AI Gateway入門 - マルチLLM時代の交通整理 - 2026/3/17 李俊起 DIO NIGHT Vol.2
2. 自己紹介 名前 李 俊起（イ ジュンギ） / Joonki Lee 所属 KINTOテクノロジーズ株式会社 Platform Group / Platform Engineer 関心分野 Observability Kubernetes 生成AI 2026/3/17 2
3. アジェンダ 2026/3/17 3 • 話すこと ➢ AI Gatewayがない場合の課題 ➢ AI Gatewayで解決できること • 話さないこと ➢ ツールごとの違い ➢ 具体的な設定方法や使い方
4. 2026/3/17 4 AI Gatewayがない場合の課題
5. 用途・ワークロードに応じて複数のベンダーを併用 2026/3/17 5 • 用途・ワークロードに応じて複数のベンダーを組み合わせて使うの が一般的 • 例えば、データ分析系（e.g. Big Query）のAI AgentはGoogle Cloud、Coding AgentはClaudeなど、ワークロードやモデルの得 意不得意を考慮して複数のプロバイダーを組み合わせる
6. 複数のベンダーをAI Gatewayなしで使う場合 2026/3/17 6 • ベンダーそれぞれのエンドポイント・認証情報を直接設定 Vertex AIのエンドポイント / 認証情報 Azure OpenAIのエンドポイント / 認証情報 Bedrockのエンドポイント / 認証情報
7. 直接エンドポイントを指定して使う場合の課題 （管理者視点） 2026/3/17 7 • コスト管理、セキュリティ、可視化などを個別に設定・確認する必要 がある コスト管理、セキュリティ設定、可視化 コスト管理、セキュリティ設定、可視化 コスト管理、セキュリティ設定、可視化 管理者
8. 直接エンドポイントを指定して使う場合の課題 （開発者視点） 2026/3/17 8 • 特定のベンダーで障害が発生した場合に手動でエンドポイントを 切り替える必要がある • ベンダーごとのAPIのスキーマが異なるため、１つの処理の中で APIを変更する場合、ユーザ側でスキーマを変換する必要がある 開発者 手動で切り替え
9. 2026/3/17 9 AI Gatewayでできること
10. ルーティング 2026/3/17 10 • 単一のエンドポイントから複数のプロバイダーにルーティング https://blog.realvarez.com/blog/envoy-ai-gateway/
11. 自動フォールバック 2026/3/17 11 • 特定のベンダーで障害が発生した場合、自動で別のベンダーの APIにフォールバックされる 自動フォールバック AI Gateway
12. スキーマ変換 2026/3/17 12 • ベンダーごとのAPIスキーマの差分をAI Gatewayが吸収 AI Gateway AI Gatewayが各プロバイダー のAPIフォーマットに変換して からリクエストを投げる AI Gatewayの 統一された フォーマット 各プロバイダーの フォーマット
13. Observability（監視・可視化） 2026/3/17 13 • 全てのベンダーへのAPIに関するデータを１箇所で収集・可視化し、 コスト管理や監査ができる AI Gateway
14. セキュリティ 2026/3/17 14 • セキュリティ関連設定を１箇所でまとめて管理できる ➢ 機密情報マスキングやプロンプトインジェクションなど、 input/outputに関するガードレールなど AI Gateway ユーザからのinputに機密情報が 含まれていたらその部分を マスキングしてからAIに渡す raw input masked input
15. 認証 2026/3/17 15 • Gatewayへの認証および複数のプロバイダーへのアクセスに関す る認証の設定を１箇所でまとめて管理できる ➢ クライアント → Gatewayへの認証 ➢ Gateway → プロバイダーへの認証の代行 AI Gateway 各プロバイダーへの認証 情報をまとめて管理し、 ユーザはGatewayへの 認証だけ済ませばOK
16. その他の機能 2026/3/17 16 • Rate Limit ➢ Token数に基づいてRate Limitの設定ができる • MCP Gateway ➢ 複数のMCP Serverに単一のエンドポイントからアクセス ➢ 認証・認可の一元管理、Toolのフィルタリングなど • Prompt Caching ➢ Agentなどマルチターンの処理で、 固定のプロンプト部分をキャッシングし、コスト削減
17. まとめ 2026/3/17 17 • AI Gatewayのツールとしては、LiteLLM、Envoy AI Gateway、 Kong AI Gatewayなど、複数存在する ➢ 基本OSSで、Enterprise版を持っているものが多い • ツールによって使える機能が異なるので、先に要件を定めてから ツール選定をした方が良い
18. ご清聴ありがとうございました！