セキュアでリッチなLLM活用 - 実践デモと最新MCP情報 - / Secure and rich utilization of LLMs

大規模言語モデル（LLM）の活用を「安全に、効率的に、リッチに」実現するための実践的アプローチを紹介。Kong AI Gatewayによる横断的な制御や最新のMCP連携をデモを交えて解説し、信頼性・セキュリティ・コスト最適化の観点から次世代LLM活用の道筋を示します

Transcript

1. © Kong Inc. Shuhei Kawamura / Kong K.K. セキュアでリッチな LLM活用 - 実践デモと最新 MCP情報 -
2. © Kong Inc. Agenda 1. 前提知識 2. LLMを”コア機能”に組み込んだアプリケーション 3. Kong AI Gateway 4. デモンストレーション 5. Kong関連のMCP最新情報 6. まとめ
3. © Kong Inc. © Kong Inc. 前提知識 3
4. © Kong Inc. Large Language Model / 大規模言語モデル LLM 言語モデル • 人間が扱う自然言語で書かれた文や文章が生成される 確率を統計的手法でモデル化 したもの • 個別のタスク（エンティティ抽出、翻訳、 etc.）ごとにモデルを作成 大規模言語モデル • 大量のパラメータ、学習データから学習された言語モデルのこと • 観測範囲では、OpenAI GPT-2あたりから大規模言語モデルと呼ばれ始めた 学習データ 学習データ 翻訳モデル XXモデル 翻訳タスク XXタスク 学習データ （大量） LLM 翻訳タスク 生成タスク XX タスク
5. © Kong Inc. Retrieval-Augmented Generation / 検索拡張生成 RAG generation retrieval augmented LLMのテキスト生成 を検索によって得られた情報を使って 強化する手法のこと よく使われる検索システムの例： • （ベクトル/グラフ）データベース、全文検索システム、 etc.
6. © Kong Inc. Function Calling / Tool Use function / tool calling / use LLMから事前定義した関数を入力に応じて呼び出すことで、LLMの出力を拡張する仕組み 補足： • どの関数を呼び出せば良いかの判断は、 LLMの推論に委ねられる • 関数の呼び出しは、クライアントアプリケーションの実装に委ねられる • LLMごとに呼び方やインタフェースが異なる
7. © Kong Inc. Model Context Protocol MCP LLMごとにインタフェースが異なるので、複数 LLMを使ったり実装を切り替えたりする際は辛い → LLMと外部データやツールを接続するための共通インタフェース (=MCP)の登場
8. © Kong Inc. © Kong Inc. LLMを”コア機能”に 組み込んだアプリケーション 8
9. © Kong Inc. Kong Docs AI ドキュメントなどを参照しながら、 LLMが回答生成してくれる。 根拠となるドキュメントも添付してくれるの で、回答の妥当性は自分でも確認するこ とが可能。
10. © Kong Inc. https://api.dev/ Kong's AI-powered OpenAPI spec builder 裏側では、Google Geminiが使用されており、Kong R&D内部で使用されている設計ガイドラインがプロン プトに組み込まれている（無料で試せます！）
11. © Kong Inc. LLMをコア機能に組み込んだアプリの特徴 サービスの品質が LLMの品質[1]に高く依存している • 品質を下げないために、 Fallbackとして別のLLMを使用する、遅延状況によって LLMを動的に使い 分けるなどの工夫が必要がある 回答品質を向上させるために他ツールと連携することが多くシステムが複雑化しやすい • RAGにおける検索システム、 Agentにおけるツール、etc. 運用コスト [2]をなるべく低く抑えたい • トークン数による従量課金のため、低く抑えるための工夫が必要 • e.g. 安価なモデルを利用する、キャッシュを有効活用する、プロンプトを圧縮する、 etc. 通常のセキュリティ対策に加え、 LLMアプリ固有のセキュリティ対策も考慮する必要がある • プロンプトインジェクション [3]、個人情報の入力制限、モデルの公序良俗に反する出力制限、 etc. [1] 精度や遅延など [2] さまざまな観点があるが、ここでは特にお金に着目 [3] 悪意のあるプロンプトを注入することで、意図しない動作をさせる攻撃手法のこと [4] ユーザーやドメインエキスパートによる回答品質評価 サービスを継続改善するために判断軸となる指標を取得することの重要性が高い • 回答出力までの時間、回答の品質 [4]、コストメトリクス、etc.
12. © Kong Inc. 典型的な構成例
13. © Kong Inc. もし、アプリケーションが増えたら？
14. © Kong Inc. どうアプローチするか 1. ライブラリを利用し、横断的関心ごとの実装コストを削減する ◦ e.g. LangChain, LlamaIndex, Mastra, Guardrails, Langfuse, … 2. 中央集権的なレイヤーに横断的関心ごとの実装をオフロードする ◦ e.g. Kong AI Gateway, LiteLLM, Portkey, … ライブラリを活用するパターン 中央集権的なレイヤー（ Gateway）を活用するパターン
15. © Kong Inc. アプローチの比較 ライブラリを活用するアプローチ 中央集権的なレイヤーを活用するアプローチ 思想 アプリケーションの内部で制御 アプリケーションの外部で制御 長所 導入が容易 柔軟性やカスタマイズ性に優れる 複数環境を一元的に管理可能 言語に非依存で導入可能 短所 主にPython, TypeScriptといった特定の言語に依存する アプリケーションごとに実装が必要 独立したコンポーネントの運用が必要 柔軟性やカスタマイズ性にかける 適した用途 単一のアプリケーション 複雑なロジック実装が必要な場合 複数のアプリケーション 中央集権的にコストやセキュリティ管理が必要な場合 両者のアプローチは排他的ではなく、組み合わせて使用することも可能 • e.g. LangChainで構築したアプリケーションで LLMの呼び出し先としてGatewayのエンドポイントを 用いる
16. © Kong Inc. © Kong Inc. Kong AI Gateway 16
17. © Kong Inc. Kong AI Gateway Kong Gateway • APIにおける横断的関心ごとを処理する中央集権的レイヤー ( = API Gateway) • ルーティングなどの基本機能に加え、拡張機能がプラグインとして実装されている Kong AI Gateway • LLM APIにおける横断的関心ごとを処理するためのプラグイン群の総称
18. © Kong Inc. Kong AI Gatewayのプラグイン LLMアプリケーションの開発 LLMアプリケーションを安全に使わせる トークン量の削減、 LLMを用いた変換
19. © Kong Inc. API Keyやパラメータの集中管理、LLMの切り替え ユースケース例 利用プラグインの例 • AI Proxy • AI Proxy Advanced ユースケース • LLM利用時のAPI KeyをAPI Gatewayで集中 管理したい • 推論時のパラメータを共通的に設定したい • 複数のLLMをヘッダー情報などに応じて切り 替えたい • リトライやFallbackの仕組みを導入したい • 条件に応じてLLMを切り替えたい • 遅延や利用状況、意味ベースなど
20. © Kong Inc. システムプロンプトやプロンプトテンプレートをKong Gatewayで補完する ユースケース例 利用プラグインの例 • AI Prompt Template • AI Prompt Decorator ユースケース • ガバナンス的な観点で共通的にシステムプロ ンプトを差し込みたい • プロンプトの管理とアプリケーションのライフ サイクルを分離したい
21. © Kong Inc. RAG(Retrieval-Augmented Generation)やセマンティック・キャッシュを含んだアプリケーションを構築する ユースケース例 利用プラグインの例 • AI RAG Injector • AI Semantic Cache • AI Prompt Compressor ユースケース • LLMが学習していない内容を含んで回答を 出力したい • 同じような回答はキャッシュを参照し、余計な 遅延を発生させずにレスポンスしたい • LLMへ入力するトークン数を意味が失われな い範囲で削減(=圧縮)したい
22. © Kong Inc. LLMのAPIを安全に使わせる – レート制限や入出力制限 ユースケース例 利用プラグインの例 • AI Rate Limiting Advanced • AI Sanitizer • AI Prompt Guard • AI Semantic Prompt Guard • AI AWS Guardrails • AI Azure Content Safety ユースケース • トークンの利用状況に応じて制限をかけたい • 個人情報などの入力を制限したい • 意味ベースなど高度な入出力制限を行いたい
23. © Kong Inc. © Kong Inc. デモンストレーション 23
24. © Kong Inc. https://github.com/shukawam/konbot デモの構成図
25. © Kong Inc. © Kong Inc. Kong関連のMCP最新情報 25
26. © Kong Inc. https://github.com/Kong/mcp-konnect Kong Konnect MCP Server Konnect APIと連携し、構成やトラフィック、分析データの問い合わせ・分析が可能な MCP Server 現時点(2025/10)で利用可能なツール： • check_control_plane_group_membership • get_consumer_requests • get_control_plane • list_consumers • list_control_plane_group_memberships • list_control_planes • list_plugins • list_routes • list_services • query_api_requests Tech Preview
27. © Kong Inc. デモ - Gemini CLI + Konnect MCP Server GEMINI CLI + Konnect MCP ServerでKonnectで管理しているGatewayのトラフィックを分析する
28. © Kong Inc. MCP Server Auto Generation Plugin RESTful APIをリモートMCP Serverとして提供するためのプラグイン • プラグインがRESTful APIのWrapperとして振る舞い、MCP Serverとして利用可能とする • FastAPIで実装したAPIをFastAPI-MCPでMCP対応させるイメージ Coming Soon! メリット： • 既存資産(API)が再利用できる • Gatewayとして中央集権的にその他のポリシーが 適用できる https://www.linkedin.com/posts/marcopalladino_automatically-generate-br and-new-mcp-servers-activity-7357083468498903040-CTEL/
29. © Kong Inc. © Kong Inc. まとめ 29
30. © Kong Inc. まとめ LLMをコア機能に組み込んだアプリケーションで重要なこと • LLMを信頼性高く使うための工夫 • 通常のセキュリティ対策に加えて、 LLM固有の観点のセキュリティ対策を加える • 運用コスト（特に課金）に気を配る 効率よく実装するためのアプローチ • 横断的関心ごとを実装したライブラリを使用する • 中央集権的なレイヤー（ Gateway）に実装をオフロードする // 今日はこちらのアプローチ ◦ Kong AI Gatewayでは豊富なプラグインで対応 • 両者のアプローチは排他的ではなく組み合わせて利用することも可能 Kongにおける MCPの最新情報 • Konnect MCP Server • MCP Server Auto Generation Plugin
31. © Kong Inc. Thank you!