© Kong Inc. Shinichi Hashitani, Solutions Engineer @Kong 生成AIの活用と APIライフサイクル

© Kong Inc. © Kong Inc. AI in Real World

© Kong Inc. 3 ビジョナリー ファスト･ フォロワー 一般的 大企業 革新的な商品･ サービス創造 業務効率向上･ 生産性改善 社内利用は 原則禁止 ● 生成AIはフル活用 ● 社内外のデータ/サービスも活用 ● 革新的ユースケース開発･実装 ● 社内に限定してトライアル ● 汎用的な業務効率の改善に着手 ● 市場動向を見極めるスタンス ● 活用にあたっては慎重に判断 方向性 基本スタンス セグメンテーション 急速に進むAI活⽤

© Kong Inc. 4 公開情報を前提に まずはトライアル 公開情報 事前学習 タスク指示 従業員 AI作成文書 タスク実行結果 社内情報を学習させ 社内業務を効率化 公開情報 事前学習 タスク指示 従業員 AI作成文書 タスク実行結果 社内DB 追加 学習 秘 顧客情報も追加学習して 自社サービスを高度化 公開情報 事前 学習 タスク 指示 従業員 社内DB 追加 学習 秘 対話 顧客 自社サービス 各顧客に パーソナライズ 進むAI活⽤と増える課題

© Kong Inc. AI/LLMにアクセスする3パターン 利用 学習 接続 API API API API API 5

© Kong Inc. 6 Applications AI Agents ChatBots Other PROMPT SANITIZATION PROFANITY DETECTION OFF TOPIC DETECTION SEMANTIC CACHING RAG MORE ANALYTICS CREDENTIALS MGMT MULTI-LLM SECURITY PROMPT TEMPLATING AUTHN/Z MORE SECURITY FAIL OVER SEMANTIC CACHING AI TRANSFORMATION TOKEN RATE LIMITING MORE PROMPT FIREWALL RETRIES MORE ANALYTICS SECURITY AUTHN/Z Cloud LLM Self Hosted Fine tuned Vector DBs 多様化/複雑化するAPI要件

© Kong Inc. 7 APIの拡⼤ = 複雑化する世界 NETWORK TRAFFIC L4/L7 FUTURE 2002 WE’RE ONLY HERE ! 2024 APIS AND MICROSERVICES

© Kong Inc. WE’RE ONLY HERE! API TRAFFIC 2002 NEAR FUTURE 8 NUMBER OF SERVICES NEAR FUTURE High Latency Unreliable Connectivity Traffic Anomaly Security Threats Blocked Access Control 複雑化するAPI = ガバナンスの課題

© Kong Inc. 全てのAPIを管理する ことが困難に… 全てのAPIは新たな 攻撃の対象に… APIのデータ処理が クリティカルに 全てのAPIは異なる方式 /環境下で展開される 2025年までに企業で利用 されるAPIの50%以上が ｢Unmanaged=野良API｣に 50%の組織が、過去12ヶ月 の間にAPIのセキュリティイ ンシデントを経験している 81%の組織が、1時間のダウ ンタイムが30万ドル以上の 損失を生む、と回答 組織はハイブリッド/マルチク ラウド環境下において、多様 な実装 (REST, GraphQL, gRPC) を求められる API API API API API API API API API APIを取り巻く環境 - “Predicts 2022: APIs Demand Improved Security and Management” - Gartner 9

© Kong Inc. © Kong Inc. Kong Ecosystem

© Kong Inc. Kong Konnect GOVERN API Gateway APPLICATION APPLICATION ⬍ North - South EDGE + CROSS-APP API Design API Testing API Client API Design & Testing BUILD & CONSUME APIs ⬌ East - West WITHIN APP Service Mesh AGGREGATION AGGREGATION Kongエコシステムの全体像 11

© Kong Inc. APIゲートウェイ CLIENT PRIVATE TRAFFIC PUBLIC TRAFFIC API APP API APP API APP API APP API APP API APP API APP API APP API APP API APP APIゲートウェイ PRIVATE TRAFFIC API Gatewayの役割 12

© Kong Inc. Nginx OpenResty API Management Admin API Kong Manager Declarative configuration Single Binary ~50MB Plugins Kong User Interface Intercept requests & responses and perform actions Underlying Kong engine Services, Routes etc can be managed through yaml/cli Managing Services, Routes, Consumers and Plugins Kong itself can be managed by an API Low-level operations e.g. load balancing services and routes Kong Gatewayの構成 13

© Kong Inc. 50k+ < 2k THROUGHPUT* (Trx / second) LATENCY* (Milliseconds) *GigaOm API Management Benchmark 2022 ~1ms 50ms+ Fully automated CI/CDデプロイモデルをサポートする100%宣⾔的な 構成管理 Best in class performance インスタンスあたり50K+ TPSを低遅延で処理 Ultra-lightweight and infinitely scalable 42MBのランタイムパッケージサイズ。JVM不 要。Nginx上で稼働し垂直/⽔平スケール可。 Plugin to any architecture and infrastructure オンプレ/マルチクラウド/Kubernetes/Serverless等 環境を選ばないシングルバイナリ。 competitor competitor Kong Gateway - パフォーマンスと拡張性 14

© Kong Inc. Authentication | Security | Traffic Control | Serverless | Analytics & Monitoring | Transformations | Logging | Deployment Kong Plugins - プラグインモデルによる拡張 15

© Kong Inc. APIゲートウェイ CLIENT PRIVATE TRAFFIC PUBLIC TRAFFIC API APP API APP API APP API APP API APP APIゲートウェイ PRIVATE TRAFFIC API APP API APP API APP Service PUBLIC TRAFFIC API APP API APP API APP API APP API APP APIゲートウェイ PRIVATE TRAFFIC Gateway ユースケースとポリシー AuthN AuthN Rate Limit Bot Detect AuthN AI Rate Limit Transform OPA 16

© Kong Inc. © Kong Inc. Kong AI Gateway

© Kong Inc. APIゲートウェイ PRIVATE TRAFFIC API APP API APP API APP Service PUBLIC TRAFFIC Gateway ユースケースとポリシー for LLM AuthN AI Rate Limit APIゲートウェイ CLIENT PRIVATE TRAFFIC PUBLIC TRAFFIC API APP API APP API APP API APP API APP API APP API APP API APP API APP API APP APIゲートウェイ PRIVATE TRAFFIC AuthN AuthN Rate Limit Bot Detect Transform OPA Multi-AI Adoption コストコントロールも念 頭に置いて、タスクには 適切なLMMを使い分けた い。 LLM AI Data Governance AIモデルに出⼊りする データにある機微情報 を適切にコントロール したい。 AI Usage Governance AIの利⽤をポリシーで制御 し、監視し、想定外のコス ト膨張となる⾃体を予防した い。 18

© Kong Inc. KONG AI Plugins ● LLMへの認証情報をプラグイン側で補完したの ちリクエストを送信。 ● 複数のLLMをクライアント側から動的に切り替 え。 ● プロンプトのテンプレート化。 ● ⽂脈を理解したキャッシング/バリデーショ ン。 ● LLM APIトークン数による流量制限。 ● プロンプトにポリシーを追加した後にリクエス トを送信。 ● 特定⽂⾔のブロックやマスキング。 ● APIのリクエストを送る前/レスポンスを受け 取った後にLLMを中継。 … 19

© Kong Inc. AI Proxy - 接続先LLMをダイナミックに切り替え ● 複数プラグインがLLMへのルータとして 機能。 ● 複数LLMをパラメータ、もしくはヘッ ダーによって切り替えて接続。 ● LLMへの接続認証情報をプラグインで保 持。 ● クライアント側でモデルの切り替えが 可能。 ● ストリーミングサポート。 ● OpenAI、Cohere、Anthropic、 Mistral、Llama2、Azureをサポート。 20

© Kong Inc. AI Prompt Decorator - プロンプトによるポリシー適⽤ プロンプトを補完することでポリシーを適⽤。 ● 回答を特定の⾔語に指定。 ● 回答⽂字数の制限。 ● 回答に特定情報を含むことを制限。（特定 情報のブロック、個⼈情報のマスキング、 等） ● 精度を⾼めるコマンドを補完。 21

© Kong Inc. AI Prompt Template - LLM利⽤のテンプレート化 事前に準備されたプロンプトをテンプレート化し、リク エストから渡される情報を補完。 ● LLMに送られるリクエストを事前に指定。 ● 精度の⾼いプロンプトを利⽤することにより解 答の品質を維持。 ● アプリケーションからのリクエスト転送メッ セージを簡素化（変数のみ送信） ● LLMのファーストユースケースとしてスコープ を絞って機能を提供。 22

© Kong Inc. © Kong Inc. AI Gateway Roadmap

© Kong Inc. API Summit 2024 - Where APIs and AI Converge ● Kong Gateway 3.8 / AI Gateway 3.8 ● Kong Insomnia AI Runner ● 新しいセマンティック系プラグイン …

© Kong Inc. 25 STREAMING SUPPORT AI TOKEN RATE LIMITING AZURE CONTENT SAFETY URL-SOURCED ROUTING CLAUDE 2.1 MESSAGES SEMANTIC PROMPT GUARD AI TRAIN PLUGIN HALLUCINATION MITIG. PROFANITY MITIG. PROMPT INJECTION SEC PROMPT JAILBREAKING SEC May 2024 (3.7) Q3-Q4 (3.8 GA+) OPENAI SDK COMPATIBILITY SEMANTIC CACHING SEMANTIC ROUTING GCP VERTEX LLM SUPPORT AWS BEDROCK LLM SUPPORT July 2024 (3.8 RC) ADVANCED LOAD BALANCING SEMANTIC AI RAG Kong AI Gateway - Roadmap 3.8 3.8 3.8 3.8 3.8 3.8 3.7 3.7 3.7 3.7 3.7 3.7

© Kong Inc. Thank you!