AI選択の落とし穴を避けつつ、API開発の手間を減らす「ゲートウェイ」| A “gateway” that reduces the effort of API development while avoiding the pitfalls of AI adoption

Transcript

1. © Kong Inc. 白石　庸祐　Solutions Engineer @Kong AI選択の落とし穴を避けつつ、 API開発の手間を減らす 「ゲートウェイ」
2. © Kong Inc. © Kong Inc. Kong について
3. © Kong Inc. Kong と私 3 ・本社：サンフランシスコ 2017年創業 　(前進のMashapeは2009年創業) ・日本：2023年から ・世界で一番使用されている APIゲートウェイ ・だけではなくサービスメッシュ、 API Client、 AIのGatewayなど、豊富なポートフォリオの 「API Platform」 「これはもう、日本の企業や人をめっちゃ助けること ができるに違いない」といったソリューションを広め ることが生きがい ・金融系での利用実績が多い ・日本のユーザー企業・社員・パートナー拡大中！
4. © Kong Inc. 4 Kongのミッション： 全ての企業をAPIファーストへ Kong Inc 事業：APIマネジメントプラットフォームの開発‧    提供７年で100M $。ユニコーン企業の仲間⼊り API マネジメントプラットフォームのグローバルリーダー ⾦融サービス 製造 テクノロジー 通信‧エンターテイメント トランザクション/⽇ GWインスタンス/⽉ エンタープライズ採⽤ ARR(年間経常収益) SaaS(Konnect) の年間成⻑率 Leader, API Management (Magic Quadrant 2020-2024)
5. © Kong Inc. 5 本⽇お話しすること ・AI について ・API について
6. © Kong Inc. 6 開発⽣産性についてのキーワード など 生成AIの利用 AIエージェント MCP マイクロサービス化 内製化 DevOps
7. © Kong Inc. 7 開発⽣産性についてのキーワード - AIについて など 生成AIの利用 AIエージェント MCP マイクロサービス化 内製化 DevOps
8. © Kong Inc. 8 AIによる⽣産性の向上 - 多くの企業‧開発者がAIを利⽤ 出典：Tech Insider - https://www.businessinsider.jp/article/2506-ai-google-engineers-coding-productive/ 出典：stackoverflow - https://survey.stackoverflow.co/2024/ai
9. © Kong Inc. 9 しかし⽇本ではあまり利⽤が進んでいない現状 出典：PwC :生成AIに関する実態調査2024 春 米国との比較 https://www.pwc.com/jp/ja/knowledge/thoughtleadership/2024/assets/pdf/generative-ai-survey2024-us-comparison.pdf?utm_source=chatgpt.com 出典：Reuters https://www.reuters.com/technology/artificial-intelligence/more-than-40-japanese-companies-have-no-plan-make-use-ai-2024-07-17/?utm_source=chatgpt.com 出典：https://xtech.nikkei.com/atcl/nxt/column/18/00001/10792/
10. © Kong Inc. 10 なんで？ 教えてAI
11. © Kong Inc. 11 ITで解決できそうな課題に対して切り込む リ テ ラ シ ー セキュリティ コスト 正確性 への不安 利用方針 機密情報漏洩 AI利用キーの漏洩 AI / AIエージェント不正利用 良くないプロンプトの利用 利用者・サービスによるトーク ンの使いすぎ ハルシネーション対策 従業員が、良いプロンプトを打 てるか AIをどの業務に使うか どのAIを使うか 課題 トークン量を見て、制限をかける キャッシュ利用によるトークン削減 プロンプトを補完する テンプレートの利用 利用AIを簡単に切り替える仕組み とりあえず試験的に利用してみる 機密情報の検知・マスキング 解決策 キーの一元管理 認証・認可 内容を見て、ブロック 全てのAI通信に　ガバナンス を効かせて、抜け漏れをなくす
12. © Kong Inc. 12 まずは、AI利⽤の⼟台作り - ゲートウェイの導⼊ Chat GPT Claude Gemini Copilot Bedrock . . . AIへの通信(API)をすべてGW(Gateway)でまとめる = 一元管理 できる = ガバナンス の確立 ★以下が揃うと、ガバナンスの面で圧倒的に嬉しい ・できるだけ対応AIが多い = 今後AIが増えてきた時に「サポート外」を作らないようにする ・GWがどこでも動く = オンプレでもクラウド (AWS, Azure, GCPなど)でも動くこと。 すると、エージェントがどこにあっても、そのそばに GWを作る構成が取れる User User Agent Agent Chat GPT Claude Gemini Copilot Bedrock . . . Gateway User User Agent Agent
13. © Kong Inc. 13 ここに、ポリシーをつける Gatewayで以下のような防御をつける ・流量制限 - 異常に利用量の多いユーザー・エージェントへの対応 ・認証認可 - AI利用時に、利用する人・サービスを確認する など、次ページより詳細をご説明 Chat GPT Claude Gemini Copilot Bedrock . . . Gateway User User Agent Agent Chat GPT Claude Gemini Copilot Bedrock . . . Gateway User User Agent Agent 流量制限 認証認可 情報漏洩防止
14. © Kong Inc. 14 Chat GPT Claude Gemini Copilot Bedrock . . . Gateway User User Agent Agent 認証認可 キーの埋め込み ・キーの一元管理 - キーをGWにて埋め込むことで、 ユーザーからのキーの流出を防止 IdP ・認証認可の実現 - OpenID ConnectなどによりEntra ID, OktaなどのIdPと連携し、怪しいユーザー からのアクセスを防止。 - 外部ユーザはキー認証、など分けること も可能 ・エージェント自体の保護 - 何らかのサービスから利用されるエー ジェント自体を、流量制限や認証認可。 JSONオブジェクトアタックなどからも守 る ・重要情報の保護 - 機微な情報がリクエストに入ってい る場合、情報をマスキング - 問題のあるプロンプトを受けた場合 にはそれをブロック セキュリティ 情報漏洩防止 Gateway User Agent 流量制限 攻撃からの防御
15. © Kong Inc. 15 Chat GPT Claude Gemini Copilot Bedrock . . . Gateway User User Agent Agent ・テンプレの作成・利用 - プロンプトの一部をテンプレート化してお き、誰が問い合わせても 一定の正確性を担保できるようにする ・流量制限 - トークン量を確認し、設定したトーク ンを超えたら止めることで使いすぎ防 止 コスト対策、プロンプトの補助 ルーティング切替 キャッシング 流量制限 ・キャッシング - 似た意味の問い合わせが きたらGWがキャッシュ したおいた返信を回答 キャッシュ応答 プロンプト補助 x ・マルチLLMの利用 - GWでLLMの差分を吸収し、 必要な時に切り替え可能 - 意味合いを判断し、自動にルート を切り替えることも可能 切 替
16. © Kong Inc. 16 MCPの通信にも、Gatewayを。
17. © Kong Inc. 17 本⽇お伝えしたいこと ・AIは早めに使い始めた方が良い ・それぞれの進化が早いので、どれを使うか悩ましい 　どれでも使えるように「切り替え可能」な形を取るのが良い ・使う場合はセキュリティとガバナンスが大事 　AI用の ゲートウェイを使うことが解決策となる
18. © Kong Inc. 18 18
19. © Kong Inc. 19 開発⽣産性についてのキーワード - APIについて など 生成AIの利用 AIエージェント MCP マイクロサービス化 内製化 DevOps
20. © Kong Inc. 20 APIで、２つの側⾯からビジネスを⽀える ▪開発者やVPoEの視点 APIの作成において、ビジネスロジックに集 中できることによる開発生産性の向上 マイクロサービス化への移行のハードルを 下げる API要件の違い(期待するヘッダなどの差 )を GWで埋めることにより、既存の APIへの変 更を最小限にする ▪IT部門 - CIO, CISOの視点 セキュリティやガバナンスを効かせることによ り、より安心してAPIを活用できる 外部へAPI公開をし、ビジネスに繋げることも楽 になる
21. © Kong Inc. クライアント／サービス Kongとは 従来の姿 API
 認証認可 流量制限 ロギング キャッシング アプリA API
 認証認可 流量制限 キャッシング アプリB API
 認証認可 ロギング キャッシング アプリC ・・・ ・・・ ・・・ 非 機 能 要 件 Kongが目指す姿 API
 クライアント／サービス アプリA API
 アプリB API
 アプリC 認証認可 流量制限 ロギング キャッシング Plug-in 非 機 能 要 件 複数LLM管理 APIゲートウェイ Kongが提供する Konnect (SaaS)上でAPIの 統合管理を実現 従来は各々のアプリケーション層で実装していた非機能要件を、 API Gateway層で巻き取る = ガバナンスとセキュリティを効かせるのが容易になる
22. © Kong Inc. 22 開発者視点での生産性UP 非機能 要件 ビジネス ロジック API 新規 作成 ビジネス ロジック アプリA 影響範囲 広すぎて触 れたくない アプリB 作ったSIerと すでに付き 合いない アプリC 重要だけど 古すぎて触 れたくない 新要件： 認証、ログ転送、モニタリングの 統一・・・ API 改修 GWで巻き 取る ビジネス ロジック GWで 非機能要件補完 アプリA アプリB アプリC
23. © Kong Inc. 23 API Gateway API Management API Platform ⽇々進化 - API Platform の現状
24. © Kong Inc. 24 マルチクラウドの時代、アプリも分散 「全部AWSです」「Azureのみです」という方が珍しい 参考 : https://xtech.nikkei.com/atcl/nxt/column/18/02537/072700002/ 参考 : https://www.publickey1.jp/blog/25/aws30azure2220251synergy_research.html API GW App API GW API GW API GW Mesh App App App App App App 新たな課題 ：分散されたAPI GWをどうやって管理する？
25. © Kong Inc. 25 API GW API GW API GW API GW Mesh App App App App App App App API Gateway から API Management へ APIをAPI GWで管理。そしてAPI GWを、SaaS型の制御基盤でまとめて管理
26. © Kong Inc. 26 API GW API GW API GW API GW Mesh App App App App App App App サービスカタログ 開発者ポータル APIのプロダクト化 API 高度分析 API Management ↓ “API Platform”
27. © Kong Inc. 27 API GW API GW API GW API GW Mesh App App App App App App App サービスカタログ 開発者ポータル APIのプロダクト化 API 高度分析 Kong API Platform
28. © Kong Inc. 28 API GW API GW API GW API GW Mesh App App App App App App App サービスカタログ 開発者ポータル APIのプロダクト化 API 高度分析 Kong API Platform
29. © Kong Inc. 29 API GW API GW API GW API GW Mesh App App App App App App App サービスカタログ 開発者ポータル APIのプロダクト化 API 高度分析 内部・外部用 開発者ポータル APIバージョン・ スキーマ管理 Request / Responseの分析 横断的環境管理 / スコアリング APIOps 仕様変更を自動適用 ガバナンス セキュリティポリシーなどを全体管理 必要部分のみ の開発に集中 Kafkaの データを活用 ポリシー適用 セキュアなAPI クライアント Kong API Platform 利用が簡単な サービスメッシュ AIのガバナンス セキュリティ
30. © Kong Inc. 30 API Platform ”API FIRST”の世界へ ‧連携を視野に、APIありきで設計‧開発 ‧APIをより重要なものと位置付ける ‧APIでビジネスを拡張していく  など、弊社が掲げるミッション API FIRST API PLATFORM ‧全てのAPIにセキュリティとガバナンス ‧APIをより活⽤するためのソリューション群 ‧APIOpsの活⽤によるパイプライン作成 要件定義 コーディング  API APIファースト コードファースト 要件定義 API設計  コーディング