APIライフサイクル管理の進化と生成AIの活用へ

by hashi

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

© Kong Inc. 全てのAPIを管理することが困難に… 全てのAPIは新たな攻撃の対象に… APIのデータ処理がクリティカルに全てのAPIは異なる方式 /環境下で展開される 2025年までに企業で利用されるAPIの50%以上が｢Unmanaged=野良API｣に 50%の組織が、過去12ヶ月の間にAPIのセキュリティインシデントを経験している 81%の組織が、1時間のダウンタイムが30万ドル以上の損失を生む、と回答組織はハイブリッド/マルチクラウド環境下において、多様な実装 (REST, GraphQL, gRPC) を求められる API API API API API API API API API APIを取り巻く環境 - “Predicts 2022: APIs Demand Improved Security and Management” - Gartner

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

© Kong Inc. … このように、APIにも他のソフトウェアコンポーネントと同じようにバージョンはあるが、その実装のバージョンとの相関はない。APIのバージョンは、実装がどのように進化するかではなく、インターフェイスコントラクトに対する変更（コンシューマーから見える変更）に基づいて進化する。 … セマンティックバージョニングをAPIに適用した時の数字は、<破壊的 >.<非破壊的>の2つだけである。 … コンシューマに必要なのは、1つ目の破壊的なレベルの数字けである。 - “Web APIの設計”, Arnaud Lauret, 2020, 翔泳社.

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

© Kong Inc. プロダクトマネジメントは、製品とその顧客を最も重視することで、開発からポジショニングと価格設定まで、製品ライフサイクルのすべてのステップをイドする組織機能です。最高の製品を作るため、プロダクトマネージャーが組織内で顧客の声を代弁し、市場の意見が反映されるようにします。　　このように顧客を重視することで、製品チームはデザインとパフォーマンスに優れた製品を継続的にリリースできます。市場に定着した製品がより優れた新しいソリューションにあっという間に地位を奪われるテクノロジー分野では、顧客を深く理解し、顧客に応じてカスタマイズされたソリューションを構築する能力がこれまで以上に求められています。そこで、プロダクトマネジメントが重要になります。 - “プロダクトマネジメントとは” ATLASSIAN website

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

© Kong Inc. API Lifecycle - Its Entire Life and Daily Routines Plan Planning and designing the API Developing the API Testing the API Deploying the API Retiring the API Develop Test Deploy Retire - “What is API Lifecycle Management?” - Swagger

Slide 17

Slide 17 text

© Kong Inc. API Lifecycle - Merging Two Lifecycles - “What is the API Lifecycle?” - Postman Develop Design Deﬁne Deploy Distribute Producer Lifecycle Discover Observe Deploy Evaluate Integrate Consumer Lifecycle

Slide 18

Slide 18 text

Slide 19

Slide 19 text

© Kong Inc. Kong Konnect GOVERN API Gateway APPLICATION APPLICATION ⬍ North - South EDGE + CROSS-APP API Design API Testing API Client API Design & Testing BUILD & CONSUME APIs ⬌ East - West WITHIN APP Service Mesh AGGREGATION AGGREGATION Kongエコシステムの全体像

Slide 20

Slide 20 text

© Kong Inc. Nginx OpenResty API Management Admin API Kong Manager Declarative conﬁguration Single Binary ~50MB Plugins Kong User Interface Intercept requests & responses and perform actions Underlying Kong engine Services, Routes etc can be managed through yaml/cli Managing Services, Routes, Consumers and Plugins Kong itself can be managed by an API Low-level operations e.g. load balancing services and routes Kong Gatewayの構成

Slide 21

Slide 21 text

© Kong Inc. 50k+ < 2k THROUGHPUT* (Trx / second) LATENCY* (Milliseconds) *GigaOm API Management Benchmark 2022 ~1ms 50ms+ Fully automated CI/CDデプロイモデルをサポートする 100%宣言的な構成管理 Best in class performance インスタンスあたり50K+ TPSを低遅延で処理 Ultra-lightweight and inﬁnitely scalable 42MBのランタイムパッケージサイズ。JVM不要。Nginx上で稼働し垂直/水平スケール可。 Plugin to any architecture and infrastructure オンプレ/マルチクラウド/Kubernetes/Serverless 等環境を選ばないシングルバイナリ。 competitor competitor Kong Gateway - パフォーマンスと拡張性

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

© Kong Inc. Decentralised Speed oriented ✅ SPEED ❌ BEST PRACTICES ❌ CONSISTENCY ❌ RELIABILITY Federated API Platform as a Product ✅ SPEED ✅ BEST PRACTICES ✅ CONSISTENCY ✅ RELIABILITY Central Capability Enablement Best Practices Architecture Guidance Shared Assets Common Tooling Golden Images Frameworks Enable Self Service Centralised Quality oriented ❌ SPEED ✅ BEST PRACTICES ✅ CONSISTENCY ✅ RELIABILITY Delegate Central IT Kong デプロイメントとプラットフォーム

Slide 26

Slide 26 text

© Kong Inc. APIゲートウェイ Client PRIVATE TRAFFIC PUBLIC TRAFFIC API APP API APP API APP API APP API APP APIゲートウェイ PRIVATE TRAFFIC API APP API APP API APP Service PUBLIC TRAFFIC API APP API APP API APP API APP API APP APIゲートウェイ PRIVATE TRAFFIC Gateway ユースケースとポリシー AuthN AuthN Rate Limit Bot Detect AuthN AI Rate Limit Transform OPA

Slide 27

Slide 27 text

© Kong Inc. ポリシー管理という抽象化レイヤー Business Logic (B) Policy (P) Cloud Monolith Routing Load Balancing Authentication Authorization Logs & Metrics Rate Limiting Caching Validation Transformation Microservices MULTI-CLOUD & KUBERNETES ON-PREMISE HOSTING B Shared Policy Layer (Kong Gateway) B B B B B B B B B Serverless (e.g. AWS Lambda) REST } { 3rd-party

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Slide 30

Slide 30 text

© Kong Inc. API ライフサイクルマネジメントユーザーストーリーやベストプラクティスを通してAPIスペックをデザイン。 APIユーザーからのフィードバックを早期に集め、将来的なリワークや無駄な機能の開発を最小限に留める。 APIプラットフォームを利用して自動生成したテストを組み込み、モックサーバーにデプロイ。宣言的にAPIをセキュアに管理。APIプロダクト管理も他のリソース同様にクラウドネイティブな運用の一部に。 APIをプロダクトとしてバージョン管理し公開。チームや外部ユーザーにセルフサービスでAPIアクセスを提供。 Kong Manager/Konnectを通してプラットフォームやAPIプロダクトを横断的に管理。 APIの利用状況やプラットフォームのメトリクスを通してサービス/プラットフォーム双方の継続的改善へ繋げる。 Design Collaborate 3 0 Mock Test Analyse Operate Publish Deploy Design Verify Secure & Package Ship & Engage Govern Analyse Iterate Insomnia Insomnia Dev Portal Insomnia decK Inso CLI Konnect Dev Portal Kong Enterprise Konnect Analytics Kong Gateway

Slide 31

Slide 31 text

Slide 32

Slide 32 text

Slide 33

Slide 33 text

© Kong Inc. Kong Insomnia - OSS API開発プラットフォーム Design API Services スタンダードを共有し、 APIデザインプロセスをシンプルに Debug API Services 豊富なツールセットを利用してREST, gRPC, GraphQLベースのAPIをデバッグ Test API Services テストスイートを定義し自動化 Insomnia ● curlコマンド、Open API Spec、 Postmanコレクションのインポート ● チーム内スクリプト共有 ● Spec (ドキュメント) 管理 ● モックサーバーのデプロイ

Slide 34

Slide 34 text

Slide 35

Slide 35 text

© Kong Inc. decK - Declarative management for Kong Gateway API Spec PIPELINE Spec to Conﬁg Deploy Declaratively deck file openapi2kong deck file merge deck gateway dump deck gateway diff deck gateway sync Deployed! Plugins Consumers & Roles

Slide 36

Slide 36 text

Slide 37

Slide 37 text

Slide 38

Slide 38 text

Slide 39

Slide 39 text

© Kong Inc. APIゲートウェイ PRIVATE TRAFFIC API APP API APP API APP Service PUBLIC TRAFFIC Gateway ユースケースとポリシー for LLM AuthN AI Rate Limit APIゲートウェイ CLIENT PRIVATE TRAFFIC PUBLIC TRAFFIC API APP API APP API APP API APP API APP API APP API APP API APP API APP API APP APIゲートウェイ PRIVATE TRAFFIC AuthN AuthN Rate Limit Bot Detect Transform OPA Multi-AI Adoption コストコントロールも念頭に置いて、タスクには適切なLMMを使い分けたい。 LLM AI Data Governance AIモデルに出入りするデータにある機微情報を適切にコントロールしたい。 AI Usage Governance AIの利用をポリシーで制御し、監視し、想定外のコスト膨張となる自体を予防したい。

Slide 40

Slide 40 text

Slide 41

Slide 41 text

© Kong Inc. KONG AI Plugins ● LLMへの認証情報をプラグイン側で補完したのちリクエストを送信。 ● 複数のLLMをクライアント側から動的に切り替え。 ● プロンプトのテンプレート化。 ● LLMトークンベースの流量制限。 ● プロンプトにポリシーを追加した後にリクエストを送信。 ● 特定文言のブロックやマスキング。 ● APIのリクエストを送る前/レスポンスを受け取った後にLLMを中継。

Slide 42

Slide 42 text

© Kong Inc. AI Proxy - 接続先LLMをダイナミックに切り替え ● 複数プラグインがLLMへのルータとして機能。 ● 複数LLMをパラメータ、もしくはヘッダーによって切り替えて接続。 ● LLMへの接続認証情報をプラグインで保持。 ● クライアント側でモデルの切り替えが可能。 ● ストリーミングサポート。 ● OpenAI、Cohere、Anthropic、 Mistral、Llama2、Azureをサポート。

Slide 43

Slide 43 text

Slide 44

Slide 44 text

© Kong Inc. AI Prompt Template - LLM利用のテンプレート化事前に準備されたプロンプトをテンプレート化し、リクエストから渡される情報を補完。 ● LLMに送られるリクエストを事前に指定。 ● 精度の高いプロンプトを利用することにより解答の品質を維持。 ● アプリケーションからのリクエスト転送メッセージを簡素化（変数のみ送信） ● LLMのファーストユースケースとしてスコープを絞って機能を提供。

Slide 45

Slide 45 text