APIライフサイクル管理とAI Gateway

Serverless Meetup Osaka #1 登壇資料です。

Transcript

1. © Kong Inc. Shinichi Hashitani, Solutions Engineer @Kong API ライフサイクル管理と AI Gateway
2. © Kong Inc. 2 アンケートにご協力ください！ bit.ly/4bHgLZ8
3. © Kong Inc. Hello! My name is 3
4. © Kong Inc. 4 The World Leading API Company • hashi (Shinichi Hashitani) • Staff Solutions Engineer • Kong <- Confluent <- Pivotal (VMware Tanzu) • Modernization, Kafka, stream processing, cloud data analytics. bit.ly/4bHgLZ8
5. © Kong Inc. 5 出身は兵庫県伊丹市 このあたり 趣味は農作業
6. © Kong Inc. 50k+ < 2k THROUGHPUT* (Trx / second) LATENCY* (Milliseconds) *GigaOm API Management Benchmark 2022 ~1ms 50ms+ Fully automated CI/CDデプロイモデルをサポートする 100%宣言的な構 成管理 Best in class performance インスタンスあたり50K+ TPSを低遅延で処理 Ultra-lightweight and infinitely scalable 42MBのランタイムパッケージサイズ。JVM不 要。Nginx上で稼働し垂直/水平スケール可。 Plugin to any architecture and infrastructure オンプレ/マルチクラウド/Kubernetes/Serverless 等環境を選ばないシングルバイナリ。 competitor competitor Kong Gateway - パフォーマンスと拡張性
7. © Kong Inc. Nginx OpenResty API Management Admin API Kong Manager Declarative configuration Single Binary ~50MB Plugins Kong User Interface Intercept requests & responses and perform actions Underlying Kong engine Services, Routes etc can be managed through yaml/cli Managing Services, Routes, Consumers and Plugins Kong itself can be managed by an API Low-level operations e.g. load balancing services and routes Kong Gatewayの構成
8. © Kong Inc. GATEWAY プラグインによる拡張 Authentication | Security | Traffic Control | Serverless | Analytics & Monitoring | Transformations | Logging | Deployment https://docs.konghq.com/hub/
9. © Kong Inc. Kong Konnect GOVERN API Gateway APPLICATION APPLICATION ⬍ North - South EDGE + CROSS-APP API Design API Testing API Client API Design & Testing BUILD & CONSUME APIs ⬌ East - West WITHIN APP Service Mesh AGGREGATION AGGREGATION Kong エコシステムの全体像
10. © Kong Inc. APIエコシステムの健全化 10 Client Kong Gateway PROVIDE COMPREHENSIVE CONNECTIVITY At the edge Within application Across applications Kong Gateway Edge 1 2 3 1 2 3 DESIGNED IN Design Test Collaborate THROUGH ARCHITECTURAL FREEDOM
11. © Kong Inc. ポリシー管理という抽象化レイヤー 11 Business Logic (B) Policy (P) Cloud Monolith Routing Load Balancing Authentication Authorization Logs & Metrics Rate Limiting Caching Validation Transformation Microservices MULTI-CLOUD & KUBERNETES ON-PREMISE HOSTING B Shared Policy Layer (Kong Gateway) B B B B B B B B B Serverless (e.g. AWS Lambda) REST } { 3rd-party
12. © Kong Inc. API ライフサイクル マネジメント 12 ユーザーストーリーやベストプラクティスを 通してAPIスペックをデザイン。 APIユーザーからのフィードバックを早期に集め、将来的な リワークや無駄な機能の開発を最小限に留める。 APIプラットフォームを利用して自動生成 したテストを組み込み、モックサーバーに デプロイ。 宣言的にAPIをセキュアに管理。APIプロダクト 管理も他のリソース同様にクラウドネイティブ な運用の一部に。 APIをプロダクトとしてバージョン管理し公開。 チームや外部ユーザーにセルフサービスでAPIア クセスを提供。 Kong Manager/Konnectを通してプラットフォー ムやAPIプロダクトを横断的に管理。 APIの利用状況やプラットフォームのメトリ クスを通してサービス/プラットフォーム双 方の継続的改善へ繋げる。 Design Collaborate 1 2 Mock Test Analyse Operate Publish Deploy Design Verify Secure & Package Ship & Engage Govern Analyse Iterate Insomnia Insomnia Dev Portal Insomnia decK Inso CLI Konnect Dev Portal Kong Enterprise Konnect Analytics Kong Gateway
13. © Kong Inc. Kong Insomnia - API開発プラットフォーム 13 Design API Services スタンダードを共有し、 APIデザインプロセス をシンプルに Debug API Services 豊富なツールセットを利用 してREST, gRPC, GraphQLベースのAPIをデ バッグ Test API Services テストスイートを定義 し自動化 Insomnia • curlコマンド、Open API Spec、 Postmanコレクションのインポート • チーム内スクリプト共有 • Spec (ドキュメント) 管理 • モックサーバーのデプロイ
14. © Kong Inc. API Ops パイプライン 14
15. © Kong Inc. © Kong Inc. Enter Kong AI Gateway 15
16. © Kong Inc. INTERACTING REAL WORLD USING AI TRAINING AI
17. © Kong Inc. The more AI the more API INTERACTING REAL WORLD USING AI TRAINING AI API API API
18. © Kong Inc.
19. © Kong Inc. Cloud Self-Hosted Specialized
20. © Kong Inc. Cloud Self-Hosted Specialized ✅ ✅ ✅ ✅ ✅ ✅
21. © Kong Inc. One API to rule them all { }
22. © Kong Inc. One API to rule them all { } AI Credentials AI Traffic Control AI Logging And more AI Security & AI Observability
23. © Kong Inc. One API to rule them all { } AI Credentials AI Traffic Control AI Logging And more AI Security & AI Observability AI Prompt Guard AI Prompt Decorator AI Prompt Templator AI Compliance & AI Abuse prevention
24. © Kong Inc. One API to rule them all { } AI Credentials AI Traffic Control AI Logging And more AI Security & AI Observability AI Prompt Guard AI Prompt Decorator AI Prompt Templator AI Compliance & AI Abuse prevention AI Request Transformer AI Response Transformer
25. © Kong Inc. One API to rule them all { } AI Credentials AI Traffic Control AI Logging And more AI Security & AI Observability Prompt Guard Prompt Decorator Prompt Templator AI Compliance & AI Abuse prevention AI Request Transformer AI Response Transformer Use AI without coding
26. © Kong Inc. One API to rule them all { } AI Credentials AI Traffic Control AI Logging And more AI Security & AI Observability Prompt Guard Prompt Decorator Prompt Templator AI Compliance & AI Abuse prevention AI Request Transformer AI Response Transformer Use AI without coding
27. © Kong Inc. AI productivity and scalability 1 Automating AI Governance 2 Implementing AI Security 3
28. © Kong Inc. DEMO
29. © Kong Inc.
30. © Kong Inc.
31. © Kong Inc.
32. © Kong Inc.
33. © Kong Inc.
34. © Kong Inc. 34
35. © Kong Inc. Thank you!