Streamline EKS Management through Agentic AIOps Workflow with K8sGpt and ArgoCD

This session explores how AIOps can be built by analyzing large-scale cloud-native operational data and applying AI-driven decision-making. Focusing on Kubernetes environments, it demonstrates how multi-agent architectures powered by Amazon Bedrock AgentCore and K8sGPT can automate fault detection, root cause analysis, and remediation. By combining domain expertise, observability data, and AI planning mechanisms, the solution reduces manual troubleshooting, shortens MTTR, and lowers operational complexity. The session also showcases voice-driven operations and human-in-the-loop safeguards, illustrating how intelligent automation can deliver reliable, auditable, and scalable cloud operations.

Transcript

1. COMMUNITY DAY 开发者的聚会 讲师： 李宛真 李少奕 亚马逊云科技技术客户经理 亚马逊云科技Hero
2. 01 云原生运维数据分析挑战
3. Kubernetes运维挑战 资源类型种类多、关联复杂 集群对象、事件、日志数据量大 面对告警排查复杂、耗时 K8s学习成本、门槛高 运维数据量大、故障排查耗时 平均MTTR超过4小时，人工分析占比达65% ，分析数据量级可达TB级别 多工具切换复杂 SRE日均切换8+工具，上下文切换成本高 自动化能力有限 仅30%常规故障可自动修复，复杂场景 依赖人工决策
4. 运维效率对比：传统模式vs智能化方案
5. 02 AIOps方案介绍
6. Amazon Bedrock AgentCore 高度灵活 高度可信 快速创造价值 打造强大 AI Agent， 免除基础设施和运维困扰 部署企业可信任的安全、 可扩展且可靠的 Agent 通过各种框架或模型 构建 Agent 提供支撑高性能 Agent 安全规模化运行的基础服务 安全、规模化部署 利用工具和记忆系统 增强功能 监控 利用各种框架和模型，安全、可靠地规模化部署和运营高性能 Agent
7. 为 Agent 提供安全、可扩展的运行时环境 利用工具和记忆系统 增强功能 安全、规模化部署 监控 AgentCore Runtime AgentCore Identity 7
8. 打造高效 Agent 所需的核心工具和能力 监控 安全、规模化部署 AgentCore Browser AgentCore Code Interpreter AgentCore Memory AgentCore Gateway 利用工具和 记忆系统 增强功能 8
9. 安全、规模化部署 提供 Agent 运行可见性 监控 利用工具和记忆系统 增强功能 AgentCore Observability 9
10. K8sGPT：开源K8s故障诊断专家 • CNCF开源沙箱项目，为Kubernetes维护提供AI驱动的可观测性和自动化运维 • 支持CLI与Operator双模式，可即刻分析也可持续监控 • 通过扫描集群资源、事件、日志、指标，集成Amazon Bedrock上的AI模型生成文字洞察、解释，并可以与 Kiro的MCP功能集成，通过自然语言观测、维护集群 • 解决传统运维的被动响应问题，采用主动性AI智能运维 • 支持多样自定义分析器与可观测工具，可集成 Prometheus、Alertmanager、Grafana 等
11. 技术融合：AI理解+专业知识=智能运维决策 协同价值：Bedrock AgentCore提供多智能体协作框架， K8sGPT提供专业领域知识，ArgoCD提供CICD自动恢复能力 能力倍增：自然语言接口降低使用门槛，多智能体分工提升 处理效率
12. 核心工作流程：从问题到解决的闭环 1. 问题发现 监控告警或自然语 言提问触发 2. 智能体调度 AgentCore分配任 务给对应专家智能 体 3. 故障分析 K8sGPT执行日志/ 指标分析，定位根 因 4. 自动修复 ArgoCD执行配置更 新 5. 结果反馈 生成报告并记录知 识库
13. AgentCore和K8sGPT驱动的AIOps方案架构
14. 设计哲学：采用先思考，后执行理念 ' Plan-First Approach：先制定完整调查计划再执行 Memory-Driven Intelligence ：基于历史经验和用戶偏好决策 Complexity-Aware Routing：根据复杂度决定是否需用戶确认 三层架构 规划层： create_investigation_plan （制定调查计划） 路由层： route （决定执行流程） 聚合层： aggregate_responses （整合最终结果） 核心职责 分析用戶查询、制定调查计划、智能路由任务、协调专业Agent、聚合结果生成报告、管理记忆系统 Amazon Bedrock AgentCore 多智能体设计 分层协调式多Agent架构： 1个Supervisor Agent统筹规划，4个专业化Agent分工执行，基于LangGraph状态图管理协作流程。 Supervisor Agent 核心架构与职责
15. Supervisor Agent 工作流程与关键机制 工作流程 关键机制 记忆系统集成： 管理用戶偏好、基础设施知识、调查历史 三类记忆 防幻觉机制： 工具归属验证（响应需含工具来源）、数据一 致性检查（验证格式和内容） 自适应输出： 技术⻛格（含详细技术分析）、执行⻛格（专 注业务影响） 用戶查询 记忆检索 智能规划 路由决策 结果聚合 格式化输出 自动记忆捕获
16. Amazon Nova Sonic Amazon Nova Sonic是在Amazon Bedrock上提供的一款语音对话模型。它统一了传统分离的语音理解与语音生成 模型，并且可以实现真实人类般的语音对话，支持多语言、多语调，具备低延迟、高性能的特点。 与运维场景结合核心价值： 将传统复杂人工的排查+修复极简化为语音对话， 最大化实现智能运维AIOps，降低MTTR 使用场景： AI智能客服：24/7响应客户咨询 企业语音助手：集成知识库、智能代理、外部 工具实现定制化服务 多邻国语言学习工具：支持多种语言 多行业应用：金融科技、医疗、智能家居等
17. 通过智能语音交互重塑AIOps方案
18. 03 场景演示
19. 场景演示介绍 演示集群： - 在亚马逊云科技上部署的EKS托管集群， 集群名：eks-cluster 集群资源概况： 集群通过ArgoCD的application从GitHub读 取多个K8s资源部署。包括2个pod、一个 service和一个Deployment Pod存在的问题： 设置了内存上限200Mi，但是我们设置运行 205Mi的进程，会造成CrashLoopBackOff 实验修复场景： 通过K8sGPT识别Pod问题，并提供问题的解释和修复建议。 最后通过ArgoCD实现对application内Helm Chart的内存上限参数调整，触发ArgoCD修改pod配置，让pod成功启动。
20. 通过K8sGPT识别集群故障 1）本地安装K8sGPT Cli工具 brew install k8sgpt 2）将Amazon Bedrock上的Claude模型添加到K8sGPT配置中作为分析模型 k8sgpt auth add --backend amazonbedrock --model us.anthropic.claude-sonnet-4-20250514-v1:0 -- providerRegion <region-name>（已经支持Claude 4 Sonnet、Nova Pro/Lite等） 3）将Bedrock设为默认分析模型平台 k8sgpt auth default -p amazonbedrock 4）更新kube配置文件，连接到云端EKS集群 aws eks update-kubeconfig --region <region-name> --name my-cluster 5）利用Amazon Bedrock对EKS集群事件和问题分析，生成解决方案。 k8sgpt analyze --explain --backend amazonbedrock
21. 场景演示
22. 访问GitHub开始构建 扫描二维码动手构建AIOps
23. 总结 • 了解如何手把手构建一个以Amazon Bedrock AgentCore 为底座，由AI多智能协作体系赋能的K8s 智能化运维方案。仅需简单的一句话，就可以完成从问题识别、诊断到全自动修复的全链路流程，极 大简化大量运维数据的分析与人工修复操作，降低手动错误风险。 • 本方案与 K8sGPT 原有的有限自动修复能力相比，自定义的添加了更多基于业务的自动修复功能，更 为灵活、可扩展性更强。 • 对于自动化修复场景，我们引入了HITL（Human-in-the-Loop） 流程，保障自动修复的可靠性与可 控性。依托 ArgoCD的原生能力，所有修复操作都具备可审计性、可回滚性，降低维护风险。 • 运维工程师可直接通过语音的方式最大化实现AIOps智能运维，显著降低 MTTI和MTTR。 • 未来计划：通过集成CloudWatch Anomaly Detection (AD)和DevOps Guru，基于分析历史数据预 测潜在K8s集群故障
24. THANKS