Share
Embed
Transcript
22 slides
-
&'()*+,-./ 日常工作中会面临很多问题,问题怎么进行处理?(三查:查日志,查监控,查代码) - 通过工作经验,迅速判断问题出在哪。 - 通过日志 - 系统日志:/var/log 目录下的文件 -
程序日志: 代码日志(项目代码输出的日志) - 服务应用日志 - Nginx,HAproxy - Tomcat,php-fpm - redis,mysql,mongo - RabbitMQ,Kafka - HDFS,NFS等等 -
&'()*+,-./ 通过日志排除,发现问题根源解决问题 越来越多的系统需要统一进行维护的时候,就提出了建立一套集中式的方法,把不同来源的数据集中整 合到一起。 一个完整的集中式日志系统,是离不开以下几个主要特点的: - 收集-能够采集多种来源的日志数据 - 传输-能够稳定的把日志数据传输到中央系统 -
存储-如何存储日志数据 - 分析-可以支持 UI 分析 - 警告-能够提供错误报告,监控机制 -
&'()*+,-./ 基于上述思路,市场上出现了许多产品或方案 - 简单的有 Rsyslog,Syslog-ng - 商业化的 Splunk(The Data-to-EverythingTM Platform,
Powering Security, IT and DevOps) - 开源的 - FaceBook 公司的 Scribe - Apache 的 Chukwa - Linkedin 的 Kafka - Cloudera 的 Fluentd - ELK Tips:Splunk是一款非常优秀的产品,但是它是商业产品,价格昂贵,让人望而却步. -
1234567(89 Tips: - Fluentd就是把通常的日志采集-缓存-分发-存储流程提炼出来,用户只需要考虑业务数据,至于数据的传输、 容错等过程细节都交给Fluentd来做。 - 为了统一处理各种日志,Fluentd把JSON作为内部数据格式,流入和流出的数据都是JSON格式。由于JSON 是一种通用的跨平台的数据格式,这给现有系统的改造带来很大便利。 - 由于对日志业务流程做了抽象,为了能支持各种日志,Fluentd将各采集分发步骤插件化,通过在各个步骤接
入合适的插件来处理对应的业务数据。 - Fluentd内置了常用的插件,比如in_tail、in_http、out_file、out_mongo等,开源社区也贡献了更丰富的插 件。通过组合各种插件,我们能够轻松搭建起自己的日志采集系统。 - Fluentd使用C作为开发语言,其插件系统的开发使用到了Ruby。C保证了系统的高效,Ruby给用户提供了一 个灵活使用插件的途径。 -
;<*&'=>?@A96BCDE 一、最初的日志架构ELK 在右图架构中,只有一个 Logstash、Elasticsearch 和 Kibana 实例。Logstash 通过输入插件从多种 数据源(比如日志文件、标准输入 Stdin
等)获取数据,再经过滤插件加工数据,然后经Elasticsearch 输出插件输出到 Elasticsearch,通过 Kibana 展示。 这种架构需要在各个服务器上部署 Logstash, 且比较消耗 CPU 和内存资源,所以比较适合计算资 源丰富的服务器,否则容易造成服务器性能下降,甚 至可能导致无法正常工作。 -
GHI&'=>?@A9JKLM 主要集群部署方案实践 1.Elasticsearch集群部署选择 -服务器系统自建相应版本的ES集群 -使用云托管的ES集群(云托管集群对后续使用集成云存储及自动冷备索引都是无缝衔接的,但是对于插件支持 方面有限,比如Elastic APM应用程序性能监测是不支持的) 2.Kafka集群部署选择 - Kafka集群可通过服务器自建集群部署
- 使用云托管Kafka集群(如:AWS的MSK集群,腾讯云的ckafka集群) 3.Fluentd系统日志收集客户端部署选择 -Fluentd系统日志收集客户端部署,统一日志采集的规则及要采集的格式。 (例:收集日志目录规范:/data/*/*/*.log)