Sumo Logic活用事例とその運用

by gree_tech

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Copyright © GREE, Inc. All Rights Reserved. ● アプリケーションのデバッグ ● Sumo Logic ● 障害の原因調査・パフォーマンスのボトルネック特定 ● 状態監視: 内製基盤 ● パフォーマンス分析: Sumo Logic, NewRelic, 内製基盤 ● セキュリティ・監査 ● CloudTrail: Sumo Logic ● その他: 内製基盤 ● ユーザ分析 ● 内製基盤グリーにおけるログ分析基盤

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Copyright © GREE, Inc. All Rights Reserved. ● Application Log ● ex: php.log, app.log ● 全文検索やLog Reduceでバグ調査 ● デプロイ時にLive Tailでエラー確認 ● 独自ダッシュボードを作成している部署もある ● Middleware Log ● ex: mysql error/slow log, apache error ● App Catalogで簡単にダッシュボードが作成可能 ● Sumo LogicはCloudNativeな要件にも対応 ● インスタンスのライフサイクルとは独立したログ管理 ● Service, Roleなど任意の集合に対する検索 Application / Middleware Log

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Copyright © GREE, Inc. All Rights Reserved. Architecture Application / Middleware Log (event) CreateLogGroup EC2 Aurora RDS CloudWatch Logs Connector Subscriber Subscription Filter Refs ● https://github.com/SumoLogic/fluentd-output-sumologic ● https://github.com/SumoLogic/sumologic-aws-lambda

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Copyright © GREE, Inc. All Rights Reserved. 無作為にログを溜めない ● ログは肥大化しやすい ● 時系列で分析したいものだけを送る ● Application, Middleware, … ● 自社基盤と役割が重複しないよう住み分けをする ● Access Log: 内製データ分析基盤 ● Error Log: Sumo Logic ● Status Check, Alerting: 内製監視基盤 Tips1: 収集するログの精査

Slide 20

Slide 20 text

Copyright © GREE, Inc. All Rights Reserved. ● Metadataは権限やCollectorを管理する上で重要 ● _collector, _sourceHostはデフォルトで同値 ● 権限管理に有効な命名規則にする ● ex1: _collector= ● ex2: _sourceCategory=_ ● _sourceHostは自社基盤や運用との相性を考える ● IP, HostName, InstanceId, ... Tips2: Metadataの設計

Slide 21

Slide 21 text

Copyright © GREE, Inc. All Rights Reserved. グリーでの設計例 ● _collector: プロダクト名 ● _source: ミドルウェアなどログの種類 ● _sourceCategory: 一意な識別子 Tips2: Metadataの設計 Apache Error MySQL Slow Foo Log Apache Error MySQL Slow Bar Log Nginx Error MySQL Slow Baz Log Product A Product B Product C

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Copyright © GREE, Inc. All Rights Reserved. ● 平均データ転送量からなる費用体系 ● スパイクを許容した料金設計 ● 新規リリースや突発的なアクセス増加 ● 共通基盤, IaaSの大障害 ● リソースのキャパシティプランから開放される ● ストレージのコスト最適化 ● 全文検索に対応するための計算リソース確保 ● スパイクを処理するためのスケール戦略 Sumo Logicの利点

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Copyright © GREE, Inc. All Rights Reserved. ● グリーにおけるユースケース紹介 ● Application / Middleware Logの時系列分析 ● CloudTrailの横断検索 ● Alert Reportの通知 ● Grafana Integration ● 導入する上でのTips ● ユースケースを考えてログは送る ● Metadataは運用しやすいよう設計する ● 利点: 柔軟な料金体系とスケーラビリティ ● 欠点: 利用者の学習コストまとめ

Slide 26

Slide 26 text

Slide 27

Slide 27 text