Sumo Logic活用事例とその運用

「まだログ分析で疲弊してるの？ 〜Sumo Logicで明日から始めるゲームインフラの可視化〜」で発表された資料です。
https://dev.classmethod.jp/news/190221-sumologic-for-game/

Transcript

1. Copyright © GREE, Inc. All Rights Reserved. Copyright © GREE, Inc. All Rights Reserved. Sumo Logic活用事例とその運用 Hiroaki Kobayashi 2019-02-21
2. Copyright © GREE, Inc. All Rights Reserved. 小林 裕明 • 所属: グリー株式会社 開発本部 インフラストラクチャ部 • 業務: • プロダクトリリース・運用支援 • モニタリングシステム運用 自己紹介
3. Copyright © GREE, Inc. All Rights Reserved. 話すこと • グリーにおけるログ分析基盤 • ユースケース • 導入する上でのTips • 利点・欠点 話さないこと • 競合サービス/OSSとの比較 アジェンダ
4. Copyright © GREE, Inc. All Rights Reserved. • グリーにおけるログ分析基盤 • ユースケース • 導入する上でのTips • 利点・欠点 アジェンダ
5. Copyright © GREE, Inc. All Rights Reserved. • アプリケーションのデバッグ • 正しい振る舞いができているかを検査する • 障害の原因調査・パフォーマンスのボトルネック特定 • ミドルウェアが正常に処理できているか • セキュリティ・監査 • 誰がいつ何をしたか証跡を残す • ユーザ分析 • ページ遷移・離脱など行動の分析 ログの用途
6. Copyright © GREE, Inc. All Rights Reserved. • アプリケーションのデバッグ • Sumo Logic • 障害の原因調査・パフォーマンスのボトルネック特定 • 状態監視: 内製基盤 • パフォーマンス分析: Sumo Logic, NewRelic, 内製基盤 • セキュリティ・監査 • CloudTrail: Sumo Logic • その他: 内製基盤 • ユーザ分析 • 内製基盤 グリーにおけるログ分析基盤
7. Copyright © GREE, Inc. All Rights Reserved. • グリーにおけるログ分析基盤 • ユースケース • Application / Middleware Log • CloudTrail • Alert Report • Grafana Integration • 導入する上でのTips • 利点・欠点 アジェンダ
8. Copyright © GREE, Inc. All Rights Reserved. • Application Log • ex: php.log, app.log • 全文検索やLog Reduceでバグ調査 • デプロイ時にLive Tailでエラー確認 • 独自ダッシュボードを作成している部署もある • Middleware Log • ex: mysql error/slow log, apache error • App Catalogで簡単にダッシュボードが作成可能 • Sumo LogicはCloudNativeな要件にも対応 • インスタンスのライフサイクルとは独立したログ管理 • Service, Roleなど任意の集合に対する検索 Application / Middleware Log
9. Copyright © GREE, Inc. All Rights Reserved. 簡単なクエリでも十分に効果を発揮する Application / Middleware Log
10. Copyright © GREE, Inc. All Rights Reserved. 既存のダッシュボードから知見を享受できる Application / Middleware Log
11. Copyright © GREE, Inc. All Rights Reserved. Architecture Application / Middleware Log (event) CreateLogGroup EC2 Aurora RDS CloudWatch Logs Connector Subscriber Subscription Filter Refs • https://github.com/SumoLogic/fluentd-output-sumologic • https://github.com/SumoLogic/sumologic-aws-lambda
12. Copyright © GREE, Inc. All Rights Reserved. • 全AWSアカウントのCloudTrail LogをSumo Logicへ集約 • 全アカウントに対する横断検索も容易 • 地味に全文検索が活躍 CloudTrail
13. Copyright © GREE, Inc. All Rights Reserved. Architecture CloudTrailの収集 CloudTrail CloudTrail CloudTrail CloudTrail CloudTrail S3 Sender
14. Copyright © GREE, Inc. All Rights Reserved. • アラートもログとしてSumo Logicへ送信 • 前週発生したアラートを集計しSlackへ定期通知 • アラートの削減・恒久対応に利用 Alert Report
15. Copyright © GREE, Inc. All Rights Reserved. Architecture Sumo LogicでScheduling, Notification全て完結 Alert Report Scheduled Search Webhook Connection Webhook Webhook
16. Copyright © GREE, Inc. All Rights Reserved. GrafanaでSumo Logicのログを表示する Grafana Integration
17. Copyright © GREE, Inc. All Rights Reserved. Architecture Grafana Integration Sumo Logic Data Source Search Job API Refs • https://github.com/mtanda/grafana-sumologic-datasource
18. Copyright © GREE, Inc. All Rights Reserved. • グリーにおけるログ分析基盤 • ユースケース • 導入する上でのTips • 収集するログの精査 • Metadataの設計 • 利点・欠点 アジェンダ
19. Copyright © GREE, Inc. All Rights Reserved. 無作為にログを溜めない • ログは肥大化しやすい • 時系列で分析したいものだけを送る • Application, Middleware, … • 自社基盤と役割が重複しないよう住み分けをする • Access Log: 内製データ分析基盤 • Error Log: Sumo Logic • Status Check, Alerting: 内製監視基盤 Tips1: 収集するログの精査
20. Copyright © GREE, Inc. All Rights Reserved. • Metadataは権限やCollectorを管理する上で重要 • _collector, _sourceHostはデフォルトで同値 • 権限管理に有効な命名規則にする • ex1: _collector=<ProductName> • ex2: _sourceCategory=<Role>_<LogName> • _sourceHostは自社基盤や運用との相性を考える • IP, HostName, InstanceId, ... Tips2: Metadataの設計
21. Copyright © GREE, Inc. All Rights Reserved. グリーでの設計例 • _collector: プロダクト名 • _source: ミドルウェアなどログの種類 • _sourceCategory: 一意な識別子 Tips2: Metadataの設計 Apache Error MySQL Slow Foo Log Apache Error MySQL Slow Bar Log Nginx Error MySQL Slow Baz Log Product A Product B Product C
22. Copyright © GREE, Inc. All Rights Reserved. • グリーにおけるログ分析基盤 • ユースケース • 導入する上でのTips • 利点・欠点 アジェンダ
23. Copyright © GREE, Inc. All Rights Reserved. • 平均データ転送量からなる費用体系 • スパイクを許容した料金設計 • 新規リリースや突発的なアクセス増加 • 共通基盤, IaaSの大障害 • リソースのキャパシティプランから開放される • ストレージのコスト最適化 • 全文検索に対応するための計算リソース確保 • スパイクを処理するためのスケール戦略 Sumo Logicの利点
24. Copyright © GREE, Inc. All Rights Reserved. • クエリの学習コスト • 仕方ない • チートシート作成や布教活動を通して習得してもらう • 全員が全ての機能を使えなくても良いと割り切る • 個人向けユーザへ開放されていない • 検証に対するハードルが少し高い • Weekend Projectなどでは利用できない Sumo Logicの欠点
25. Copyright © GREE, Inc. All Rights Reserved. • グリーにおけるユースケース紹介 • Application / Middleware Logの時系列分析 • CloudTrailの横断検索 • Alert Reportの通知 • Grafana Integration • 導入する上でのTips • ユースケースを考えてログは送る • Metadataは運用しやすいよう設計する • 利点: 柔軟な料金体系とスケーラビリティ • 欠点: 利用者の学習コスト まとめ
26. Copyright © GREE, Inc. All Rights Reserved. Copyright © GREE, Inc. All Rights Reserved. インターネットを通じて、 世界をより良くする。
27. Copyright © GREE, Inc. All Rights Reserved.