ログ分析に最適なツールカテゴリー選手権 〜カテゴリ別代表選手の紹介〜 #devio2021

「ログを分析したい」となったとき、そのログは何のログでしょうか。分析してどうしたいんでしょうか。それによって、最適なツールの「種別(カテゴリー)」は異なります。

ログ特化の分析基盤なのか、監視ツール・可観測性プラットフォームなのか、それともデータ分析の専門家・BIツールで行ける？　モヤモヤを晴らす道筋をお話しします。

Transcript

1. ログ分析に最適なツールカテゴリー選手権　 〜カテゴリ別代表選手の紹介〜 クラスメソッド株式会社 アライアンス統括部テックG 渡辺聖剛 2021.10.07 1
2. ログ #とは
3. 一般的な「ログ (log)」の意味 • 時系列の記録 • 様式はさまざま（決まってない） • 元ネタは丸太、転じて航海における記録（航海日誌）のこと ◦ 浮かべた丸太を利用して船の移動速度を測った故事に由来(らしい) ◦ 将来のために記録しておくもの (何が必要になるか不明だから) any of various chronological records made concerning the use of a computer system, the changes made to data, etc. (コンピュータシステムの利用やデータの変更などに関係して生 成される様々な時系列の記録) https://www.dictionary.com/browse/log http://www.hi-ho.ne.jp/hida/radio06.htm https://commons.wikimedia.org/wiki/File:Grand_Turk(34).jpg 3
4. いろんな「ログ」 • システムログ、インフラログ、Windows EventLog ◦ /var/log/syslog, /var/adm/messages • アプリケーションログ、トレースログ • エラーログ、クラッシュログ • コンソールログ、操作ログ • 動作記録ログ（端末、IoT、クラウドAPI） • 会話記録（チャットログ） • 顧客行動・購買記録ログ • RDBMSトランザクションログ、MySQL Binlog 等々 4
5. 「ログ = データ」であるなら ログ分析 = ログデータの分析 データの分析 =「データ分析基盤」の仕事？ でも「ログ分析ツール」ってあるし。。 5
6. ex) Uber Eatsの配達に適切な移動手段 #とは
7. ex) Uber Eatsの配達に適切な移動手段 #とは https://twitter.com/shiranganaosaka/status/1322456052558819329 7
8. 貴方の目的に適切な分析手段 #とは
9. ここで扱う分野 • 監視ツール • 可観測性(Observability)プラットフォーム • SIEM (Security Information and Event Management) • データ分析基盤（BIツール） ◦ 派生含む ※以下のものは今回は扱いません • 特定製品のログを専門に扱うもの 9
10. 自己紹介 10 渡辺聖剛 ( Seigo Watanabe ) • クラスメソッド株式会社 アライアンス統括部 • 運用/分析/モニタリング • 前職までは いわゆるインフラエンジニア • 好きな AWS サービス ◦ ACM, Route 53 ◦ CloudWatchファミリー https://dev.classmethod.jp/author/watanabe-seigo/
11. 着目して欲しい 4つのポイント
12. 着目ポイント 1. 必要とする即時性・リアルタイム性 2. 分析対象のログの量 3. 付加機能 4. 提供形態 12
13. 着目ポイント 1. 必要とする即時性・リアルタイム性 2. 分析対象のログの量 3. 付加機能 4. 提供形態 ツールの分野 ツール自体の選択 13
14. ツールの分野と できること
15. 各ツール分野の全体傾向 15 データソース 収集 保管 ログの活用例 データ 量 分析 自由度 即時 性 代表的な プロダクト 監視 Monitoring メトリック 各種ログ 専用エージェント・API 各種インテグレーション 外形監視 RDBMS KVS キーワード監視 小 小 高 Prometheus Zabbix Mackerel エラー分析 Crash Analysis アプリログ クラッシュログ 専用モジュール・API 各種インテグレーション RDBMS KVS エラー要因の分析 Airbrake Sentry 可観測性プラッ トフォーム Observability Platform メトリック 各種ログ APM 専用エージェント・API 各種インテグレーション 合成(Synthetic)監視 時系列DB 全文検索DB Log to Metric 分散トレーシング 傾向・ふるまい分析 New Relic Datadog Grafana Loki Elasticsearch SIEM Security Information and Event Management 各種ログ 専用エージェント・API Syslogプロトコル 各種インテグレーション 時系列DB 全文検索DB アーカイブ 傾向・ふるまい分析 Log to Metric セキュリティ評価 Sumo Logic Splunk SIEM on AWS データ分析基盤 BIツール Business Intelligence tools データベース 各種ログ IoT ETLツール/ELTツール (バッチ収集) DWH データレイク (オブジェクトストレージ) ビジネスレポート 機械学習 大 大 低 Fivetran, Looker Snowflake (複数のツールの組合せ が一般的) ※Log to Metric: ログに記述されている数値や、文字列の頻出数等をメトリックとして扱うものです ※各ツールにより特長は異なります、表内の記述は代表的な例となります ※分類は独自のものです
16. 即時性・データ量・処理内容 ログ Log data 即時性 リアルタイム性 ログ量 データ量 データ分析基盤 BIツール キーワード検出 監視 可観測性 プラットフォーム セキュリティ SIEM 専門性 付加機能 16 ・数秒〜数分以内に検知したい ・データ量や条件は少なくていい ・大量のデータ(〜PB)を扱いたい ・そこまでの即時性は求めない ・専門的な分析が行いたい ・即時性やデータ量はそこそこ
17. 例えば 弊社で取り扱いのあるSaaS 監視 可観測性 プラットフォーム SIEM 17
18. AWS -> 監視 • EC2上のログ(ローカル) • CloudWatch Logs • Fluentd 18 https://ja.mackerel.io/
19. AWS -> 可観測性プラットフォーム • EC2上のログ(ローカル) • CloudWatch Logs • Fluentd / AWS FireLens • Kinesis Data Firehose / S3 ◦ ELB / CloudFront 19 https://newrelic.com/products/log-management
20. AWS -> SIEM • EC2上のログ(ローカル・リモート) • CloudWatch Logs • Fluentd • Kinesis Data Firehose / S3 ◦ ELB / CloudFront / WAF ◦ S3 Audit / SES / SNS / SQS / RDS / ElastiCache / DynamoDB / Redshift / Lambda ◦ VPC Flow Log / Network Firewall ◦ CloudTrail / Config / GuardDuty / Security Hub / Inspector　他 20 https://www.sumologic.jp/
21. 注意 • デフォルトベースでの比較になります ◦ どのツールも収集対象を拡張することが可能です ▪ スクリプト、プラグインなど ◦ どれも分析やダッシュボードのカスタマイズが可能です • ツールの役割が違うため、 単純に多くの対応をしていれば良いツールか、というと、 そういうわけではありません ◦ どれも分析やダッシュボードのカスタマイズが以下略 • ツールの特性により、基本機能として扱えるログの種類が 変化する、というところに着目ください 21
22. データ分析基盤：Lookerの場合 次世代のデータプラットフォーム「 Looker」機能概要まとめ #looker | DevelopersIO https://dev.classmethod.jp/articles/looker-overview/ 22
23. AWSが考えるモダンデータアーキテクチャ 23 https://www.youtube.com/watch?v=j-st7wxLD2g
24. AWSが考えるモダンデータアーキテクチャ (cont.) 24 https://www.youtube.com/watch?v=j-st7wxLD2g 柔軟性しかない だがそれがいい (というかそれが目的)
25. AWSが考えるモダンデータアーキテクチャ (cont.) 25 https://www.youtube.com/watch?v=j-st7wxLD2g
26. 最近の動き https://www.irodabutik.hu/magazin/evolucio-az-irodaban
27. 即時性・データ量・処理内容 ログ Log data 即時性 リアルタイム性 ログ量 データ量 データ分析基盤 BIツール キーワード検出 監視 可観測性 プラットフォーム セキュリティ SIEM 専門性 付加機能 27 ストリーミング分析 AI/ML 機能のパッケージ化
28. 即時性・データ量・処理内容 (cont.) ログ Log data 即時性 リアルタイム性 ログ量 データ量 専門性 付加機能 データ分析基盤 BIツール キーワード検出 監視 可観測性 プラットフォーム セキュリティ SIEM 観測精度・ 時間分解能の向上 大量のログの 相関分析 AI/ML 多機能化 アプリケーション エラー分析 特殊用途 開発向け 28 検知の高度・高機能化
29. ？ 即時性・データ量・処理内容 (cont.) ログ Log data 即時性 リアルタイム性 ログ量 データ量 専門性 付加機能 データ分析基盤 BIツール キーワード検出 監視 可観測性 プラットフォーム セキュリティ SIEM ストリーミング分析 検知の高度・高機能化 大量のログの 相関分析 AI/ML 多機能化 AI/ML 機能のパッケージ化 製品の融合 観測精度・ 時間分解能の向上 アプリケーション エラー分析 特殊用途 開発向け 29
30. 着目ポイント 1. 必要とする即時性・リアルタイム性 2. 分析対象のログの量 3. 付加機能 4. 提供形態 ✓ ✓ ✓ 30
31. プロダクトの提供形態 ソフトウェア Software インフラ Infrastructure オンプレミス パブリッククラウド AWS / Google Cloud / Azure ELK (Elasticsearch + Logstash + Kibana) Elastic Cloud Amazon OSS Splunk Exabeam Splunk Cloud Exabeam 例：各形態の 代表的な SIEM プロダクト SIEM on Amazon OSS Sumo Logic Azure Sentinel パッケージソフトウェア オープンソース (OSS) SaaS シングルテナント SaaS マルチテナント 31
32. SaaSの Pros/Cons “SaaS を使えば数分で動く仕組みが手に入り、しかも 使い始めたタイミングからドキュメントなども手に入ります。” —— Mike Julian “入門　監視” Pros Cons（考慮事項） SaaS ・インフラの管理運用が不要 　　・リソース/ストレージの拡張作業 　　・冗長構成・障害時の対応 ・地理的な制約を受けない 　　・データの収集 　　・操作・運用 ・クラウドとの連携・接続性が高いことが多い 　豊富なインテグレーション (連携)機能 ・社内手続きが複雑になる場合がある 　　・外貨払い 　　・従量課金 　　・準拠しているコンプライアンス ・カスタマイズ性が低いことが多い 　　・機能・拡張性は十分にそろっているか ・オンプレミスを完全には排除できない 　　・データコレクタ(ETL)など https://www.oreilly.co.jp/books/9784873118642/ 32
33. UI/UXふくめ 実際に利用・検証してみてください こまったら弊社にご相談を！（ポジショントーク） マルチテナントSaaSの Pros/Cons Pros Cons（考慮事項） マルチ テナント ・クラウドインフラの柔軟な 　リソース拡張性を享受可能 　　・ソフトウェア的な上限 　　・開始・スケール時にリードタイムが不要 　　・無料枠が設定されていることが多い ・最新の設計であることの強み 　　・機能追加の速度が速いなど期待できる ・専有インフラでないことの懸念 　　・リソース分離やノイジーネイバー対策が十分か ・既存のノウハウ・情報量 　　・マルチテナントのConsというより、プロダクト 　　　自体の歴史の問題 https://aws.amazon.com/jp/builders-flash/202104/saas-on-aws/ 33
34. まとめ
35. ログ分析　何を使うか？ 考えるポイント • ログで何がしたいんですか？　何がみたいんですか？ • それはどの位の間隔で必要ですか？ • 対象は？　あつまるログの量はどのくらいありますか？ もうひとつのポイント • 分析基盤はどこで動かしますか？ ◦ 機能に問題がなければ マルチテナントSaaSを第一候補に是非 35
36. (再掲) 各ツール分野の全体傾向 36 データソース 収集 保管 ログの活用例 データ 量 分析 自由度 即時 性 代表的な プロダクト 監視 Monitoring メトリック 各種ログ 専用エージェント・API 各種インテグレーション 外形監視 RDBMS KVS キーワード監視 小 小 高 Prometheus Zabbix Mackerel エラー分析 Crash Analysis アプリログ クラッシュログ 専用モジュール・API 各種インテグレーション RDBMS KVS エラー要因の分析 Airbrake Sentry 可観測性プラッ トフォーム Observability Platform メトリック 各種ログ APM 専用エージェント・API 各種インテグレーション 合成(Synthetic)監視 時系列DB 全文検索DB Log to Metric 分散トレーシング 傾向・ふるまい分析 New Relic Datadog Grafana Loki Elasticsearch SIEM Security Information and Event Management 各種ログ 専用エージェント・API Syslogプロトコル 各種インテグレーション 時系列DB 全文検索DB アーカイブ 傾向・ふるまい分析 Log to Metric セキュリティ評価 Sumo Logic Splunk SIEM on AWS データ分析基盤 BIツール Business Intelligence tools データベース 各種ログ IoT ETLツール/ELTツール (バッチ収集) DWH データレイク (オブジェクトストレージ) ビジネスレポート 機械学習 大 大 低 Fivetran, Looker Snowflake (複数のツールの組合せ が一般的) ※Log to Metric: ログに記述されている数値や、文字列の頻出数等をメトリックとして扱うものです ※各ツールにより特長は異なります、表内の記述は代表的な例となります ※分類は独自のものです
37. 各ツール分野の全体傾向 (cont.) 37 ログ視点での特長・概要 代表的な プロダクト 監視 Monitoring ・リアルタイムに状況を監視し、閾値判定してアラートを通知することが目的 ・メトリックに対する統計処理（最小最大・平均・パーセンタイルなど） ・ログに対してはキーワード検出・パターン検出、ログ量そのものの監視など Prometheus Zabbix Mackerel エラー分析 Crash Analysis ・特定の言語・フレームワークに対するエラー/クラッシュログ解析 ・ツールによってCI/CDやAPMとの連携も Airbrake Sentry 可観測性プラッ トフォーム Observability Platform ・システム全体の状態を計測し、性能傾向やふるまいによる異常予測が目的 ・ログは「コンテキストを豊富に含む観測データ」として扱う（基本的にメトリクスが主） ・ツールの出自に依り、それぞれAPMやインフラ監視・即時性・全文検索などに強みをもつ ・可視化・ダッシュボードの柔軟性も高く、システム運行上の傾向把握を補助する New Relic Datadog Grafana Loki Elasticsearch SIEM Security Information and Event Management ・セキュリティ上の分析・評価を機能上の主とする ・非構造データをパターンなどでパースし、要素ごとに取り扱う（ログに重点） ・可視化・ダッシュボードの柔軟性も高く、システムセキュリティ上の傾向把握を補助する Sumo Logic Splunk SIEM on AWS データ分析基盤 BIツール Business Intelligence tools ・いわゆるデータ分析 ・扱えるデータの汎用性が高い、扱うには専門のスキルが必要になることが多い ・監視やセキュリティ分野向けの専用機能をもつことは基本ない（連携や作り込みは可能） Fivetran, Looker Snowflake (複数のツールの組合せ が一般的) ※各ツールにより特長は異なります、表内の記述は代表的な例となります ※分類は独自のものです
38. 各ツール分野の全体傾向 (cont.) 38 代表的な プロダクト URL 監視 Monitoring Prometheus Zabbix Mackerel https://prometheus.io/ https://www.zabbix.com/jp https://ja.mackerel.io/ エラー分析 Crash Analysis Airbrake Sentry https://airbrake.io/ https://sentry.io/welcome/ 可観測性プラッ トフォーム Observability Platform New Relic Log Management Datadog Log management Grafana Loki Elasticsearch / Elastic Cloud https://newrelic.com/products/log-management https://www.datadoghq.com/ja/product/log-management/ https://grafana.com/oss/loki/ https://www.elastic.co/jp/cloud/ SIEM Security Information and Event Management Sumo Logic Splunk SIEM on Amazon OSS https://www.sumologic.jp/ https://www.splunk.com/ja_jp https://aws.amazon.com/jp/blogs/news/siem-on-amazon-elasticsearch-service/ データ分析基盤 BIツール Business Intelligence tools Fivetran Looker Snowflake KARTE Datahub https://fivetran.com/ https://ja.looker.com/ https://www.snowflake.com/?lang=ja https://karte.io/product/datahub/ ※BIツールは一般的に、処理単位ごとに 　複数のツールを組み合わせて利用します ※各ツールにより特長は異なります、表内の記述は代表的な例となります ※分類は独自のものです
39. 選ぶのは大変ですか？
40. 詳細はお問い合わせください！ データ分析基盤 SaaS製品 https://classmethod.jp/services/data-analytics/ https://classmethod.jp/partner/ Fivetran Looker Snowflake　etc. Sumo Logic New Relic Mackerel　etc. 40
41. DevIO 2021 Decade 「データ分析」カテゴリ https://classmethod.jp/m/devio-2021-decade/ 41