ログ分析に最適なツールカテゴリー選手権 〜カテゴリ別代表選手の紹介〜 #devio2021

「ログを分析したい」となったとき、そのログは何のログでしょうか。分析してどうしたいんでしょうか。それによって、最適なツールの「種別(カテゴリー)」は異なります。

ログ特化の分析基盤なのか、監視ツール・可観測性プラットフォームなのか、それともデータ分析の専門家・BIツールで行ける？　モヤモヤを晴らす道筋をお話しします。

Transcript

1. ログ分析に最適なツールカテゴリー選手権　
   〜カテゴリ別代表選手の紹介〜
   クラスメソッド株式会社 アライアンス統括部テックG
   渡辺聖剛
   2021.10.07
   1
   

   View Slide

2. ログ #とは
   

   View Slide

3. 一般的な「ログ (log)」の意味
   ● 時系列の記録
   ● 様式はさまざま（決まってない）
   ● 元ネタは丸太、転じて航海における記録（航海日誌）のこと
   ○ 浮かべた丸太を利用して船の移動速度を測った故事に由来(らしい)
   ○ 将来のために記録しておくもの (何が必要になるか不明だから)
   any of various chronological records made concerning the
   use of a computer system, the changes made to data, etc.
   (コンピュータシステムの利用やデータの変更などに関係して生
   成される様々な時系列の記録)
   https://www.dictionary.com/browse/log
   http://www.hi-ho.ne.jp/hida/radio06.htm
   https://commons.wikimedia.org/wiki/File:Grand_Turk(34).jpg
   3
   

   View Slide

4. いろんな「ログ」
   ● システムログ、インフラログ、Windows EventLog
   ○ /var/log/syslog, /var/adm/messages
   ● アプリケーションログ、トレースログ
   ● エラーログ、クラッシュログ
   ● コンソールログ、操作ログ
   ● 動作記録ログ（端末、IoT、クラウドAPI）
   ● 会話記録（チャットログ）
   ● 顧客行動・購買記録ログ
   ● RDBMSトランザクションログ、MySQL Binlog
   等々
   4
   

   View Slide

5. 「ログ = データ」であるなら
   ログ分析 = ログデータの分析
   データの分析 =「データ分析基盤」の仕事？
   でも「ログ分析ツール」ってあるし。。
   5
   

   View Slide

6. ex)
   Uber Eatsの配達に適切な移動手段 #とは
   

   View Slide

7. ex) Uber Eatsの配達に適切な移動手段 #とは
   https://twitter.com/shiranganaosaka/status/1322456052558819329
   7
   

   View Slide

8. 貴方の目的に適切な分析手段 #とは
   

   View Slide

9. ここで扱う分野
   ● 監視ツール
   ● 可観測性(Observability)プラットフォーム
   ● SIEM (Security Information and Event Management)
   ● データ分析基盤（BIツール）
   ○ 派生含む
   ※以下のものは今回は扱いません
   ● 特定製品のログを専門に扱うもの
   9
   

   View Slide

10. 自己紹介 10
    渡辺聖剛 ( Seigo Watanabe )
    ● クラスメソッド株式会社
    アライアンス統括部
    ● 運用/分析/モニタリング
    ● 前職までは
    いわゆるインフラエンジニア
    ● 好きな AWS サービス
    ○ ACM, Route 53
    ○ CloudWatchファミリー
    https://dev.classmethod.jp/author/watanabe-seigo/
    

    View Slide

11. 着目して欲しい
    4つのポイント
    

    View Slide

12. 着目ポイント
    1. 必要とする即時性・リアルタイム性
    2. 分析対象のログの量
    3. 付加機能
    4. 提供形態
    12
    

    View Slide

13. 着目ポイント
    1. 必要とする即時性・リアルタイム性
    2. 分析対象のログの量
    3. 付加機能
    4. 提供形態
    ツールの分野
    ツール自体の選択
    13
    

    View Slide

14. ツールの分野と
    できること
    

    View Slide

15. 各ツール分野の全体傾向 15
    データソース 収集 保管 ログの活用例
    データ
    量
    分析
    自由度
    即時
    性
    代表的な
    プロダクト
    監視
    Monitoring
    メトリック
    各種ログ
    専用エージェント・API
    各種インテグレーション
    外形監視
    RDBMS
    KVS
    キーワード監視 小 小 高 Prometheus
    Zabbix
    Mackerel
    エラー分析
    Crash Analysis
    アプリログ
    クラッシュログ
    専用モジュール・API
    各種インテグレーション
    RDBMS
    KVS
    エラー要因の分析 Airbrake
    Sentry
    可観測性プラッ
    トフォーム
    Observability Platform
    メトリック
    各種ログ
    APM
    専用エージェント・API
    各種インテグレーション
    合成(Synthetic)監視
    時系列DB
    全文検索DB
    Log to Metric
    分散トレーシング
    傾向・ふるまい分析
    New Relic
    Datadog
    Grafana Loki
    Elasticsearch
    SIEM
    Security Information
    and Event Management
    各種ログ 専用エージェント・API
    Syslogプロトコル
    各種インテグレーション
    時系列DB
    全文検索DB
    アーカイブ
    傾向・ふるまい分析
    Log to Metric
    セキュリティ評価
    Sumo Logic
    Splunk
    SIEM on AWS
    データ分析基盤
    BIツール
    Business Intelligence
    tools
    データベース
    各種ログ
    IoT
    ETLツール/ELTツール
    (バッチ収集)
    DWH
    データレイク
    (オブジェクトストレージ)
    ビジネスレポート
    機械学習
    大 大 低
    Fivetran, Looker
    Snowflake
    (複数のツールの組合せ
    が一般的)
    ※Log to Metric: ログに記述されている数値や、文字列の頻出数等をメトリックとして扱うものです
    ※各ツールにより特長は異なります、表内の記述は代表的な例となります
    ※分類は独自のものです
    

    View Slide

16. 即時性・データ量・処理内容
    ログ
    Log data
    即時性
    リアルタイム性
    ログ量
    データ量
    データ分析基盤
    BIツール
    キーワード検出
    監視
    可観測性
    プラットフォーム
    セキュリティ
    SIEM
    専門性
    付加機能
    16
    ・数秒〜数分以内に検知したい
    ・データ量や条件は少なくていい
    ・大量のデータ(〜PB)を扱いたい
    ・そこまでの即時性は求めない
    ・専門的な分析が行いたい
    ・即時性やデータ量はそこそこ
    

    View Slide

17. 例えば
    弊社で取り扱いのあるSaaS
    監視 可観測性
    プラットフォーム
    SIEM
    17
    

    View Slide

18. AWS -> 監視
    ● EC2上のログ(ローカル)
    ● CloudWatch Logs
    ● Fluentd
    18
    https://ja.mackerel.io/
    

    View Slide

19. AWS -> 可観測性プラットフォーム
    ● EC2上のログ(ローカル)
    ● CloudWatch Logs
    ● Fluentd / AWS FireLens
    ● Kinesis Data Firehose / S3
    ○ ELB / CloudFront
    19
    https://newrelic.com/products/log-management
    

    View Slide

20. AWS -> SIEM
    ● EC2上のログ(ローカル・リモート)
    ● CloudWatch Logs
    ● Fluentd
    ● Kinesis Data Firehose / S3
    ○ ELB / CloudFront / WAF
    ○ S3 Audit / SES / SNS / SQS /
    RDS / ElastiCache / DynamoDB /
    Redshift / Lambda
    ○ VPC Flow Log / Network Firewall
    ○ CloudTrail / Config / GuardDuty /
    Security Hub / Inspector　他
    20
    https://www.sumologic.jp/
    

    View Slide

21. 注意
    ● デフォルトベースでの比較になります
    ○ どのツールも収集対象を拡張することが可能です
    ■ スクリプト、プラグインなど
    ○ どれも分析やダッシュボードのカスタマイズが可能です
    ● ツールの役割が違うため、
    単純に多くの対応をしていれば良いツールか、というと、
    そういうわけではありません
    ○ どれも分析やダッシュボードのカスタマイズが以下略
    ● ツールの特性により、基本機能として扱えるログの種類が
    変化する、というところに着目ください
    21
    

    View Slide

22. データ分析基盤：Lookerの場合
    次世代のデータプラットフォーム「 Looker」機能概要まとめ #looker | DevelopersIO
    https://dev.classmethod.jp/articles/looker-overview/
    22
    

    View Slide

23. AWSが考えるモダンデータアーキテクチャ 23
    https://www.youtube.com/watch?v=j-st7wxLD2g
    

    View Slide

24. AWSが考えるモダンデータアーキテクチャ (cont.) 24
    https://www.youtube.com/watch?v=j-st7wxLD2g
    柔軟性しかない
    だがそれがいい
    (というかそれが目的)
    

    View Slide

25. AWSが考えるモダンデータアーキテクチャ (cont.) 25
    https://www.youtube.com/watch?v=j-st7wxLD2g
    

    View Slide

26. 最近の動き
    https://www.irodabutik.hu/magazin/evolucio-az-irodaban
    

    View Slide

27. 即時性・データ量・処理内容
    ログ
    Log data
    即時性
    リアルタイム性
    ログ量
    データ量
    データ分析基盤
    BIツール
    キーワード検出
    監視
    可観測性
    プラットフォーム
    セキュリティ
    SIEM
    専門性
    付加機能
    27
    ストリーミング分析
    AI/ML
    機能のパッケージ化
    

    View Slide

28. 即時性・データ量・処理内容 (cont.)
    ログ
    Log data
    即時性
    リアルタイム性
    ログ量
    データ量
    専門性
    付加機能
    データ分析基盤
    BIツール
    キーワード検出
    監視
    可観測性
    プラットフォーム
    セキュリティ
    SIEM
    観測精度・
    時間分解能の向上
    大量のログの
    相関分析
    AI/ML
    多機能化
    アプリケーション
    エラー分析
    特殊用途
    開発向け
    28
    検知の高度・高機能化
    

    View Slide

29. ？
    即時性・データ量・処理内容 (cont.)
    ログ
    Log data
    即時性
    リアルタイム性
    ログ量
    データ量
    専門性
    付加機能
    データ分析基盤
    BIツール
    キーワード検出
    監視
    可観測性
    プラットフォーム
    セキュリティ
    SIEM
    ストリーミング分析
    検知の高度・高機能化
    大量のログの
    相関分析
    AI/ML
    多機能化
    AI/ML
    機能のパッケージ化
    製品の融合
    観測精度・
    時間分解能の向上
    アプリケーション
    エラー分析
    特殊用途
    開発向け
    29
    

    View Slide

30. 着目ポイント
    1. 必要とする即時性・リアルタイム性
    2. 分析対象のログの量
    3. 付加機能
    4. 提供形態
    ✓
    ✓
    ✓
    30
    

    View Slide

31. プロダクトの提供形態
    ソフトウェア
    Software
    インフラ
    Infrastructure
    オンプレミス パブリッククラウド
    AWS / Google Cloud / Azure
    ELK
    (Elasticsearch + Logstash + Kibana)
    Elastic Cloud
    Amazon OSS
    Splunk
    Exabeam
    Splunk Cloud
    Exabeam
    例：各形態の
    代表的な SIEM
    プロダクト
    SIEM on Amazon OSS
    Sumo Logic
    Azure Sentinel
    パッケージソフトウェア
    オープンソース (OSS)
    SaaS
    シングルテナント
    SaaS
    マルチテナント
    31
    

    View Slide

32. SaaSの Pros/Cons
    “SaaS を使えば数分で動く仕組みが手に入り、しかも
    使い始めたタイミングからドキュメントなども手に入ります。”
    —— Mike Julian “入門　監視”
    Pros Cons（考慮事項）
    SaaS ・インフラの管理運用が不要
    　　・リソース/ストレージの拡張作業
    　　・冗長構成・障害時の対応
    ・地理的な制約を受けない
    　　・データの収集
    　　・操作・運用
    ・クラウドとの連携・接続性が高いことが多い
    　豊富なインテグレーション (連携)機能
    ・社内手続きが複雑になる場合がある
    　　・外貨払い
    　　・従量課金
    　　・準拠しているコンプライアンス
    ・カスタマイズ性が低いことが多い
    　　・機能・拡張性は十分にそろっているか
    ・オンプレミスを完全には排除できない
    　　・データコレクタ(ETL)など
    https://www.oreilly.co.jp/books/9784873118642/
    32
    

    View Slide

33. UI/UXふくめ
    実際に利用・検証してみてください
    こまったら弊社にご相談を！（ポジショントーク）
    マルチテナントSaaSの Pros/Cons
    Pros Cons（考慮事項）
    マルチ
    テナント
    ・クラウドインフラの柔軟な
    　リソース拡張性を享受可能
    　　・ソフトウェア的な上限
    　　・開始・スケール時にリードタイムが不要
    　　・無料枠が設定されていることが多い
    ・最新の設計であることの強み
    　　・機能追加の速度が速いなど期待できる
    ・専有インフラでないことの懸念
    　　・リソース分離やノイジーネイバー対策が十分か
    ・既存のノウハウ・情報量
    　　・マルチテナントのConsというより、プロダクト
    　　　自体の歴史の問題
    https://aws.amazon.com/jp/builders-flash/202104/saas-on-aws/
    33
    

    View Slide

34. まとめ
    

    View Slide

35. ログ分析　何を使うか？
    考えるポイント
    ● ログで何がしたいんですか？　何がみたいんですか？
    ● それはどの位の間隔で必要ですか？
    ● 対象は？　あつまるログの量はどのくらいありますか？
    もうひとつのポイント
    ● 分析基盤はどこで動かしますか？
    ○ 機能に問題がなければ
    マルチテナントSaaSを第一候補に是非
    35
    

    View Slide

36. (再掲) 各ツール分野の全体傾向 36
    データソース 収集 保管 ログの活用例
    データ
    量
    分析
    自由度
    即時
    性
    代表的な
    プロダクト
    監視
    Monitoring
    メトリック
    各種ログ
    専用エージェント・API
    各種インテグレーション
    外形監視
    RDBMS
    KVS
    キーワード監視 小 小 高 Prometheus
    Zabbix
    Mackerel
    エラー分析
    Crash Analysis
    アプリログ
    クラッシュログ
    専用モジュール・API
    各種インテグレーション
    RDBMS
    KVS
    エラー要因の分析 Airbrake
    Sentry
    可観測性プラッ
    トフォーム
    Observability Platform
    メトリック
    各種ログ
    APM
    専用エージェント・API
    各種インテグレーション
    合成(Synthetic)監視
    時系列DB
    全文検索DB
    Log to Metric
    分散トレーシング
    傾向・ふるまい分析
    New Relic
    Datadog
    Grafana Loki
    Elasticsearch
    SIEM
    Security Information
    and Event Management
    各種ログ 専用エージェント・API
    Syslogプロトコル
    各種インテグレーション
    時系列DB
    全文検索DB
    アーカイブ
    傾向・ふるまい分析
    Log to Metric
    セキュリティ評価
    Sumo Logic
    Splunk
    SIEM on AWS
    データ分析基盤
    BIツール
    Business Intelligence
    tools
    データベース
    各種ログ
    IoT
    ETLツール/ELTツール
    (バッチ収集)
    DWH
    データレイク
    (オブジェクトストレージ)
    ビジネスレポート
    機械学習
    大 大 低
    Fivetran, Looker
    Snowflake
    (複数のツールの組合せ
    が一般的)
    ※Log to Metric: ログに記述されている数値や、文字列の頻出数等をメトリックとして扱うものです
    ※各ツールにより特長は異なります、表内の記述は代表的な例となります
    ※分類は独自のものです
    

    View Slide

37. 各ツール分野の全体傾向 (cont.) 37
    ログ視点での特長・概要
    代表的な
    プロダクト
    監視
    Monitoring
    ・リアルタイムに状況を監視し、閾値判定してアラートを通知することが目的
    ・メトリックに対する統計処理（最小最大・平均・パーセンタイルなど）
    ・ログに対してはキーワード検出・パターン検出、ログ量そのものの監視など
    Prometheus
    Zabbix
    Mackerel
    エラー分析
    Crash Analysis
    ・特定の言語・フレームワークに対するエラー/クラッシュログ解析
    ・ツールによってCI/CDやAPMとの連携も
    Airbrake
    Sentry
    可観測性プラッ
    トフォーム
    Observability Platform
    ・システム全体の状態を計測し、性能傾向やふるまいによる異常予測が目的
    ・ログは「コンテキストを豊富に含む観測データ」として扱う（基本的にメトリクスが主）
    ・ツールの出自に依り、それぞれAPMやインフラ監視・即時性・全文検索などに強みをもつ
    ・可視化・ダッシュボードの柔軟性も高く、システム運行上の傾向把握を補助する
    New Relic
    Datadog
    Grafana Loki
    Elasticsearch
    SIEM
    Security Information
    and Event Management
    ・セキュリティ上の分析・評価を機能上の主とする
    ・非構造データをパターンなどでパースし、要素ごとに取り扱う（ログに重点）
    ・可視化・ダッシュボードの柔軟性も高く、システムセキュリティ上の傾向把握を補助する
    Sumo Logic
    Splunk
    SIEM on AWS
    データ分析基盤
    BIツール
    Business Intelligence
    tools
    ・いわゆるデータ分析
    ・扱えるデータの汎用性が高い、扱うには専門のスキルが必要になることが多い
    ・監視やセキュリティ分野向けの専用機能をもつことは基本ない（連携や作り込みは可能）
    Fivetran, Looker
    Snowflake
    (複数のツールの組合せ
    が一般的)
    ※各ツールにより特長は異なります、表内の記述は代表的な例となります
    ※分類は独自のものです
    

    View Slide

38. 各ツール分野の全体傾向 (cont.) 38
    代表的な
    プロダクト
    URL
    監視
    Monitoring
    Prometheus
    Zabbix
    Mackerel
    https://prometheus.io/
    https://www.zabbix.com/jp
    https://ja.mackerel.io/
    エラー分析
    Crash Analysis
    Airbrake
    Sentry
    https://airbrake.io/
    https://sentry.io/welcome/
    可観測性プラッ
    トフォーム
    Observability Platform
    New Relic Log Management
    Datadog Log management
    Grafana Loki
    Elasticsearch / Elastic Cloud
    https://newrelic.com/products/log-management
    https://www.datadoghq.com/ja/product/log-management/
    https://grafana.com/oss/loki/
    https://www.elastic.co/jp/cloud/
    SIEM
    Security Information
    and Event Management
    Sumo Logic
    Splunk
    SIEM on Amazon OSS
    https://www.sumologic.jp/
    https://www.splunk.com/ja_jp
    https://aws.amazon.com/jp/blogs/news/siem-on-amazon-elasticsearch-service/
    データ分析基盤
    BIツール
    Business Intelligence
    tools
    Fivetran
    Looker
    Snowflake
    KARTE Datahub
    https://fivetran.com/
    https://ja.looker.com/
    https://www.snowflake.com/?lang=ja
    https://karte.io/product/datahub/
    ※BIツールは一般的に、処理単位ごとに
    　複数のツールを組み合わせて利用します
    ※各ツールにより特長は異なります、表内の記述は代表的な例となります
    ※分類は独自のものです
    

    View Slide

39. 選ぶのは大変ですか？
    

    View Slide

40. 詳細はお問い合わせください！
    データ分析基盤 SaaS製品
    https://classmethod.jp/services/data-analytics/
    https://classmethod.jp/partner/
    Fivetran
    Looker
    Snowflake　etc.
    Sumo Logic
    New Relic
    Mackerel　etc.
    40
    

    View Slide

41. DevIO 2021 Decade 「データ分析」カテゴリ
    https://classmethod.jp/m/devio-2021-decade/
    41
    

    View Slide

42. View Slide