Upgrade to Pro — share decks privately, control downloads, hide ads and more …

イベントネットワークにおけるsyslog分析でのElasticsearchの利用

A83655d3e1a5121d672904aaa1805cb2?s=47 Hiroshi
September 13, 2016

 イベントネットワークにおけるsyslog分析でのElasticsearchの利用

Elastic勉強会 in Kanazawaの発表資料

A83655d3e1a5121d672904aaa1805cb2?s=128

Hiroshi

September 13, 2016
Tweet

Transcript

  1. イベントネットワークにおける syslog分析でのElasticsearchの利⽤ 2016/09/11 あべひろし(@hirolovesbeer)

  2. イベントネットワークにおける syslog分析でのHadoop Elasticsearchの利⽤ 2016/09/11 あべひろし(@hirolovesbeer)

  3. アジェンダ • ⾃⼰紹介 • イベントネットワークとは? • syslogを⽤いた監視 • Elasticsearch +

    Kibana + Logstash = ??? • さらなるsyslog監視
  4. ⾃⼰紹介 • 所属 • IIJイノベーションインスティテュート 技術研究所 • 北陸先端科学技術⼤学院⼤学 篠⽥研究室 博⼠課程

    • 活動 • WIDEプロジェクトメンバー • Interop Tokyo 2015/2016 NOCメンバー
  5. ⾃⼰紹介 • 所属 • IIJイノベーションインスティテュート 技術研究所 • 北陸先端科学技術⼤学院⼤学 篠⽥研究室 博⼠課程

    • 活動 • WIDEプロジェクトメンバー • Interop Tokyo 2015/2016 NOCメンバー Kanazawa.rb!!
  6. Kanazawa.rb

  7. イベントネットワークとは?

  8. イベントネットワークとは? • ⼤規模な展⽰会やカンファレンスで提供されるネットワーク • 来場者/出展者に対してインターネットアクセスが提供される • マルチベンダ機器で構成される実験的なネットワーク • 短期間で構築/運⽤/撤収 •

    例) Interop TokyoのShowNet
  9. イベントネットワークの規模 • 例) Interop Tokyo 2016の場合 • 来場者数: 3⽇間で14万⼈超え •

    出展者数: 529社, 出展⼩間数: 1388⼩間 • コントリビューション総額: 74億円 • 動員数: NOC/STM/コントリビュータ: 396名 • UTP利⽤線⻑総計: 約30km
  10. イベントネットワークの監視 • 王道 • ping/traceroute/tcpdump • モニタリングツール • Zabbix, Nagios,

    etc… • syslog監視 • VMware LogInsight, OSS,…
  11. syslogを⽤いた監視

  12. syslogの監視 • ログの総数から異常を監視 • 機器の発狂/設定ミス、DoS攻撃、ワームの発⽣ • 特定キーワードの出現を監視 • BGP down/OSPF

    down/Storm detection • 通知⽅法 • 視覚化、メール通知、slack通知
  13. syslogの総量 • 約4,300万件 : 多い?少ない? ⽇付 総イベント数 ⽇付 総イベント数 5/27

    192 6/4 2,108,661 5/28 181,285 6/5 3,177,122 5/29 552,579 6/6 3,297,654 5/30 821,363 6/7 2,702,382 5/31 617,368 6/8 3,186,363 6/1 917,308 6/9 12,769,834 6/2 1,949,738 6/10 9,446,694 6/3 1,771,956 合計 43,500,499
  14. syslogの総量 • 約4,300万件 : 多い?少ない? • フォーマットは不揃い!!ベンダーの⼈ですら初⾒のログ多数 ⽇付 総イベント数 ⽇付

    総イベント数 5/27 192 6/4 2,108,661 5/28 181,285 6/5 3,177,122 5/29 552,579 6/6 3,297,654 5/30 821,363 6/7 2,702,382 5/31 617,368 6/8 3,186,363 6/1 917,308 6/9 12,769,834 6/2 1,949,738 6/10 9,446,694 6/3 1,771,956 合計 43,500,499
  15. syslogの監視 • ログの総数から異常を監視 • 機器の発狂/設定ミス、DoS攻撃、ワームの発⽣ • 特定キーワードの出現を監視 • BGP down/OSPF

    down/Storm detection • 通知⽅法 • 視覚化、メール通知、slack通知 意味解析が難しい 過去の経験しか役に⽴たない キーワードマッチング つまり全⽂検索
  16. Elasticsearch + Kibana + Logstash = ?

  17. Elasticsearch + Kibana + Logstash = ??? • Nagios Log

    Server • Nagios社が開発するパッケージソフトウェア • 特徴 • 閾値監視、クラスタリング、ログテンプレート 参照: https://www.nagios.com/products/nagios-log-server/
  18. システムイメージ Trouble TicketDB Fluentd Client Fluentd Front Fluentd Back1 Fluentd

    Back2 Syslog Collector NOC Data Store Infini Flux Nagios Log Server - apache log - rails log msgpack msgpack msgpack msgpack msgpack msgpack syslog - ping - stat ElasticSearch syslog Over 500 equipments
  19. syslog分析例 ⾮公開 ⾮公開 ⾮公開

  20. Nagios Log Serverの記事 • Software Design 2015年10⽉号 • OSSで実現するセキュリティログ管理システム ⾮公開

  21. さらなるsyslog監視

  22. さらなるsyslog監視 • syslogの総量推移から異常値を⾃動的に⾒つけられないか? • 異常が起きた時にsyslogの総量が増える • ボリンジャーバンドアルゴリズム • 正規分布の±2σを超える/下回るとエラー •

    Kibanaでグラフ描けるかな? • 棒グラフと折れ線グラフの重ね合わせ
  23. さらなるsyslog監視

  24. まとめ • イベントネットワークの概要 • syslog監視について • Nagios Log Serverの説明 •

    さらなるsyslog監視について
  25. Q&A