イベントネットワークにおけるsyslog分析でのElasticsearchの利用

Transcript

1. イベントネットワークにおける syslog分析でのElasticsearchの利⽤ 2016/09/11 あべひろし(@hirolovesbeer)

2. イベントネットワークにおける syslog分析でのHadoop Elasticsearchの利⽤ 2016/09/11 あべひろし(@hirolovesbeer)

3. アジェンダ • ⾃⼰紹介 • イベントネットワークとは？ • syslogを⽤いた監視 • Elasticsearch +

   Kibana + Logstash = ??? • さらなるsyslog監視

4. ⾃⼰紹介 • 所属 • IIJイノベーションインスティテュート 技術研究所 • 北陸先端科学技術⼤学院⼤学 篠⽥研究室 博⼠課程

   • 活動 • WIDEプロジェクトメンバー • Interop Tokyo 2015/2016 NOCメンバー

5. ⾃⼰紹介 • 所属 • IIJイノベーションインスティテュート 技術研究所 • 北陸先端科学技術⼤学院⼤学 篠⽥研究室 博⼠課程

   • 活動 • WIDEプロジェクトメンバー • Interop Tokyo 2015/2016 NOCメンバー Kanazawa.rb!!

6. Kanazawa.rb

7. イベントネットワークとは？

8. イベントネットワークとは？ • ⼤規模な展⽰会やカンファレンスで提供されるネットワーク • 来場者/出展者に対してインターネットアクセスが提供される • マルチベンダ機器で構成される実験的なネットワーク • 短期間で構築/運⽤/撤収 •

   例) Interop TokyoのShowNet

9. イベントネットワークの規模 • 例) Interop Tokyo 2016の場合 • 来場者数: 3⽇間で14万⼈超え •

   出展者数: 529社, 出展⼩間数: 1388⼩間 • コントリビューション総額: 74億円 • 動員数: NOC/STM/コントリビュータ: 396名 • UTP利⽤線⻑総計: 約30km

10. イベントネットワークの監視 • 王道 • ping/traceroute/tcpdump • モニタリングツール • Zabbix, Nagios,

    etc… • syslog監視 • VMware LogInsight, OSS,…

11. syslogを⽤いた監視

12. syslogの監視 • ログの総数から異常を監視 • 機器の発狂/設定ミス、DoS攻撃、ワームの発⽣ • 特定キーワードの出現を監視 • BGP down/OSPF

    down/Storm detection • 通知⽅法 • 視覚化、メール通知、slack通知

13. syslogの総量 • 約4,300万件 : 多い？少ない？ ⽇付 総イベント数 ⽇付 総イベント数 5/27

    192 6/4 2,108,661 5/28 181,285 6/5 3,177,122 5/29 552,579 6/6 3,297,654 5/30 821,363 6/7 2,702,382 5/31 617,368 6/8 3,186,363 6/1 917,308 6/9 12,769,834 6/2 1,949,738 6/10 9,446,694 6/3 1,771,956 合計 43,500,499

14. syslogの総量 • 約4,300万件 : 多い？少ない？ • フォーマットは不揃い!!ベンダーの⼈ですら初⾒のログ多数 ⽇付 総イベント数 ⽇付

    総イベント数 5/27 192 6/4 2,108,661 5/28 181,285 6/5 3,177,122 5/29 552,579 6/6 3,297,654 5/30 821,363 6/7 2,702,382 5/31 617,368 6/8 3,186,363 6/1 917,308 6/9 12,769,834 6/2 1,949,738 6/10 9,446,694 6/3 1,771,956 合計 43,500,499

15. syslogの監視 • ログの総数から異常を監視 • 機器の発狂/設定ミス、DoS攻撃、ワームの発⽣ • 特定キーワードの出現を監視 • BGP down/OSPF

    down/Storm detection • 通知⽅法 • 視覚化、メール通知、slack通知 意味解析が難しい 過去の経験しか役に⽴たない キーワードマッチング つまり全⽂検索

16. Elasticsearch + Kibana + Logstash = ?

17. Elasticsearch + Kibana + Logstash = ??? • Nagios Log

    Server • Nagios社が開発するパッケージソフトウェア • 特徴 • 閾値監視、クラスタリング、ログテンプレート 参照: https://www.nagios.com/products/nagios-log-server/

18. システムイメージ Trouble TicketDB Fluentd Client Fluentd Front Fluentd Back1 Fluentd

    Back2 Syslog Collector NOC Data Store Infini Flux Nagios Log Server - apache log - rails log msgpack msgpack msgpack msgpack msgpack msgpack syslog - ping - stat ElasticSearch syslog Over 500 equipments

19. syslog分析例 ⾮公開 ⾮公開 ⾮公開

20. Nagios Log Serverの記事 • Software Design 2015年10⽉号 • OSSで実現するセキュリティログ管理システム ⾮公開

21. さらなるsyslog監視

22. さらなるsyslog監視 • syslogの総量推移から異常値を⾃動的に⾒つけられないか？ • 異常が起きた時にsyslogの総量が増える • ボリンジャーバンドアルゴリズム • 正規分布の±2σを超える/下回るとエラー •

    Kibanaでグラフ描けるかな？ • 棒グラフと折れ線グラフの重ね合わせ

23. さらなるsyslog監視

24. まとめ • イベントネットワークの概要 • syslog監視について • Nagios Log Serverの説明 •

    さらなるsyslog監視について

25. Q&A