イベントネットワークにおけるsyslog分析でのElasticsearchの利用

Transcript

1. 1.

   イベントネットワークにおける syslog分析でのElasticsearchの利⽤ 2016/09/11 あべひろし(@hirolovesbeer)

2. 2.

   イベントネットワークにおける syslog分析でのHadoop Elasticsearchの利⽤ 2016/09/11 あべひろし(@hirolovesbeer)

3. 3.

   アジェンダ • ⾃⼰紹介 • イベントネットワークとは？ • syslogを⽤いた監視 • Elasticsearch +

   Kibana + Logstash = ??? • さらなるsyslog監視
4. 4.

   ⾃⼰紹介 • 所属 • IIJイノベーションインスティテュート 技術研究所 • 北陸先端科学技術⼤学院⼤学 篠⽥研究室 博⼠課程

   • 活動 • WIDEプロジェクトメンバー • Interop Tokyo 2015/2016 NOCメンバー
5. 5.

   ⾃⼰紹介 • 所属 • IIJイノベーションインスティテュート 技術研究所 • 北陸先端科学技術⼤学院⼤学 篠⽥研究室 博⼠課程

   • 活動 • WIDEプロジェクトメンバー • Interop Tokyo 2015/2016 NOCメンバー Kanazawa.rb!!
6. 6.

   Kanazawa.rb

7. 7.

   イベントネットワークとは？

8. 8.

   イベントネットワークとは？ • ⼤規模な展⽰会やカンファレンスで提供されるネットワーク • 来場者/出展者に対してインターネットアクセスが提供される • マルチベンダ機器で構成される実験的なネットワーク • 短期間で構築/運⽤/撤収 •

   例) Interop TokyoのShowNet
9. 9.

   イベントネットワークの規模 • 例) Interop Tokyo 2016の場合 • 来場者数: 3⽇間で14万⼈超え •

   出展者数: 529社, 出展⼩間数: 1388⼩間 • コントリビューション総額: 74億円 • 動員数: NOC/STM/コントリビュータ: 396名 • UTP利⽤線⻑総計: 約30km
10. 10.

    イベントネットワークの監視 • 王道 • ping/traceroute/tcpdump • モニタリングツール • Zabbix, Nagios,

    etc… • syslog監視 • VMware LogInsight, OSS,…
11. 11.

    syslogを⽤いた監視

12. 12.

    syslogの監視 • ログの総数から異常を監視 • 機器の発狂/設定ミス、DoS攻撃、ワームの発⽣ • 特定キーワードの出現を監視 • BGP down/OSPF

    down/Storm detection • 通知⽅法 • 視覚化、メール通知、slack通知
13. 13.

    syslogの総量 • 約4,300万件 : 多い？少ない？ ⽇付 総イベント数 ⽇付 総イベント数 5/27

    192 6/4 2,108,661 5/28 181,285 6/5 3,177,122 5/29 552,579 6/6 3,297,654 5/30 821,363 6/7 2,702,382 5/31 617,368 6/8 3,186,363 6/1 917,308 6/9 12,769,834 6/2 1,949,738 6/10 9,446,694 6/3 1,771,956 合計 43,500,499
14. 14.

    syslogの総量 • 約4,300万件 : 多い？少ない？ • フォーマットは不揃い!!ベンダーの⼈ですら初⾒のログ多数 ⽇付 総イベント数 ⽇付

    総イベント数 5/27 192 6/4 2,108,661 5/28 181,285 6/5 3,177,122 5/29 552,579 6/6 3,297,654 5/30 821,363 6/7 2,702,382 5/31 617,368 6/8 3,186,363 6/1 917,308 6/9 12,769,834 6/2 1,949,738 6/10 9,446,694 6/3 1,771,956 合計 43,500,499
15. 15.

    syslogの監視 • ログの総数から異常を監視 • 機器の発狂/設定ミス、DoS攻撃、ワームの発⽣ • 特定キーワードの出現を監視 • BGP down/OSPF

    down/Storm detection • 通知⽅法 • 視覚化、メール通知、slack通知 意味解析が難しい 過去の経験しか役に⽴たない キーワードマッチング つまり全⽂検索
16. 16.

    Elasticsearch + Kibana + Logstash = ?

17. 17.

    Elasticsearch + Kibana + Logstash = ??? • Nagios Log

    Server • Nagios社が開発するパッケージソフトウェア • 特徴 • 閾値監視、クラスタリング、ログテンプレート 参照: https://www.nagios.com/products/nagios-log-server/
18. 18.

    システムイメージ Trouble TicketDB Fluentd Client Fluentd Front Fluentd Back1 Fluentd

    Back2 Syslog Collector NOC Data Store Infini Flux Nagios Log Server - apache log - rails log msgpack msgpack msgpack msgpack msgpack msgpack syslog - ping - stat ElasticSearch syslog Over 500 equipments
19. 19.

    syslog分析例 ⾮公開 ⾮公開 ⾮公開

20. 20.

    Nagios Log Serverの記事 • Software Design 2015年10⽉号 • OSSで実現するセキュリティログ管理システム ⾮公開

21. 21.

    さらなるsyslog監視

22. 22.

    さらなるsyslog監視 • syslogの総量推移から異常値を⾃動的に⾒つけられないか？ • 異常が起きた時にsyslogの総量が増える • ボリンジャーバンドアルゴリズム • 正規分布の±2σを超える/下回るとエラー •

    Kibanaでグラフ描けるかな？ • 棒グラフと折れ線グラフの重ね合わせ
23. 23.

    さらなるsyslog監視

24. 24.

    まとめ • イベントネットワークの概要 • syslog監視について • Nagios Log Serverの説明 •

    さらなるsyslog監視について
25. 25.

    Q&A