イベントネットワークにおける syslog分析でのElasticsearchの利⽤ 2016/09/11 あべひろし(@hirolovesbeer)

イベントネットワークにおける syslog分析でのHadoop Elasticsearchの利⽤ 2016/09/11 あべひろし(@hirolovesbeer)

アジェンダ • ⾃⼰紹介 • イベントネットワークとは？ • syslogを⽤いた監視 • Elasticsearch + Kibana + Logstash = ??? • さらなるsyslog監視

⾃⼰紹介 • 所属 • IIJイノベーションインスティテュート 技術研究所 • 北陸先端科学技術⼤学院⼤学 篠⽥研究室 博⼠課程 • 活動 • WIDEプロジェクトメンバー • Interop Tokyo 2015/2016 NOCメンバー

⾃⼰紹介 • 所属 • IIJイノベーションインスティテュート 技術研究所 • 北陸先端科学技術⼤学院⼤学 篠⽥研究室 博⼠課程 • 活動 • WIDEプロジェクトメンバー • Interop Tokyo 2015/2016 NOCメンバー Kanazawa.rb!!

Kanazawa.rb

イベントネットワークとは？

イベントネットワークとは？ • ⼤規模な展⽰会やカンファレンスで提供されるネットワーク • 来場者/出展者に対してインターネットアクセスが提供される • マルチベンダ機器で構成される実験的なネットワーク • 短期間で構築/運⽤/撤収 • 例) Interop TokyoのShowNet

イベントネットワークの規模 • 例) Interop Tokyo 2016の場合 • 来場者数: 3⽇間で14万⼈超え • 出展者数: 529社, 出展⼩間数: 1388⼩間 • コントリビューション総額: 74億円 • 動員数: NOC/STM/コントリビュータ: 396名 • UTP利⽤線⻑総計: 約30km

イベントネットワークの監視 • 王道 • ping/traceroute/tcpdump • モニタリングツール • Zabbix, Nagios, etc… • syslog監視 • VMware LogInsight, OSS,…

syslogを⽤いた監視

syslogの監視 • ログの総数から異常を監視 • 機器の発狂/設定ミス、DoS攻撃、ワームの発⽣ • 特定キーワードの出現を監視 • BGP down/OSPF down/Storm detection • 通知⽅法 • 視覚化、メール通知、slack通知

syslogの総量 • 約4,300万件 : 多い？少ない？ ⽇付 総イベント数 ⽇付 総イベント数 5/27 192 6/4 2,108,661 5/28 181,285 6/5 3,177,122 5/29 552,579 6/6 3,297,654 5/30 821,363 6/7 2,702,382 5/31 617,368 6/8 3,186,363 6/1 917,308 6/9 12,769,834 6/2 1,949,738 6/10 9,446,694 6/3 1,771,956 合計 43,500,499

syslogの総量 • 約4,300万件 : 多い？少ない？ • フォーマットは不揃い!!ベンダーの⼈ですら初⾒のログ多数 ⽇付 総イベント数 ⽇付 総イベント数 5/27 192 6/4 2,108,661 5/28 181,285 6/5 3,177,122 5/29 552,579 6/6 3,297,654 5/30 821,363 6/7 2,702,382 5/31 617,368 6/8 3,186,363 6/1 917,308 6/9 12,769,834 6/2 1,949,738 6/10 9,446,694 6/3 1,771,956 合計 43,500,499

syslogの監視 • ログの総数から異常を監視 • 機器の発狂/設定ミス、DoS攻撃、ワームの発⽣ • 特定キーワードの出現を監視 • BGP down/OSPF down/Storm detection • 通知⽅法 • 視覚化、メール通知、slack通知 意味解析が難しい 過去の経験しか役に⽴たない キーワードマッチング つまり全⽂検索

Elasticsearch + Kibana + Logstash = ?

Elasticsearch + Kibana + Logstash = ??? • Nagios Log Server • Nagios社が開発するパッケージソフトウェア • 特徴 • 閾値監視、クラスタリング、ログテンプレート 参照: https://www.nagios.com/products/nagios-log-server/

システムイメージ Trouble TicketDB Fluentd Client Fluentd Front Fluentd Back1 Fluentd Back2 Syslog Collector NOC Data Store Infini Flux Nagios Log Server - apache log - rails log msgpack msgpack msgpack msgpack msgpack msgpack syslog - ping - stat ElasticSearch syslog Over 500 equipments

syslog分析例 ⾮公開 ⾮公開 ⾮公開

Nagios Log Serverの記事 • Software Design 2015年10⽉号 • OSSで実現するセキュリティログ管理システム ⾮公開

さらなるsyslog監視

さらなるsyslog監視 • syslogの総量推移から異常値を⾃動的に⾒つけられないか？ • 異常が起きた時にsyslogの総量が増える • ボリンジャーバンドアルゴリズム • 正規分布の±2σを超える/下回るとエラー • Kibanaでグラフ描けるかな？ • 棒グラフと折れ線グラフの重ね合わせ

さらなるsyslog監視

まとめ • イベントネットワークの概要 • syslog監視について • Nagios Log Serverの説明 • さらなるsyslog監視について

Q&A