2016-ShowNetステージ-モニタリング

Transcript

1. Copyright © Interop Tokyo 2016 ShowNet NOC Team ShowNet 運用監視 モニタリングツールのInteroperabilityと API/クラウドを用いた通知連携
2. 2 Copyright © Interop Tokyo 2016 ShowNet NOC Team アジェンダ 1. ShowNetにおける監視要件 2. ShowNetを監視するツール群 3. モニタリングツールのInteroperability 4. API/クラウドを用いた通知連携 5. ビックデータへの挑戦
3. 3 Copyright © Interop Tokyo 2016 ShowNet NOC Team ShowNetの監視システム群 ラック絵を入れる
4. Copyright © Interop Tokyo 2016 ShowNet NOC Team 1. ShowNetにおける監視要件
5. 5 Copyright © Interop Tokyo 2016 ShowNet NOC Team 一般的なシステム監視の流れ • システム開発時 • 監視を行わない • サービス開始前 • 監視を始めるが通知しない(監視通知停止期間) • サービスの本番運用開始後 • 監視スタート
6. 6 Copyright © Interop Tokyo 2016 ShowNet NOC Team ShowNetにおける監視要件 • 構築期間初期〜構築期間終了まで • ラックの温度監視、ネットワーク/サーバ機器の異常検 知、syslog監視、snmpによる機器情報のポーリング • 展示会期前 • ネットワーク/サーバ機器のエラー処理対応、安定稼働、 異常なログからの設定ミスなどの洗い出し • 展示会期間 • 出展者ネットワークのトラブル対応、外部からの攻撃検 知、ShowNetの安定運用
7. 7 Copyright © Interop Tokyo 2016 ShowNet NOC Team 通常のシステム動作環境との大きな差異 • 大量のログやアラート • 構築時からのログやアラートを受ける • 適切なフィルタと高速な検索エンジンが必要 • 求められるツールが構築が進むにつれ異なる • 1つのツールで全ての監視範囲を賄うのは無理 • 広範囲で発生する事象に対し、多くのツールで対応 • 監視項目量の数 • 機器が出力するログやアラートは膨大 • 共通項目がほとんど無い場合が多い
8. Copyright © Interop Tokyo 2016 ShowNet NOC Team 2. ShowNetを監視するツール群
9. 9 Copyright © Interop Tokyo 2016 ShowNet NOC Team ShowNetを監視するツール群 統合監視 syslog監視 Hypervisor監視 xFlow監視 温湿度監視 ネットワーク品質監視 ビックデータ解析基盤 アラート通知/管理 設定管理 ネットワーク監視
10. 10 Copyright © Interop Tokyo 2016 ShowNet NOC Team 統合監視 • 監視システムの中心となるシステム • 他のシステムとの連携になりうるコアシステム System Answer G2 IBCさま ZABBIX Zabbixさま OpManager ゾーホージャパンさま
11. 11 Copyright © Interop Tokyo 2016 ShowNet NOC Team syslog監視 • 展示される機器、VMのログを全て収集 • トラブルシューティングで一番利用されるツール vRealize Log Insight Vmwareさま
12. 12 Copyright © Interop Tokyo 2016 ShowNet NOC Team Hypervisor監視 • 仮想アプライアンスが動作するHypervisorを監視 • リソース使用量の可視化、最適な資源量の提案 vRealize Operation Manager VMwareさま Uila 東陽テクニカさま
13. 13 Copyright © Interop Tokyo 2016 ShowNet NOC Team 温湿度監視 • ラックの温湿度監視 • 各ラックの上段/中段/下段の３箇所で温度を取得 System Answer G2 IBCさま ZABBIX Zabbixさま Mr省エネ/Greenstation セイコーソリューションズさま
14. 14 Copyright © Interop Tokyo 2016 ShowNet NOC Team ネットワーク品質監視 • Probeを用いたアクティブ監視 • ネットワークの品質を可視化(http, ftp, dns他) EXFO Xtract 丸文さま
15. 15 Copyright © Interop Tokyo 2016 ShowNet NOC Team ネットワーク監視 • Unicast-ARP-PacketによるMgmt NWの常時監 視 • 監視状態の3D可視化 SmartIP2000 ViaScorpさま NXS-TVL 富士通九州ネットワークテクノロジーズさま
16. 16 Copyright © Interop Tokyo 2016 ShowNet NOC Team アラート通知/管理 • クラウドサービスを利用したアラートの統合 • APIを用いた電話の発信、SMSへの通知 AlarmsOne ゾーホージャパンさま シンフォニーコル まほろば工房さま
17. 17 Copyright © Interop Tokyo 2016 ShowNet NOC Team ビックデータ解析基盤監視 • Hadoopクラスタを用いた大規模分散ストレージ • Apache Sparkを使った分散処理機構 Data Platform for Hadoop NECさま ラック絵を入れる
18. Copyright © Interop Tokyo 2016 ShowNet NOC Team 3.モニタリングツールのInteroperability
19. 19 Copyright © Interop Tokyo 2016 ShowNet NOC Team 複数システムの連携 • 各システムが得意個別監視をメインに扱う • snmp polling, trap handling, syslog, etc • Zabbixを中心に処理を統合 • トラップを中心的に受け、通知を統合する • Polling系システムとVisualizerの統合 • システムの違った見せ方への可能性模索
20. 20 Copyright © Interop Tokyo 2016 ShowNet NOC Team モニタリングシステム群のInteroperability 監視対象 監視対象 監視対象 監視対象 監視対象 ポーリング ポーリング トラップ トラップ通知 連携 データ連携 アラート通知連携 アラート 通知連携 syslog トラップ通知 連携 データ連携
21. Copyright © Interop Tokyo 2016 ShowNet NOC Team 4. API/クラウドを用いた通知連携
22. 22 Copyright © Interop Tokyo 2016 ShowNet NOC Team ShowNet外部システムとの通知連携 • コミュニケーションツールとの融合 • Slackへの通知 • クラウドサービスとの連携 • アラート通知に電話/SMSの利用 • 全てのアラートをクラウドへ集約 • クラウドで提供されるWebUIでのアラート一括管理
23. 23 Copyright © Interop Tokyo 2016 ShowNet NOC Team API/クラウドを用いた通知連携 アラート アラート アラート 電話 メール/SMS WebUI チャットツール API クラウド環境 アラート API API
24. Copyright © Interop Tokyo 2016 ShowNet NOC Team 5.ビックデータへの挑戦
25. 25 Copyright © Interop Tokyo 2016 ShowNet NOC Team Hadoopエコシステムの導入 • 今年はセキュリティのログが増える可能性がある • DDoSを外部から打ち込む試験、8K伝送 • ログを保存しきれるのか？ • 分散ストレージにログを保存 • ログを処理しきれるのか？ • 分散処理システムの導入
26. Copyright © Interop Tokyo 2016 ShowNet NOC Team 6.バックアップ回線
27. 27 Copyright © Interop Tokyo 2016 ShowNet NOC Team 対外線が切れた場合の通知 • バックボーンは全て冗長化されている • 普通切れない • バックアップのバックアップ • OpenBlocks BX1 + SIM(LTE) + Wifiドングル 監視システム USB-Wifi 電話 メール/SMS Wi-fi 3G/LTE
28. 28 Copyright © Interop Tokyo 2016 ShowNet NOC Team 2017年への課題 • 受動的な監視からプロアクティブな監視へ • L2/L3, セキュリティなど他のチームとの連携強 化
29. Copyright © Interop Tokyo 2016 ShowNet NOC Team 29 まとめ
30. Copyright © Interop Tokyo 2016 ShowNet NOC Team ご清聴ありがとうございました