Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
2016-ShowNetステージ-モニタリング
Search
ShowNet
PRO
July 01, 2016
Technology
0
8
2016-ShowNetステージ-モニタリング
ShowNet
PRO
July 01, 2016
Tweet
Share
More Decks by ShowNet
See All by ShowNet
ShowNetの歩き方 2023
shownet
PRO
0
5
ShowNet2023 Topology
shownet
PRO
0
320
ShowNet2023 External
shownet
PRO
0
19
【shownet.conf_2023】ShowNetのネットワークを解説~最新鋭の技術で作るマルチテナントバックボーン~
shownet
PRO
0
1.4k
【shownet.conf_2023】ローカル5Gサービス提供への挑戦とその知見
shownet
PRO
0
1.4k
【shownet.conf_2023】パフォーマンス計測と詳細分析を組合わせた監視基盤の実現
shownet
PRO
0
1.4k
【shownet.conf_2023】ShowNetを守るセキュリティ〜広帯域化するネットワークを守る新たな挑戦〜
shownet
PRO
0
1.4k
【shownet.conf_2023】ShowNet を効率良く試験するために
shownet
PRO
0
1.6k
【shownet.conf_2023】ShowNet2023 伝送報告
shownet
PRO
0
1.7k
Other Decks in Technology
See All in Technology
IPUT App Dev. Co. -Overview 2024/4
iputapp
0
120
今日からできる!簡単 .NET 高速化 Tips -2024 edition-
xin9le
7
3.6k
MixIT 2024 - Pulumi : Gérer son infra avec son langage de programmation préféré
ju_hnny5
1
120
生産性向上チームの紹介
cybozuinsideout
PRO
1
910
家族アルバム みてねにおけるGrafana活用術 / Grafana Meetup Japan Vol.1 LT
isaoshimizu
1
910
Google Cloud Next '24 Recap(Cloud Run/k8s)
mokocm
0
330
アクセス制御にまつわる改善 / Improving access control
itkq
0
590
Next.js に疲れた私は Vue3 に癒やされた
akagire
0
120
EM完全に理解した と思ったけど、 やっぱり何も分からなかった話 / EM Night Fukuoka #1
hirutas
0
280
本当のAWS基礎
toru_kubota
1
620
.NET Profiler in 2024.
kkamegawa
2
930
Azure Container Apps + Bicep 〜 こんな感じで運用しています
kaz29
3
620
Featured
See All Featured
The Cost Of JavaScript in 2023
addyosmani
20
3.9k
Statistics for Hackers
jakevdp
790
220k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
660
120k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
242
1.2M
Six Lessons from altMBA
skipperchong
22
3k
Faster Mobile Websites
deanohume
300
30k
GraphQLの誤解/rethinking-graphql
sonatard
55
9.3k
What’s in a name? Adding method to the madness
productmarketing
PRO
17
2.7k
jQuery: Nuts, Bolts and Bling
dougneiner
59
7.2k
It's Worth the Effort
3n
180
27k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
33
6k
Unsuck your backbone
ammeep
663
57k
Transcript
Copyright © Interop Tokyo 2016 ShowNet NOC Team ShowNet 運用監視
モニタリングツールのInteroperabilityと API/クラウドを用いた通知連携
2 Copyright © Interop Tokyo 2016 ShowNet NOC Team アジェンダ
1. ShowNetにおける監視要件 2. ShowNetを監視するツール群 3. モニタリングツールのInteroperability 4. API/クラウドを用いた通知連携 5. ビックデータへの挑戦
3 Copyright © Interop Tokyo 2016 ShowNet NOC Team ShowNetの監視システム群
ラック絵を入れる
Copyright © Interop Tokyo 2016 ShowNet NOC Team 1. ShowNetにおける監視要件
5 Copyright © Interop Tokyo 2016 ShowNet NOC Team 一般的なシステム監視の流れ
• システム開発時 • 監視を行わない • サービス開始前 • 監視を始めるが通知しない(監視通知停止期間) • サービスの本番運用開始後 • 監視スタート
6 Copyright © Interop Tokyo 2016 ShowNet NOC Team ShowNetにおける監視要件
• 構築期間初期〜構築期間終了まで • ラックの温度監視、ネットワーク/サーバ機器の異常検 知、syslog監視、snmpによる機器情報のポーリング • 展示会期前 • ネットワーク/サーバ機器のエラー処理対応、安定稼働、 異常なログからの設定ミスなどの洗い出し • 展示会期間 • 出展者ネットワークのトラブル対応、外部からの攻撃検 知、ShowNetの安定運用
7 Copyright © Interop Tokyo 2016 ShowNet NOC Team 通常のシステム動作環境との大きな差異
• 大量のログやアラート • 構築時からのログやアラートを受ける • 適切なフィルタと高速な検索エンジンが必要 • 求められるツールが構築が進むにつれ異なる • 1つのツールで全ての監視範囲を賄うのは無理 • 広範囲で発生する事象に対し、多くのツールで対応 • 監視項目量の数 • 機器が出力するログやアラートは膨大 • 共通項目がほとんど無い場合が多い
Copyright © Interop Tokyo 2016 ShowNet NOC Team 2. ShowNetを監視するツール群
9 Copyright © Interop Tokyo 2016 ShowNet NOC Team ShowNetを監視するツール群
統合監視 syslog監視 Hypervisor監視 xFlow監視 温湿度監視 ネットワーク品質監視 ビックデータ解析基盤 アラート通知/管理 設定管理 ネットワーク監視
10 Copyright © Interop Tokyo 2016 ShowNet NOC Team 統合監視
• 監視システムの中心となるシステム • 他のシステムとの連携になりうるコアシステム System Answer G2 IBCさま ZABBIX Zabbixさま OpManager ゾーホージャパンさま
11 Copyright © Interop Tokyo 2016 ShowNet NOC Team syslog監視
• 展示される機器、VMのログを全て収集 • トラブルシューティングで一番利用されるツール vRealize Log Insight Vmwareさま
12 Copyright © Interop Tokyo 2016 ShowNet NOC Team Hypervisor監視
• 仮想アプライアンスが動作するHypervisorを監視 • リソース使用量の可視化、最適な資源量の提案 vRealize Operation Manager VMwareさま Uila 東陽テクニカさま
13 Copyright © Interop Tokyo 2016 ShowNet NOC Team 温湿度監視
• ラックの温湿度監視 • 各ラックの上段/中段/下段の3箇所で温度を取得 System Answer G2 IBCさま ZABBIX Zabbixさま Mr省エネ/Greenstation セイコーソリューションズさま
14 Copyright © Interop Tokyo 2016 ShowNet NOC Team ネットワーク品質監視
• Probeを用いたアクティブ監視 • ネットワークの品質を可視化(http, ftp, dns他) EXFO Xtract 丸文さま
15 Copyright © Interop Tokyo 2016 ShowNet NOC Team ネットワーク監視
• Unicast-ARP-PacketによるMgmt NWの常時監 視 • 監視状態の3D可視化 SmartIP2000 ViaScorpさま NXS-TVL 富士通九州ネットワークテクノロジーズさま
16 Copyright © Interop Tokyo 2016 ShowNet NOC Team アラート通知/管理
• クラウドサービスを利用したアラートの統合 • APIを用いた電話の発信、SMSへの通知 AlarmsOne ゾーホージャパンさま シンフォニーコル まほろば工房さま
17 Copyright © Interop Tokyo 2016 ShowNet NOC Team ビックデータ解析基盤監視
• Hadoopクラスタを用いた大規模分散ストレージ • Apache Sparkを使った分散処理機構 Data Platform for Hadoop NECさま ラック絵を入れる
Copyright © Interop Tokyo 2016 ShowNet NOC Team 3.モニタリングツールのInteroperability
19 Copyright © Interop Tokyo 2016 ShowNet NOC Team 複数システムの連携
• 各システムが得意個別監視をメインに扱う • snmp polling, trap handling, syslog, etc • Zabbixを中心に処理を統合 • トラップを中心的に受け、通知を統合する • Polling系システムとVisualizerの統合 • システムの違った見せ方への可能性模索
20 Copyright © Interop Tokyo 2016 ShowNet NOC Team モニタリングシステム群のInteroperability
監視対象 監視対象 監視対象 監視対象 監視対象 ポーリング ポーリング トラップ トラップ通知 連携 データ連携 アラート通知連携 アラート 通知連携 syslog トラップ通知 連携 データ連携
Copyright © Interop Tokyo 2016 ShowNet NOC Team 4. API/クラウドを用いた通知連携
22 Copyright © Interop Tokyo 2016 ShowNet NOC Team ShowNet外部システムとの通知連携
• コミュニケーションツールとの融合 • Slackへの通知 • クラウドサービスとの連携 • アラート通知に電話/SMSの利用 • 全てのアラートをクラウドへ集約 • クラウドで提供されるWebUIでのアラート一括管理
23 Copyright © Interop Tokyo 2016 ShowNet NOC Team API/クラウドを用いた通知連携
アラート アラート アラート 電話 メール/SMS WebUI チャットツール API クラウド環境 アラート API API
Copyright © Interop Tokyo 2016 ShowNet NOC Team 5.ビックデータへの挑戦
25 Copyright © Interop Tokyo 2016 ShowNet NOC Team Hadoopエコシステムの導入
• 今年はセキュリティのログが増える可能性がある • DDoSを外部から打ち込む試験、8K伝送 • ログを保存しきれるのか? • 分散ストレージにログを保存 • ログを処理しきれるのか? • 分散処理システムの導入
Copyright © Interop Tokyo 2016 ShowNet NOC Team 6.バックアップ回線
27 Copyright © Interop Tokyo 2016 ShowNet NOC Team 対外線が切れた場合の通知
• バックボーンは全て冗長化されている • 普通切れない • バックアップのバックアップ • OpenBlocks BX1 + SIM(LTE) + Wifiドングル 監視システム USB-Wifi 電話 メール/SMS Wi-fi 3G/LTE
28 Copyright © Interop Tokyo 2016 ShowNet NOC Team 2017年への課題
• 受動的な監視からプロアクティブな監視へ • L2/L3, セキュリティなど他のチームとの連携強 化
Copyright © Interop Tokyo 2016 ShowNet NOC Team 29 まとめ
Copyright © Interop Tokyo 2016 ShowNet NOC Team ご清聴ありがとうございました