Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
nagios phase 3 #TechLunch
Search
Livesense Inc.
PRO
April 21, 2014
Technology
0
50
nagios phase 3 #TechLunch
nagios phase 3
2013/07/03 (水) @ Livesense TechLunch
発表者:鈴木 翔一郎
Livesense Inc.
PRO
April 21, 2014
Tweet
Share
More Decks by Livesense Inc.
See All by Livesense Inc.
EM候補者向け転職会議説明資料
livesense
PRO
0
5
コロナで失われたノベルティ作成ノウハウを復活させた話
livesense
PRO
0
73
株式会社リブセンス 会社説明資料(報道関係者様向け)
livesense
PRO
0
350
転職会議でGPT-3を活用した企業口コミ要約機能をリリースした話
livesense
PRO
0
1k
株式会社リブセンス マッハバイト_プレイブック
livesense
PRO
0
410
Tech Award 2021 選出方法
livesense
PRO
0
1k
株式会社リブセンス エンジニアリング組織を支える風土と制度
livesense
PRO
0
520
株式会社リブセンス・マッハバイト 採用候補者様向け資料
livesense
PRO
0
210
株式会社リブセンス・転職会議 採用候補者様向け資料
livesense
PRO
0
2k
Other Decks in Technology
See All in Technology
プラットフォームってつくることより計測することが重要なんじゃないかという話 / Platform Engineering Meetup #8
taishin
0
320
MLOpsの「壁」を乗り越える、LINEヤフーの Data Quality as Code
lycorptech_jp
PRO
4
200
AWS認定資格を取得したので、初めてマネコンを触った時を振り返ってみた。
ainatsuptr
2
100
最近たまに見かけるTiDBってなんだ? - Findy
pingcap0315
2
750
アクセシビリティを考慮したUI/CSSフレームワーク・ライブラリ選定
yajihum
2
980
マルチアカウント環境への発見的統制の導入
ch1aki
1
1.3k
「スニダン」開発組織の構造に込めた意図 ~組織作りはパッションや政治ではない!~
rinchsan
3
490
EMとして2023年度に頑張ったこと / What we did well in FY2023 as a EM
pauli
1
150
現代CSSフレームワークの内部実装とその仕組み
poteboy
8
3.5k
Reducing Cross-Zone Egress at Spotify with Custom gRPC Load Balancing Recap
koh_naga
0
190
プロトタイピングによる不確実性の低減 / Reducing Uncertainty through Prototyping
ohbarye
5
370
Databricks における 『MLOps』
databricksjapan
2
160
Featured
See All Featured
Building a Scalable Design System with Sketch
lauravandoore
455
32k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
124
32k
Navigating Team Friction
lara
177
13k
A Tale of Four Properties
chriscoyier
150
22k
10 Git Anti Patterns You Should be Aware of
lemiorhan
647
58k
Building Effective Engineering Teams - LeadDev
addyosmani
28
1.8k
Statistics for Hackers
jakevdp
789
220k
Web Components: a chance to create the future
zenorocha
305
41k
Become a Pro
speakerdeck
PRO
10
4.5k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
5
1.5k
The Language of Interfaces
destraynor
151
23k
Ruby is Unlike a Banana
tanoku
96
10k
Transcript
Haraos phase 3
Haraos phase 2 目標 ü no more 誤検知 ü no more 時報
ü no more とりあえずメール
no more 誤検知 ü nagiosは誰でも簡単に閾値変更可能 # vim /etc/nagios/include/nrpe_custom.cfg # /etc/init.d/nrpe reload
$ etckeeper commit "nrpe threshold"
no more 誤検知 ü 1 request落ちてもアラートをあげない ü 一時的高負荷/deployの誤検知防止 ü max_check_attempts ü Soft Critail /
Hard Critcal
no more 時報 ü check / notification 抑制機能 ü GUI/CLI の両方をサポート ü crontabに登録すれば時報の抑制も
no more とりあえずメール ü メールを飛ばすのは監視とは言わない ü 緊急時のみメール&グラフ化が必要 ü PNP pluginによる可視化 ü 適切なthreshold/attempt
Haraos phase 2 ü HR系DB master 発火を検知 ü haken slave
query滞留を検知 ü LDAP disk枯渇を検知 ü mod proxy 障害は検知できず (CentOS 5.Xはharaos未設定です)
Haraos phase 2 何とかDBリプレイスに間に合いました ⊂(・∀・)つセーフ!! ü HB同等レベルの監視項目設定 ü HBやや遅い監視体制
1年前は・・・
jsen APサーバで高負荷状態
関連サーバの負荷を調査 master DB の munin グラフを表示
待つ事 5分・・・
ボトルネック特定に時間が かかりすぎ・・・
今では・・・ ü 障害機器一覧が一目瞭然
Haraos phase 3 目標 ü メール通知のnagios化 ü 不要監視項目の断捨離 ü メディア主体の閾値調整
Haraos phase 3 目標 ü メール通知のnagios化 ü 不要監視項目の断捨離 ü メディア主体の閾値調整
メール通知のnagios化 ü lsync delay haraos化 完了 ü mys delay haraos化 完了 (夜間メール抑制対応追加)
ü あとは既存メール設定削除
不要監視項目の断捨離 ◇対応内容 貴社ユーザーと思われるログインを 多数確認致しましたので 一時的に注意監視とさせて頂きます。 ü 要らないですよね?
メディア主体の閾値調整 ü すぐに対応できないアラートは とりあえず止めてしまう ü 要らないchat通知を抑制して 集中して仕事できる体制へ
メディア主体の閾値調整 ü apache error_log ü Unable to open PDO conn ü SQLSTATE ü 件数
/ min ü apache access_log ü 5XX error 件数
大事な事なので2回言います
メディア主体の閾値調整 ü haraosを使いこなせれば不要 アラートを抑制できます。 ü haraosを使いこなせれば事業 判断に基づく閾値調整が可能 です
大事な事なので3回言います
メディア主体の閾値調整 ü haraosを使いこなせれば不要 アラートを抑制できます。 ü haraosを使いこなせれば事業 判断に基づく閾値調整が可能 です
以上 次回 haraos phase 4