Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
nagios phase 3 #TechLunch
Search
Livesense Inc.
PRO
April 21, 2014
Technology
0
64
nagios phase 3 #TechLunch
nagios phase 3
2013/07/03 (水) @ Livesense TechLunch
発表者:鈴木 翔一郎
Livesense Inc.
PRO
April 21, 2014
Tweet
Share
More Decks by Livesense Inc.
See All by Livesense Inc.
27新卒_Webエンジニア職採用_会社説明資料
livesense
PRO
0
2.4k
株式会社リブセンス・転職会議 採用候補者様向け資料
livesense
PRO
0
51
株式会社リブセンス 会社説明資料(報道関係者様向け)
livesense
PRO
0
1.5k
データ基盤の負債解消のためのリプレイス
livesense
PRO
0
440
26新卒_総合職採用_会社説明資料
livesense
PRO
0
11k
株式会社リブセンス会社紹介資料 / Invent the next common.
livesense
PRO
1
37k
26新卒_Webエンジニア職採用_会社説明資料
livesense
PRO
1
13k
中途セールス職_会社説明資料
livesense
PRO
0
260
EM候補者向け転職会議説明資料
livesense
PRO
0
130
Other Decks in Technology
See All in Technology
react-callを使ってダイヤログをいろんなとこで再利用しよう!
shinaps
1
230
Kiroと学ぶコンテキストエンジニアリング
oikon48
6
9.8k
企業の生成AIガバナンスにおけるエージェントとセキュリティ
lycorptech_jp
PRO
2
150
【初心者向け】ローカルLLMの色々な動かし方まとめ
aratako
7
3.4k
自作JSエンジンに推しプロポーザルを実装したい!
sajikix
1
170
dbt開発 with Claude Codeのためのガードレール設計
10xinc
2
1.1k
バッチ処理で悩むバックエンドエンジニアに捧げるAWS Glue入門
diggymo
3
190
Webブラウザ向け動画配信プレイヤーの 大規模リプレイスから得た知見と学び
yud0uhu
0
230
allow_retry と Arel.sql / allow_retry and Arel.sql
euglena1215
1
160
未経験者・初心者に贈る!40分でわかるAndroidアプリ開発の今と大事なポイント
operando
3
340
Agile PBL at New Grads Trainings
kawaguti
PRO
1
390
Skrub: machine-learning with dataframes
gaelvaroquaux
0
120
Featured
See All Featured
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
162
15k
It's Worth the Effort
3n
187
28k
Agile that works and the tools we love
rasmusluckow
330
21k
How GitHub (no longer) Works
holman
315
140k
Building Flexible Design Systems
yeseniaperezcruz
328
39k
Building an army of robots
kneath
306
46k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
8
920
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
44
2.5k
Optimising Largest Contentful Paint
csswizardry
37
3.4k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
Why Our Code Smells
bkeepers
PRO
339
57k
A Modern Web Designer's Workflow
chriscoyier
696
190k
Transcript
Haraos phase 3
Haraos phase 2 目標 ü no more 誤検知 ü no more 時報
ü no more とりあえずメール
no more 誤検知 ü nagiosは誰でも簡単に閾値変更可能 # vim /etc/nagios/include/nrpe_custom.cfg # /etc/init.d/nrpe reload
$ etckeeper commit "nrpe threshold"
no more 誤検知 ü 1 request落ちてもアラートをあげない ü 一時的高負荷/deployの誤検知防止 ü max_check_attempts ü Soft Critail /
Hard Critcal
no more 時報 ü check / notification 抑制機能 ü GUI/CLI の両方をサポート ü crontabに登録すれば時報の抑制も
no more とりあえずメール ü メールを飛ばすのは監視とは言わない ü 緊急時のみメール&グラフ化が必要 ü PNP pluginによる可視化 ü 適切なthreshold/attempt
Haraos phase 2 ü HR系DB master 発火を検知 ü haken slave
query滞留を検知 ü LDAP disk枯渇を検知 ü mod proxy 障害は検知できず (CentOS 5.Xはharaos未設定です)
Haraos phase 2 何とかDBリプレイスに間に合いました ⊂(・∀・)つセーフ!! ü HB同等レベルの監視項目設定 ü HBやや遅い監視体制
1年前は・・・
jsen APサーバで高負荷状態
関連サーバの負荷を調査 master DB の munin グラフを表示
待つ事 5分・・・
ボトルネック特定に時間が かかりすぎ・・・
今では・・・ ü 障害機器一覧が一目瞭然
Haraos phase 3 目標 ü メール通知のnagios化 ü 不要監視項目の断捨離 ü メディア主体の閾値調整
Haraos phase 3 目標 ü メール通知のnagios化 ü 不要監視項目の断捨離 ü メディア主体の閾値調整
メール通知のnagios化 ü lsync delay haraos化 完了 ü mys delay haraos化 完了 (夜間メール抑制対応追加)
ü あとは既存メール設定削除
不要監視項目の断捨離 ◇対応内容 貴社ユーザーと思われるログインを 多数確認致しましたので 一時的に注意監視とさせて頂きます。 ü 要らないですよね?
メディア主体の閾値調整 ü すぐに対応できないアラートは とりあえず止めてしまう ü 要らないchat通知を抑制して 集中して仕事できる体制へ
メディア主体の閾値調整 ü apache error_log ü Unable to open PDO conn ü SQLSTATE ü 件数
/ min ü apache access_log ü 5XX error 件数
大事な事なので2回言います
メディア主体の閾値調整 ü haraosを使いこなせれば不要 アラートを抑制できます。 ü haraosを使いこなせれば事業 判断に基づく閾値調整が可能 です
大事な事なので3回言います
メディア主体の閾値調整 ü haraosを使いこなせれば不要 アラートを抑制できます。 ü haraosを使いこなせれば事業 判断に基づく閾値調整が可能 です
以上 次回 haraos phase 4