Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
nagios phase 3 #TechLunch
Search
Livesense Inc.
PRO
April 21, 2014
Technology
0
64
nagios phase 3 #TechLunch
nagios phase 3
2013/07/03 (水) @ Livesense TechLunch
発表者:鈴木 翔一郎
Livesense Inc.
PRO
April 21, 2014
Tweet
Share
More Decks by Livesense Inc.
See All by Livesense Inc.
27新卒_Webエンジニア職採用_会社説明資料
livesense
PRO
0
410
株式会社リブセンス・転職会議 採用候補者様向け資料
livesense
PRO
0
21
株式会社リブセンス 会社説明資料(報道関係者様向け)
livesense
PRO
0
1.4k
データ基盤の負債解消のためのリプレイス
livesense
PRO
0
400
26新卒_総合職採用_会社説明資料
livesense
PRO
0
9.1k
株式会社リブセンス会社紹介資料 / Invent the next common.
livesense
PRO
1
28k
26新卒_Webエンジニア職採用_会社説明資料
livesense
PRO
1
12k
中途セールス職_会社説明資料
livesense
PRO
0
250
EM候補者向け転職会議説明資料
livesense
PRO
0
120
Other Decks in Technology
See All in Technology
Zero Data Loss Autonomous Recovery Service サービス概要
oracle4engineer
PRO
2
7.8k
モニタリング統一への道のり - 分散モニタリングツール統合のためのオブザーバビリティプロジェクト
niftycorp
PRO
1
230
Rethinking Incident Response: Context-Aware AI in Practice
rrreeeyyy
1
240
Reach American Airlines®️ Instantly: 19 Calling Methods for Fast Support in the USA
flyamerican
1
180
オフィスビルを監視しよう:フィジカル×デジタルにまたがるSLI/SLO設計と運用の難しさ / Monitoring Office Buildings: The Challenge of Physical-Digital SLI/SLO Design & Operation
bitkey
1
290
freeeのアクセシビリティの現在地 / freee's Current Position on Accessibility
ymrl
2
260
LLM時代の検索
shibuiwilliam
2
620
敢えて生成AIを使わないマネジメント業務
kzkmaeda
2
500
ソフトウェアテストのAI活用_ver1.25
fumisuke
1
530
「Chatwork」のEKS環境を支えるhelmfileを使用したマニフェスト管理術
hanayo04
1
210
第64回コンピュータビジョン勉強会「The PanAf-FGBG Dataset: Understanding the Impact of Backgrounds in Wildlife Behaviour Recognition」
x_ttyszk
0
140
DBのスキルで生き残る技術 - AI時代におけるテーブル設計の勘所
soudai
PRO
54
22k
Featured
See All Featured
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
126
53k
Stop Working from a Prison Cell
hatefulcrawdad
271
21k
Rebuilding a faster, lazier Slack
samanthasiow
83
9.1k
Making the Leap to Tech Lead
cromwellryan
134
9.4k
Building a Scalable Design System with Sketch
lauravandoore
462
33k
Designing for humans not robots
tammielis
253
25k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
281
13k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
161
15k
Unsuck your backbone
ammeep
671
58k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
50
5.5k
Become a Pro
speakerdeck
PRO
29
5.4k
Faster Mobile Websites
deanohume
307
31k
Transcript
Haraos phase 3
Haraos phase 2 目標 ü no more 誤検知 ü no more 時報
ü no more とりあえずメール
no more 誤検知 ü nagiosは誰でも簡単に閾値変更可能 # vim /etc/nagios/include/nrpe_custom.cfg # /etc/init.d/nrpe reload
$ etckeeper commit "nrpe threshold"
no more 誤検知 ü 1 request落ちてもアラートをあげない ü 一時的高負荷/deployの誤検知防止 ü max_check_attempts ü Soft Critail /
Hard Critcal
no more 時報 ü check / notification 抑制機能 ü GUI/CLI の両方をサポート ü crontabに登録すれば時報の抑制も
no more とりあえずメール ü メールを飛ばすのは監視とは言わない ü 緊急時のみメール&グラフ化が必要 ü PNP pluginによる可視化 ü 適切なthreshold/attempt
Haraos phase 2 ü HR系DB master 発火を検知 ü haken slave
query滞留を検知 ü LDAP disk枯渇を検知 ü mod proxy 障害は検知できず (CentOS 5.Xはharaos未設定です)
Haraos phase 2 何とかDBリプレイスに間に合いました ⊂(・∀・)つセーフ!! ü HB同等レベルの監視項目設定 ü HBやや遅い監視体制
1年前は・・・
jsen APサーバで高負荷状態
関連サーバの負荷を調査 master DB の munin グラフを表示
待つ事 5分・・・
ボトルネック特定に時間が かかりすぎ・・・
今では・・・ ü 障害機器一覧が一目瞭然
Haraos phase 3 目標 ü メール通知のnagios化 ü 不要監視項目の断捨離 ü メディア主体の閾値調整
Haraos phase 3 目標 ü メール通知のnagios化 ü 不要監視項目の断捨離 ü メディア主体の閾値調整
メール通知のnagios化 ü lsync delay haraos化 完了 ü mys delay haraos化 完了 (夜間メール抑制対応追加)
ü あとは既存メール設定削除
不要監視項目の断捨離 ◇対応内容 貴社ユーザーと思われるログインを 多数確認致しましたので 一時的に注意監視とさせて頂きます。 ü 要らないですよね?
メディア主体の閾値調整 ü すぐに対応できないアラートは とりあえず止めてしまう ü 要らないchat通知を抑制して 集中して仕事できる体制へ
メディア主体の閾値調整 ü apache error_log ü Unable to open PDO conn ü SQLSTATE ü 件数
/ min ü apache access_log ü 5XX error 件数
大事な事なので2回言います
メディア主体の閾値調整 ü haraosを使いこなせれば不要 アラートを抑制できます。 ü haraosを使いこなせれば事業 判断に基づく閾値調整が可能 です
大事な事なので3回言います
メディア主体の閾値調整 ü haraosを使いこなせれば不要 アラートを抑制できます。 ü haraosを使いこなせれば事業 判断に基づく閾値調整が可能 です
以上 次回 haraos phase 4