Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
障害対応のあるあると僕らの選択肢
Search
Sponsored
·
Ship Features Fearlessly
Turn features on and off without deploys. Used by thousands of Ruby developers.
→
norinux
March 25, 2015
Technology
560
3
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
障害対応のあるあると僕らの選択肢
障害対応周りのあるあると、対応策やツールの話。
https://reactio.jp
norinux
March 25, 2015
Transcript
18 slides
障害対応のあるある と僕らの選択肢 of Gotanda.pm #4 by 佐々木喜徳 @gaiax
自己紹介(佐々木喜徳) Perlの会社で Perlを書かずに、 インフラ基盤やり続けて早7.7年 はい。すみません。プログラマじゃないっす。
最近気になることは、 趣味の写真を格納したHDDがSPOFだから 不安な毎日を過ごしている。 (Google Nearline Storage にバックアップしようかな) h?ps://www.facebook.com/yoshinori.sasaki ←ポチっとな
趣味の写真
障害対応のあるある ガイアックスでよくある、障害対応の事象。 僕らの選択肢 それをどのように対処してきたのかの軌跡
障害対応のあるある 原因不明のメモリーリーク
僕らの選択肢 原因が見つかるまで障害防止 – とりあえず影響出る前に解消させる。 /etc/crontab – グラフを見て、遠くを眺める。 00 3
* * * root /bin/bash /etc/init.d/h?pd restart
障害対応のあるある 原因は Kenel Panic !?
僕らの選択肢 Kernel Panic の原因を調べる手段を模索 – syslogサーバに飛ばして、ログを追う – kdumpのメモリダンプを追う サービス
サーバ /var/log/messages Syslog サーバ /var/log/messages サービス サーバ ファースト カーネル セカンド カーネル ダ ン プ kern.*
障害対応のあるある そもそもアラートメールに すぐ気づけないわ
僕らの選択肢 通知方法を模索(特に営業時間外) – 携帯/スマフォにもメールを飛ばす – メールだけじゃなくて、電話もかける – 障害だけ判断して連絡する サービス
サーバ サービス サーバ サービス サーバ
障害対応のあるある 深夜に発生 関係者に連絡がつかない (連絡先リストが古くて使えない)
障害対応のあるある そのアラートは、 障害継続中?障害再発?
障害対応のあるある よし!復旧した! 障害記録・報告書かねば、、、
僕らの選択肢 • 技術的課題 – エンジニアリングで解決できる。してる。 • 運用的課題 – ルールとか、手順とか、で解決しようとしがち
– でも上手くいかない。 障害発生時の対応を支えるツールを作ったった。
僕らのツール 参考: Yahoo! Japanの爆速連絡ツール 一斉に電話連絡機能 (機械音声で読み上げ) プロジェクトごとのチャット
トピック機能 インシデント単位で、 連絡内容とチャット内容 サマリ情報、報告書を管理
僕らのこれから 障害対応基盤 コミュニケーション基盤 各種監視基盤 API Webhook NEW NEW
サービス化の準備してます! 60日間の無料トライアル版を提供可能! 4月下旬 正式版リリース予定
宣伝しちゃってすみません。 Perlだから許して!><
More Decks by norinux
See All by norinux
NoCode開発で「オウ、ノーー!
norinux
2
1.1k
インターネット基礎講座
norinux
0
180
スタートアップスタジオ流の開発プロセス
norinux
0
120
会社で書いてるコードも「OSSで公開しちゃえ!」ってしたいからそうした話 in OSS開発してる(したい)エンジニア交流会 /gx-oss-guideline-at-techmeetups
norinux
0
500
My Lightning Talk 「副業している(したい) エンジニア交流会 #2」
norinux
0
200
エンジニア流? こだわりのミーティング手法
norinux
1
200
スタートアップスタジオでの検証フェーズと技術
norinux
0
700
2018年新卒エンジニア研修 プログラミング研修【公開版】
norinux
0
130
2018年新卒エンジニア研修 セキュリティ
norinux
0
150
Other Decks in Technology
See All in Technology
Linuxネットワークスタック進化の軌跡: 過去10年の歩みと最新トレンド
orimanabu
4
750
CloudTrail を推したい
kazzpapa3
1
140
re:Inventを楽しむために、 1日1つ「これが楽しみ」を決めよう
beli68
0
120
常時稼働エージェントの作り方(Claude公式ブログを資料化)
minorun365
PRO
16
28k
統制されたID・権限をどう利用するか : DPoP/FAPIによるAPIセキュリティ強化
oidfj
1
140
cdkdがどんだけ早いか、実際に動かして見てみよう
smt7174
1
130
AWS Client VPNの設定でハマったポイントとその過程での気づき
amarelo_n24
1
390
RAGの改善を速く回すための評価基盤
yosukeyoshida
6
3.2k
目を覚ませ!僕らの認証情報が何者かに侵略されてるぞ
tkito
2
460
Sonnetだけで業務はまわる?
kintotechdev
1
150
Del vibe coding a un Desarrollo (agéntico) fiable
jcabot
0
160
3文字略語に騙されない! 世界一わかりやすい『EDR』超入門
kamadamakoto
1
270
Featured
See All Featured
How STYLIGHT went responsive
nonsquared
100
6.4k
Fireside Chat
paigeccino
43
4.1k
GitHub's CSS Performance
jonrohan
1033
470k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
123
22k
Max Prin - Stacking Signals: How International SEO Comes Together (And Falls Apart)
techseoconnect
PRO
0
530
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
360
31k
Design of three-dimensional binary manipulators for pick-and-place task avoiding obstacles (IECON2024)
konakalab
0
670
svc-hook: hooking system calls on ARM64 by binary rewriting
retrage
2
680
Reflections from 52 weeks, 52 projects
jeffersonlam
356
22k
Amusing Abliteration
ianozsvald
1
390
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
9
1.7k
Claude Code どこまでも/ Claude Code Everywhere
nwiizo
68
60k