Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
障害対応で実施する3つのこと
Search
umemotoryo
April 24, 2019
Programming
0
580
障害対応で実施する3つのこと
umemotoryo
April 24, 2019
Tweet
Share
More Decks by umemotoryo
See All by umemotoryo
質問箱の負荷対策
umemotoryo
0
470
Other Decks in Programming
See All in Programming
Terraform やるなら公式スタイルガイドを読もう 〜重要項目 10選〜
hiyanger
13
3.2k
WebAssemblyインタプリタを書く ~Component Modelを添えて~
ruccho
1
870
ワープロって実は計算機で
pepepper
2
1.4k
MLH State of the League: 2026 Season
theycallmeswift
0
100
CEDEC2025 長期運営ゲームをあと10年続けるための0から始める自動テスト ~4000項目を50%自動化し、月1→毎日実行にした3年間~
akatsukigames_tech
0
140
Scale out your Claude Code ~自社専用Agentで10xする開発プロセス~
yukukotani
9
2.4k
LLMOpsのパフォーマンスを支える技術と現場で実践した改善
po3rin
8
960
LLMは麻雀を知らなすぎるから俺が教育してやる
po3rin
3
2.2k
なぜ今、Terraformの本を書いたのか? - 著者陣に聞く!『Terraformではじめる実践IaC』登壇資料
fufuhu
4
630
あなたとJIT, 今すぐアセンブ ル
sisshiki1969
1
700
CEDEC 2025 『ゲームにおけるリアルタイム通信への QUIC導入事例の紹介』
segadevtech
3
930
サイトを作ったらNFCタグキーホルダーを爆速で作れ!
yuukis
0
400
Featured
See All Featured
A better future with KSS
kneath
239
17k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
49
3k
Mobile First: as difficult as doing things right
swwweet
223
9.9k
It's Worth the Effort
3n
187
28k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
15
1.6k
The MySQL Ecosystem @ GitHub 2015
samlambert
251
13k
Writing Fast Ruby
sferik
628
62k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
248
1.3M
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
PRO
183
54k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
34
6k
Typedesign – Prime Four
hannesfritz
42
2.8k
Music & Morning Musume
bryan
46
6.7k
Transcript
障害対応で実施する3つのこと 株式会社 ジラフ 梅本稜
2 1. 質問箱の脆弱性の発生原因と対応 2. 障害対応で実施する3つのこと a. 前提 b. 異常に早く気づく方法 c.
落ち着くこと d. 対応を考える・実行する
3 質問箱の脆弱性の 発生原因とその対応
4 発生原因 • 確認・認識不足(すごく簡単にまとめています) 対応 • Rails側にはserializerを適用 • linterでto_json、as_jsonを禁止 •
DBに保持すべきでないデータの削除 • E2Eテストの導入 発生原因とその対応
5 障害対応で実施する3つのこと 1. 前提 2. 異常に早く気づくこと 3. 落ち着くこと 4. 対応を考える・実行する
6 前提 • 質問箱を自分の子供のように思っています。 • 終業後も週4日程度、土日はどちらか1日はパソコンを開いています。 • slackの通知はだいたい見ています。 • お酒はあんまり飲んでません。
• 何か問題があると通知が僕にきます。(人や機械から) ◦ これに普段から早いレスをするとよく連絡が来るようになります。(人に 限定される) • GAでリアルタイムの人数をたまに見ています。
7 異常に早く気付くこと • 自分が対応できなくても他の人に知らせることができる。 • 考える時間を作れる。 • エラーなどが発生しているときにアクセスしてきたユーザーは戻ってこないと 言われている。 ◦
数字を探したのですが見つけられなかったです。 • ダウンタイム等による金銭的な損害を短くできる。
8 落ち着くこと • 報告が上がっていない箇所でも同じ障害が発生していたりする。 • すぐに変更を加えない。(明らかなものを除く) • 現在発生している箇所を把握する。 • 今対応すべきか考える。(業務時間外の時)
• 例えばすでにメンテナンスモードになっており、アクセスできる状態であれば翌 日でも良かったりする時もあるのでPOや関係者と相談する。 • 早く対応できればそれがベストだが焦ってさらに何か発生する方が困る。
9 対応を考える・実行する • 何をしたら良いかわからなくなったらいろんな人に連絡して助けてもらう。 • 自分の動ける時間と作業内容を見積もりする。 • 中途半端に作業してしまうと他の人に引き継げなくなる。 • コードは汚くても動けばよし。
• 反省は障害が落ち着いてからする。 • どんな暫定対応をしたか何か残す。(形式よりも伝わることが大切)