Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
障害ってだいたい有給取った日に起こるよね(あるいはドラッカーの真摯さについて考えさせられた失...
Search
sawarabi
April 20, 2022
Business
1
600
障害ってだいたい有給取った日に起こるよね(あるいはドラッカーの真摯さについて考えさせられた失敗の話)
https://rakus.connpass.com/event/241835/
エンジニアの失敗学 LT会 #失敗学LT
で発表した内容です。
sawarabi
April 20, 2022
Tweet
Share
More Decks by sawarabi
See All by sawarabi
オンボーディング作成経験者が、転職後に自身の立ち上がりのために意識したこと
sawarabi
0
7.6k
振り返った結果、自分のキーワードは安心感だったという話
sawarabi
0
290
気づいたらおっさんになっていたので、コンフリクトマネジメントについて考えてみた
sawarabi
0
94
転職を考えたときに考えたこと (そして転職に至るまで)
sawarabi
3
1k
読書会を個人で開催してみた話
sawarabi
0
1.5k
読書会(ABD) エンジニアリングマネージャーのしごと
sawarabi
0
230
Low-Tech Social Network
sawarabi
0
930
スクラムマスター研修受けてみて、 実際どうなったか
sawarabi
0
2.2k
他の人って 普段何してるんだろ?
sawarabi
0
1.6k
Other Decks in Business
See All in Business
採用ピッチデック
macloud
3
76k
三菱商事ロジスティクス_コンサルティング事業紹介
mclogi
0
380
アッテル会社紹介資料/culture deck
attelu
10
15k
【Progmat】Monthly-ST-Market-Report-2025-Jun.
progmat
0
260
Company Deck_2025.06
sixtypercent
0
430
ITコストの最適化を目指す DX時代のシステム刷新・保守運用の適正価格の見極め方
ncdc
0
120
ラクスパートナーズ採用ピッチ資料_エンジニア部門
rakuspartners_recruit
0
2.5k
株式会社TableCheck - 会社紹介 Company Profile
tablecheckac
0
820
CC採用候補者向けピッチ資料
crosscommunication
2
52k
Gemini CLI ハンズアウト
mickey_kubo
3
400
フルリモートで社内にどうやって自分の居場所を作るのか?
satoshi256kbyte
1
300
エレコム株式会社 中途採用説明資料
elecom_hr
0
180
Featured
See All Featured
We Have a Design System, Now What?
morganepeng
53
7.7k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
331
22k
Keith and Marios Guide to Fast Websites
keithpitt
411
22k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
233
17k
Typedesign – Prime Four
hannesfritz
42
2.7k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
29
9.6k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
8
820
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
10
960
Building Better People: How to give real-time feedback that sticks.
wjessup
367
19k
GitHub's CSS Performance
jonrohan
1031
460k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
45
7.5k
Adopting Sorbet at Scale
ufuk
77
9.5k
Transcript
障害ってだいたい有給取った日に起こるよね (あるいはドラッカーの真摯さについて 考えさせられた失敗の話) エンジニアの失敗学 LT #失敗学LT 2022/04/20
直近やった失敗 暖かくなったから長袖しまった! 寒い!!! けどハワイ気分でお送りします!
名前:さわらび Twitter:@TSawarabi(質問などお気軽に!) 職業:バックエンドエンジニア 会社:株式会社 Viibar 最近読んだ本:「ハコヅメ」仕事論 最近気になってる映画:必殺!恐竜神父 チャンス!メイドの逆襲 最近の出来事:ほぼ月刊サメ映画、欲しさに 「エイリアンVSジョーズ」のDVDを購入
自己紹介
ほぼ月刊サメ映画、とサメ映画
自己紹介(ストレングスファインダー) ギャラップ認定ストレングスコーチ Top10の内訳 • 戦略的思考力:5個 • 影響力:3個 • 人間関係構築力:2個 実行力どこいった・・・(´・ω・`)
(実行力:実行したい、完遂したい、という資質群) エニアグラムは Type 8w7(独立した人)
山ほどある失敗の話 • 印刷した地図を見ながら面接会場に向かっていたら駅に戻っていた話 • 本番DBのデータメンテ時にwhere句抜きでdelete文を実行した話 • PCのネジが何故か一本余った話 • スケープゴート的なアレで減給された話 •
花粉症で鼻かみまくってたら客先に連れていってもらえなかった話 • オフショア先にマイクロマネジメントしてしまった話 • 障害対応時の報告をミスってお客様にめっちゃ怒られた話 • 失敗ではないけど、神になった話 • 開くとサーバが落ちる地雷みたいなページを踏んでサーバを止めた話 • 思い出せないだけで、多分まだある
山ほどある失敗の話 • 印刷した地図を見ながら面接会場に向かっていたら駅に戻っていた話 • 本番DBのデータメンテ時にwhere句抜きでdelete文を実行した話 • PCのネジが何故か一本余った話 • スケープゴート的なアレで減給された話 •
花粉症で鼻かみまくってたら客先に連れていってもらえなかった話 • オフショア先にマイクロマネジメントしてしまった話 • 障害対応時の報告をミスってお客様にめっちゃ怒られた話 • 失敗ではないけど、神になった話 • 開くとサーバが落ちる地雷みたいなページを踏んでサーバを止めた話 • 思い出せないだけで、多分まだある
当時、私は青かった…(windowsっぽく) 当時の背景 • 社員数20-30人くらいの小さなSIer ◦ 一次請け • 新卒2年目(だったと思うけど、1年目かも) ◦ 4社くらいの保守と追加開発案件
◦ 扱っていたのは基幹システム • 体制としては、上司と自分の二人体制のモノがほとんど • システムもオンプレで、一つのサーバにアプリとDB両方載せてる感じ
障害ってだいたい有給… 1. その日、自分は珍しく有給を取っていた 2. 朝というか昼?、電話を取ったら会社からだった (映画館いってた気がする) 3. 「~さん(お客様)から、システム止まってるって!」 4. 一緒に担当している上司は別の客先で不在とのこと
5. 出社!!
とりあえず障害対応 1. とりあえず状況確認したら、サーバのHDD死んでた 2. 社内で余っていた普通のデスクトップPCを確保 3. そいつにアプリとDBをセットアップ 4. DBは取り急ぎ1日前のバックアップから復旧 5.
タクシーでデータセンターへ。動いていないサーバと繋ぎ替え 6. 動作確認して、復旧連絡 7. 暫定対応完了
後日調査 • 原因は「RAIDコントローラーの故障」 • データのサルベージは不可 ◦ 単純に、お客様側で既に入れなおしているので不要だった、 というのもある • 誰が悪いとかではなく、運がなかったねー、みたいな会話
お客様との月次定例 • めっちゃ怒られた • いつも一緒に来る上司は別件で不在 • 原因はRAIDコントロ―ラーの故障でした、の一言で流してしまった (正直、あんまり触れたくないっていう気持ちがあったかなーと) • お客様:それだけ?
• お客様:契約切る? • お客様:データ入れなおした分の工賃、請求するけどいい? • 最終的に、別日に上司といったらあっさり解決
当時は理不尽だと思ったけど… 当時自分が思ったこと • 有給潰してまでスピード対応したのに… • そもそも自分、悪くないし お客様の不安 • これって再発するの?大丈夫? やるべきだったこと
• ちゃんと説明をして、不安を取り除く
失敗から学んだこと • 相手(お客様)の目線で考える ◦ 基本、お客様は不安 ◦ そこをちゃんと取り除いてあげるのが大事 (こまめに報告入れるとか、影響範囲早めにとか 再発するのかとか、対応どうするのかとか) ◦
誰が悪いとか、どうでもいい 当たり前のことだし、よく言ってることだけど、意外と難しい
None