Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Speaker Deck
PRO
Sign in
Sign up for free
障害ってだいたい有給取った日に起こるよね(あるいはドラッカーの真摯さについて考えさせられた失敗の話)
sawarabi
April 20, 2022
Business
1
330
障害ってだいたい有給取った日に起こるよね(あるいはドラッカーの真摯さについて考えさせられた失敗の話)
https://rakus.connpass.com/event/241835/
エンジニアの失敗学 LT会 #失敗学LT
で発表した内容です。
sawarabi
April 20, 2022
Tweet
Share
More Decks by sawarabi
See All by sawarabi
Low-Tech Social Network
sawarabi
0
120
スクラムマスター研修受けてみて、 実際どうなったか
sawarabi
0
810
他の人って 普段何してるんだろ?
sawarabi
0
530
r_serverlesslt:某小説投稿サイトでサーバレスにデータ分析して底辺を脱出した話
sawarabi
1
360
あっ、これ 「Joel on Software」で やったところだ!
sawarabi
0
17k
How to rebuild team on remote work
sawarabi
1
140
studyhacklt:やる気が出ない、そんなとき
sawarabi
0
1.4k
pmtipslt:なぜ(メンバーは) ベストを尽くさないのか
sawarabi
0
1.1k
Other Decks in Business
See All in Business
「分析組織でデータエンジニア組織を立ち上げた話」(バンダイナムコネクサス藤井 祐麻さん)
jdmc
0
160
ROBOT PAYMENT_Kickoff Deck_2023
robot_payment
0
610
2023年中途採用_会社説明資料.pdf
slj_hr
0
210
国際交通株式会社ー会社案内
yutaroishii
PRO
1
1.3k
ベクティス採用情報
vectis
0
130
JAWS-UG 朝会 #41 登壇資料
o2mami
1
720
KPIマネジメントの重要指標の決め方がわかる資料
nyattx
PRO
1
320
会社説明資料 / Jmty-culture-deck
jmty_recruit
0
310
PingCAP / TiDB 概要資料
sinasina
0
160
SPOT 六本木 利用ガイド
holder_spot
0
140
動かない部下を確実に動かす方法がわかる資料
nyattx
PRO
1
1.3k
成長する企業・膨張する企業の違いがわかる資料
nyattx
PRO
1
180
Featured
See All Featured
Fontdeck: Realign not Redesign
paulrobertlloyd
74
4.3k
Infographics Made Easy
chrislema
235
17k
Pencils Down: Stop Designing & Start Developing
hursman
114
10k
Building Adaptive Systems
keathley
27
1.3k
Design by the Numbers
sachag
271
18k
10 Git Anti Patterns You Should be Aware of
lemiorhan
643
54k
The Art of Programming - Codeland 2020
erikaheidi
35
11k
The Pragmatic Product Professional
lauravandoore
21
3.4k
The Web Native Designer (August 2011)
paulrobertlloyd
76
2.2k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
7
570
Build The Right Thing And Hit Your Dates
maggiecrowley
22
1.4k
Java REST API Framework Comparison - PWX 2021
mraible
PRO
13
5.4k
Transcript
障害ってだいたい有給取った日に起こるよね (あるいはドラッカーの真摯さについて 考えさせられた失敗の話) エンジニアの失敗学 LT #失敗学LT 2022/04/20
直近やった失敗 暖かくなったから長袖しまった! 寒い!!! けどハワイ気分でお送りします!
名前:さわらび Twitter:@TSawarabi(質問などお気軽に!) 職業:バックエンドエンジニア 会社:株式会社 Viibar 最近読んだ本:「ハコヅメ」仕事論 最近気になってる映画:必殺!恐竜神父 チャンス!メイドの逆襲 最近の出来事:ほぼ月刊サメ映画、欲しさに 「エイリアンVSジョーズ」のDVDを購入
自己紹介
ほぼ月刊サメ映画、とサメ映画
自己紹介(ストレングスファインダー) ギャラップ認定ストレングスコーチ Top10の内訳 • 戦略的思考力:5個 • 影響力:3個 • 人間関係構築力:2個 実行力どこいった・・・(´・ω・`)
(実行力:実行したい、完遂したい、という資質群) エニアグラムは Type 8w7(独立した人)
山ほどある失敗の話 • 印刷した地図を見ながら面接会場に向かっていたら駅に戻っていた話 • 本番DBのデータメンテ時にwhere句抜きでdelete文を実行した話 • PCのネジが何故か一本余った話 • スケープゴート的なアレで減給された話 •
花粉症で鼻かみまくってたら客先に連れていってもらえなかった話 • オフショア先にマイクロマネジメントしてしまった話 • 障害対応時の報告をミスってお客様にめっちゃ怒られた話 • 失敗ではないけど、神になった話 • 開くとサーバが落ちる地雷みたいなページを踏んでサーバを止めた話 • 思い出せないだけで、多分まだある
山ほどある失敗の話 • 印刷した地図を見ながら面接会場に向かっていたら駅に戻っていた話 • 本番DBのデータメンテ時にwhere句抜きでdelete文を実行した話 • PCのネジが何故か一本余った話 • スケープゴート的なアレで減給された話 •
花粉症で鼻かみまくってたら客先に連れていってもらえなかった話 • オフショア先にマイクロマネジメントしてしまった話 • 障害対応時の報告をミスってお客様にめっちゃ怒られた話 • 失敗ではないけど、神になった話 • 開くとサーバが落ちる地雷みたいなページを踏んでサーバを止めた話 • 思い出せないだけで、多分まだある
当時、私は青かった…(windowsっぽく) 当時の背景 • 社員数20-30人くらいの小さなSIer ◦ 一次請け • 新卒2年目(だったと思うけど、1年目かも) ◦ 4社くらいの保守と追加開発案件
◦ 扱っていたのは基幹システム • 体制としては、上司と自分の二人体制のモノがほとんど • システムもオンプレで、一つのサーバにアプリとDB両方載せてる感じ
障害ってだいたい有給… 1. その日、自分は珍しく有給を取っていた 2. 朝というか昼?、電話を取ったら会社からだった (映画館いってた気がする) 3. 「~さん(お客様)から、システム止まってるって!」 4. 一緒に担当している上司は別の客先で不在とのこと
5. 出社!!
とりあえず障害対応 1. とりあえず状況確認したら、サーバのHDD死んでた 2. 社内で余っていた普通のデスクトップPCを確保 3. そいつにアプリとDBをセットアップ 4. DBは取り急ぎ1日前のバックアップから復旧 5.
タクシーでデータセンターへ。動いていないサーバと繋ぎ替え 6. 動作確認して、復旧連絡 7. 暫定対応完了
後日調査 • 原因は「RAIDコントローラーの故障」 • データのサルベージは不可 ◦ 単純に、お客様側で既に入れなおしているので不要だった、 というのもある • 誰が悪いとかではなく、運がなかったねー、みたいな会話
お客様との月次定例 • めっちゃ怒られた • いつも一緒に来る上司は別件で不在 • 原因はRAIDコントロ―ラーの故障でした、の一言で流してしまった (正直、あんまり触れたくないっていう気持ちがあったかなーと) • お客様:それだけ?
• お客様:契約切る? • お客様:データ入れなおした分の工賃、請求するけどいい? • 最終的に、別日に上司といったらあっさり解決
当時は理不尽だと思ったけど… 当時自分が思ったこと • 有給潰してまでスピード対応したのに… • そもそも自分、悪くないし お客様の不安 • これって再発するの?大丈夫? やるべきだったこと
• ちゃんと説明をして、不安を取り除く
失敗から学んだこと • 相手(お客様)の目線で考える ◦ 基本、お客様は不安 ◦ そこをちゃんと取り除いてあげるのが大事 (こまめに報告入れるとか、影響範囲早めにとか 再発するのかとか、対応どうするのかとか) ◦
誰が悪いとか、どうでもいい 当たり前のことだし、よく言ってることだけど、意外と難しい
None