Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
障害はチャンスだ! 障害を前向きに捉える
Search
Recruit Technologies
November 04, 2020
Technology
1
730
障害はチャンスだ! 障害を前向きに捉える
2020/11/04_ Data Engineering Study #4「データ分析基盤の障害対応事例LT祭り」での、山田の講演資料になります
Recruit Technologies
November 04, 2020
Tweet
Share
More Decks by Recruit Technologies
See All by Recruit Technologies
Flutter移行の苦労と、乗り越えた先に得られたもの
rtechkouhou
3
12k
ここ数年間のタウンワークiOSアプリのエンジニアのチャレンジ
rtechkouhou
1
1.5k
大規模環境をAWS Transit Gatewayで設計/移行する前に考える3つのポイントと移行への挑戦
rtechkouhou
1
1.9k
【61期 新人BootCamp】TOC入門
rtechkouhou
3
42k
【RTC新人研修 】 TPS
rtechkouhou
1
41k
Android Boot Camp 2020
rtechkouhou
0
41k
HTML/CSS
rtechkouhou
10
51k
TypeScript Bootcamp 2020
rtechkouhou
9
46k
JavaScript Bootcamp 2020
rtechkouhou
1
43k
Other Decks in Technology
See All in Technology
JavaScript パーサーに using 対応をする過程で与えたエコシステムへの影響
baseballyama
1
110
ステートレスなLLMでステートフルなAI agentを作る - YAPC::Fukuoka 2025
gfx
8
1.4k
DDD x Microservice Architecture : Findy Architecture Conf 2025
syobochim
12
3k
AI × クラウドで シイタケの収穫時期を判定してみた
lamaglama39
1
380
やり方は一つだけじゃない、正解だけを目指さず寄り道やその先まで自分流に楽しむ趣味プログラミングの探求 2025-11-15 YAPC::Fukuoka
sugyan
3
900
なぜブラウザで帳票を生成したいのか どのようにブラウザで帳票を生成するのか
yagisanreports
0
150
仕様は“書く”より“語る” - 分断を超えたチーム開発の実践 / 20251115 Naoki Takahashi
shift_evolve
PRO
1
1.1k
FFMとJVMの実装から学ぶJavaのインテグリティ
kazumura
0
150
未回答質問の回答一覧 / 開発をリードする品質保証 QAエンジニアと開発者の未来を考える-Findy Online Conference -
findy_eventslides
0
340
組織の“見えない壁”を越えよ!エンタープライズシフトに必須な3つのPMの「在り方」変革 #pmconf2025
masakazu178
1
580
プロダクト負債と歩む持続可能なサービスを育てるための挑戦
sansantech
PRO
1
610
2ヶ月で新規事業のシステムを0から立ち上げるスタートアップの舞台裏
shmokmt
0
250
Featured
See All Featured
The Straight Up "How To Draw Better" Workshop
denniskardys
239
140k
Build your cross-platform service in a week with App Engine
jlugia
234
18k
Thoughts on Productivity
jonyablonski
73
4.9k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
508
140k
What’s in a name? Adding method to the madness
productmarketing
PRO
24
3.8k
The Pragmatic Product Professional
lauravandoore
36
7k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
333
22k
Fashionably flexible responsive web design (full day workshop)
malarkey
407
66k
What's in a price? How to price your products and services
michaelherold
246
12k
StorybookのUI Testing Handbookを読んだ
zakiyama
31
6.3k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
231
22k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
21
1.3k
Transcript
障害はチャンスだ! 障害を前向きに捉える 2020/11/04 Data Engineering Study #4 株式会社リクルート 山田 雄
Hobby & Ability ビール/日本酒/ゴルフ/トミカ/子育て 山田 雄(Yamada Yu) @nii_yan 社会人歴 20年ぐらい データエンジニア
(データ基盤の開発・運用) AWS/GCP/BigData/Mail/Hadoop...
None
None
None
データ基盤は一度出来ると使えるのが当 たり前になり、エンジニアは責められる 事があっても褒められる事はなくなる
なので 障害対応は とても重要です!
障害対応 によって得られる事もある
None
障害対応時に起きること モブプロ/ペアプロになり、他の人のコマンドを見られる その場にいる人での対応なので、知らないシステムでも仕様を知れる →障害対応は自身の能力を伸ばせるチャンス!! 障害対応には率先してあたりましょう 障害対応時のルールを事前に定めておくことも重要
障害は 振り返りが とても大事
ポストモーテム 障害の事後検証報告書 ポストモーテムを作る事によって障害復旧に携わった本人以外に、 組織も成長出来る。 googleで障害が起きた時などにも発表される ・BACKGROUND ・ISSUE SUMMARY ・ROOT CAUSE
・REMEDIATION AND PREVENTION ・DETAILED DESCRIPTION OF IMPACTなど・・・
ポストモーテム例 ▪概要 ▪インパクト ▪根本原因 ▪発生原因 根本原因よりも深堀りした内容 ▪対応 ▪教訓 ・うまくいったこと ・うまくいかなかったこと
・幸運だったこと ▪タイムライン ・yyyy-MM-dd HH:mm:ss など出来るだけ細かく ▪再発防止策
まとめ • 障害は起きないに越した事はない ◦ ですが、障害の起きないシステムは存在しない • 障害は、人も組織も成長出来るチャンスでもある ◦ 障害対応の仕方によって基盤の価値が変わる
Fin.