Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
障害はチャンスだ! 障害を前向きに捉える
Search
Recruit Technologies
November 04, 2020
Technology
1
700
障害はチャンスだ! 障害を前向きに捉える
2020/11/04_ Data Engineering Study #4「データ分析基盤の障害対応事例LT祭り」での、山田の講演資料になります
Recruit Technologies
November 04, 2020
Tweet
Share
More Decks by Recruit Technologies
See All by Recruit Technologies
Flutter移行の苦労と、乗り越えた先に得られたもの
rtechkouhou
3
12k
ここ数年間のタウンワークiOSアプリのエンジニアのチャレンジ
rtechkouhou
1
1.5k
大規模環境をAWS Transit Gatewayで設計/移行する前に考える3つのポイントと移行への挑戦
rtechkouhou
1
1.9k
【61期 新人BootCamp】TOC入門
rtechkouhou
3
42k
【RTC新人研修 】 TPS
rtechkouhou
1
41k
Android Boot Camp 2020
rtechkouhou
0
41k
HTML/CSS
rtechkouhou
10
51k
TypeScript Bootcamp 2020
rtechkouhou
9
46k
JavaScript Bootcamp 2020
rtechkouhou
1
43k
Other Decks in Technology
See All in Technology
Railsの限界を超えろ!「家族アルバム みてね」の画像・動画の大規模アップロードを支えるアーキテクチャの変遷
ojima_h
3
390
Introduction to Sansan for Engineers / エンジニア向け会社紹介
sansan33
PRO
5
39k
「手を動かした者だけが世界を変える」ソフトウェア開発だけではない開発者人生
onishi
5
2.1k
Recoil脱却の現状と挑戦
kirik
2
330
Bill One 開発エンジニア 紹介資料
sansan33
PRO
4
13k
複数のGemini CLIが同時開発する狂気 - Jujutsuが実現するAIエージェント協調の新世界
gunta
11
3.2k
Data Engineering Study#30 LT資料
tetsuroito
1
550
M365アカウント侵害時の初動対応
lhazy
6
4.5k
Turn Your Community into a Fundraising Catalyst for Black Philanthropy Month
auctria
PRO
0
120
AI Ready API ─ AI時代に求められるAPI設計とは?/ AI-Ready API - Designing MCP and APIs in the AI Era
yokawasa
20
5.8k
CSPヘッダー導入で実現するWebサイトの多層防御:今すぐ試せる設定例と運用知見
llamakko
1
170
株式会社島津製作所_研究開発(集団協業と知的生産)の現場を支える、OSS知識基盤システムの導入
akahane92
1
1.1k
Featured
See All Featured
Docker and Python
trallard
45
3.5k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
248
1.3M
Statistics for Hackers
jakevdp
799
220k
Music & Morning Musume
bryan
46
6.7k
YesSQL, Process and Tooling at Scale
rocio
173
14k
The Web Performance Landscape in 2024 [PerfNow 2024]
tammyeverts
8
710
How GitHub (no longer) Works
holman
314
140k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
251
21k
The Language of Interfaces
destraynor
158
25k
GraphQLとの向き合い方2022年版
quramy
49
14k
Into the Great Unknown - MozCon
thekraken
40
1.9k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
47
9.6k
Transcript
障害はチャンスだ! 障害を前向きに捉える 2020/11/04 Data Engineering Study #4 株式会社リクルート 山田 雄
Hobby & Ability ビール/日本酒/ゴルフ/トミカ/子育て 山田 雄(Yamada Yu) @nii_yan 社会人歴 20年ぐらい データエンジニア
(データ基盤の開発・運用) AWS/GCP/BigData/Mail/Hadoop...
None
None
None
データ基盤は一度出来ると使えるのが当 たり前になり、エンジニアは責められる 事があっても褒められる事はなくなる
なので 障害対応は とても重要です!
障害対応 によって得られる事もある
None
障害対応時に起きること モブプロ/ペアプロになり、他の人のコマンドを見られる その場にいる人での対応なので、知らないシステムでも仕様を知れる →障害対応は自身の能力を伸ばせるチャンス!! 障害対応には率先してあたりましょう 障害対応時のルールを事前に定めておくことも重要
障害は 振り返りが とても大事
ポストモーテム 障害の事後検証報告書 ポストモーテムを作る事によって障害復旧に携わった本人以外に、 組織も成長出来る。 googleで障害が起きた時などにも発表される ・BACKGROUND ・ISSUE SUMMARY ・ROOT CAUSE
・REMEDIATION AND PREVENTION ・DETAILED DESCRIPTION OF IMPACTなど・・・
ポストモーテム例 ▪概要 ▪インパクト ▪根本原因 ▪発生原因 根本原因よりも深堀りした内容 ▪対応 ▪教訓 ・うまくいったこと ・うまくいかなかったこと
・幸運だったこと ▪タイムライン ・yyyy-MM-dd HH:mm:ss など出来るだけ細かく ▪再発防止策
まとめ • 障害は起きないに越した事はない ◦ ですが、障害の起きないシステムは存在しない • 障害は、人も組織も成長出来るチャンスでもある ◦ 障害対応の仕方によって基盤の価値が変わる
Fin.