Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
20241024_an_real_horror_story_for_for_engineer
Search
snowwhite
October 25, 2024
0
58
20241024_an_real_horror_story_for_for_engineer
2024年10月24日に実施しました、「本当にあった恐怖物語、エンジニア編」の登壇資料です。
snowwhite
October 25, 2024
Tweet
Share
More Decks by snowwhite
See All by snowwhite
20250601_storage_and_bigdate_JAWS
yuri_snowwhite
1
47
250226_SecurityJAWS
yuri_snowwhite
2
530
20250521 yumemi_grow _ finatext
yuri_snowwhite
2
250
JAWS-UG IoT_Switchbot Notify To Discord
yuri_snowwhite
1
580
Security.Any #2
yuri_snowwhite
1
120
20240712_JAWSUG-FUKUOKA_Cloudgirl
yuri_snowwhite
0
71
2024/05/23_SecurityJAWS登壇
yuri_snowwhite
1
840
20240414_cloudgirl_ec2_costdown
yuri_snowwhite
1
150
2024_storageJAWS_EBSonLVM_created
yuri_snowwhite
0
310
Featured
See All Featured
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
252
21k
Typedesign – Prime Four
hannesfritz
42
2.7k
Java REST API Framework Comparison - PWX 2021
mraible
31
8.6k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
106
19k
Side Projects
sachag
454
42k
Embracing the Ebb and Flow
colly
85
4.7k
Balancing Empowerment & Direction
lara
1
240
Building Applications with DynamoDB
mza
95
6.4k
Optimizing for Happiness
mojombo
379
70k
How to Think Like a Performance Engineer
csswizardry
24
1.7k
Designing for Performance
lara
609
69k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
31
1.2k
Transcript
本当にあった怖い話 ~何処へ消えた本番環境~ 2024.10.24 株式会社ゆめみ 白"雪姫"
自己紹介 • 砂岡 雪 a.k.a 白"雪姫" ◦ 雪(さん・ちゃん)もしくは、しらゆきでよんでもらっている • 2023年8月入社
◦ セキュリティとネットワークのお姉さん ◦ AWSの認定資格もいくつか保有(CLF/SAA/SAPro/ANS/SCS) • 入社まで ◦ 決済システムの業界で10年弱受託案件によるインフラ設計・ 保守・構築を実施していた • ブログ&X ◦ X→ @yuri_snowwhite ◦ ブログ→ http://d.hatena.ne.jp/kohaku_kageroh/ ↑ 余談:本人画像 を生成AIで学生 ・2次元化
突然ですが質問 です 本番環境が突然消えたことありません か?
私はあります!! • 同時進行で進んでた案件が2件 ◦ このうち1件のために、某県のデータセンターへ 車で出張していた。 ◦ 同時進行で進めていたもう 1件の会社側の方の担当者からひっきりなしに電話が来る。 •
電話が来てた理由は・・・・? ◦ 突然サイトが表示されなくなったんだけど ?!?! ◦ サイト更新したいから早く復旧して !!
何が起きてたの? • 当時使っていたVMインスタンスが削除されていた ◦ VMの管理コンソールにログインしたところ「停止」ではなく「 終了」となっていた。 ▪ つまり、削除されていた。。。。バックアップから戻すか・・・
これで終わりじゃ無かった!
スナップショットバックアップが無い データバックアップシェルが動いてない (負荷対策で止めてくれと頼まれていた )
ないないづくしでどうする?!?!
片道2時間の運転 (往復後)に徹夜で直す事に • やったこと ◦ OSの初期設定 <1時間> ◦ ミドルウェアの設定 <1時間> ◦
当時使っていたCMSのインストール <2時間半 > ◦ お客様が使ってたテーマの導入 <1時間半> ◦ お客様が持ってる過去データ導入 <3時間> 合計8時間かかって復旧!!!
教訓 • データバックアップはちゃんと取りましょう • リカバリテストもしておこうね! • 復旧できる手順をまとめておこう!
ご静聴ありがとうございました