Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
20241024_an_real_horror_story_for_for_engineer
Search
snowwhite
October 25, 2024
140
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
20241024_an_real_horror_story_for_for_engineer
2024年10月24日に実施しました、「本当にあった恐怖物語、エンジニア編」の登壇資料です。
snowwhite
October 25, 2024
Transcript
11 slides
本当にあった怖い話 ~何処へ消えた本番環境~ 2024.10.24 株式会社ゆめみ 白"雪姫"
自己紹介 • 砂岡 雪 a.k.a 白"雪姫" ◦ 雪(さん・ちゃん)もしくは、しらゆきでよんでもらっている • 2023年8月入社
◦ セキュリティとネットワークのお姉さん ◦ AWSの認定資格もいくつか保有(CLF/SAA/SAPro/ANS/SCS) • 入社まで ◦ 決済システムの業界で10年弱受託案件によるインフラ設計・ 保守・構築を実施していた • ブログ&X ◦ X→ @yuri_snowwhite ◦ ブログ→ http://d.hatena.ne.jp/kohaku_kageroh/ ↑ 余談:本人画像 を生成AIで学生 ・2次元化
突然ですが質問 です 本番環境が突然消えたことありません か?
私はあります!! • 同時進行で進んでた案件が2件 ◦ このうち1件のために、某県のデータセンターへ 車で出張していた。 ◦ 同時進行で進めていたもう 1件の会社側の方の担当者からひっきりなしに電話が来る。 •
電話が来てた理由は・・・・? ◦ 突然サイトが表示されなくなったんだけど ?!?! ◦ サイト更新したいから早く復旧して !!
何が起きてたの? • 当時使っていたVMインスタンスが削除されていた ◦ VMの管理コンソールにログインしたところ「停止」ではなく「 終了」となっていた。 ▪ つまり、削除されていた。。。。バックアップから戻すか・・・
これで終わりじゃ無かった!
スナップショットバックアップが無い データバックアップシェルが動いてない (負荷対策で止めてくれと頼まれていた )
ないないづくしでどうする?!?!
片道2時間の運転 (往復後)に徹夜で直す事に • やったこと ◦ OSの初期設定 <1時間> ◦ ミドルウェアの設定 <1時間> ◦
当時使っていたCMSのインストール <2時間半 > ◦ お客様が使ってたテーマの導入 <1時間半> ◦ お客様が持ってる過去データ導入 <3時間> 合計8時間かかって復旧!!!
教訓 • データバックアップはちゃんと取りましょう • リカバリテストもしておこうね! • 復旧できる手順をまとめておこう!
ご静聴ありがとうございました
More Decks by snowwhite
See All by snowwhite
20260804_NW-JAWS
yuri_snowwhite
1
740
20250625_anthoropic_booth_mini_session
yuri_snowwhite
0
78
20260527_IAM_IdentityCenter_is_a_IIC_management
yuri_snowwhite
0
74
20260521_security_any_AI_is_ray_trusted_loved
yuri_snowwhite
0
130
AWS Global Community Gatherings # 16
yuri_snowwhite
1
77
20251108_SecJAWS_IAMSp
yuri_snowwhite
0
96
20250730_AWS_AmazonQ
yuri_snowwhite
1
130
20250601_storage_and_bigdate_JAWS
yuri_snowwhite
1
100
250226_SecurityJAWS
yuri_snowwhite
2
1.3k
Featured
See All Featured
How STYLIGHT went responsive
nonsquared
100
6.4k
Avoiding the “Bad Training, Faster” Trap in the Age of AI
tmiket
1
310
How To Speak Unicorn (iThemes Webinar)
marktimemedia
1
640
Kristin Tynski - Automating Marketing Tasks With AI
techseoconnect
PRO
0
590
RailsConf 2023
tenderlove
30
1.6k
16th Malabo Montpellier Forum Presentation
akademiya2063
PRO
0
470
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
508
140k
Visualization
eitanlees
153
17k
Everyday Curiosity
cassininazir
0
400
Leo the Paperboy
mayatellez
11
2.5k
Jess Joyce - The Pitfalls of Following Frameworks
techseoconnect
PRO
1
480
Unlocking the hidden potential of vector embeddings in international SEO
frankvandijk
0
1k