20241024_an_real_horror_story_for_for_engineer

2024年10月24日に実施しました、「本当にあった恐怖物語、エンジニア編」の登壇資料です。

Transcript

1. 本当にあった怖い話 ～何処へ消えた本番環境～ 2024.10.24 株式会社ゆめみ 白"雪姫"
2. 自己紹介 • 砂岡 雪 a.k.a 白"雪姫" ◦ 雪(さん・ちゃん)もしくは、しらゆきでよんでもらっている • 2023年8月入社 ◦ セキュリティとネットワークのお姉さん ◦ AWSの認定資格もいくつか保有(CLF/SAA/SAPro/ANS/SCS) • 入社まで ◦ 決済システムの業界で10年弱受託案件によるインフラ設計・ 保守・構築を実施していた • ブログ＆X ◦ X→ @yuri_snowwhite ◦ ブログ→ http://d.hatena.ne.jp/kohaku_kageroh/ ↑ 余談：本人画像 を生成AIで学生 ・2次元化
3. 突然ですが質問 です 本番環境が突然消えたことありません か？
4. 私はあります！！ • 同時進行で進んでた案件が2件 ◦ このうち1件のために、某県のデータセンターへ 車で出張していた。 ◦ 同時進行で進めていたもう 1件の会社側の方の担当者からひっきりなしに電話が来る。 • 電話が来てた理由は・・・・？ ◦ 突然サイトが表示されなくなったんだけど ？！？！ ◦ サイト更新したいから早く復旧して ！！
5. 何が起きてたの？ • 当時使っていたVMインスタンスが削除されていた ◦ VMの管理コンソールにログインしたところ「停止」ではなく「 終了」となっていた。 ▪ つまり、削除されていた。。。。バックアップから戻すか・・・
6. これで終わりじゃ無かった！
7. スナップショットバックアップが無い データバックアップシェルが動いてない (負荷対策で止めてくれと頼まれていた )
8. ないないづくしでどうする？！？！
9. 片道2時間の運転 (往復後)に徹夜で直す事に • やったこと ◦ OSの初期設定　<１時間> ◦ ミドルウェアの設定　 <１時間> ◦ 当時使っていたCMSのインストール　<２時間半 > ◦ お客様が使ってたテーマの導入　 <１時間半> ◦ お客様が持ってる過去データ導入　 <３時間> 合計８時間かかって復旧！！！
10. 教訓 • データバックアップはちゃんと取りましょう • リカバリテストもしておこうね！ • 復旧できる手順をまとめておこう！
11. ご静聴ありがとうございました