本当にあった怖い話 ～何処へ消えた本番環境～ 2024.10.24 株式会社ゆめみ 白"雪姫"

自己紹介 ● 砂岡 雪 a.k.a 白"雪姫" ○ 雪(さん・ちゃん)もしくは、しらゆきでよんでもらっている ● 2023年8月入社 ○ セキュリティとネットワークのお姉さん ○ AWSの認定資格もいくつか保有(CLF/SAA/SAPro/ANS/SCS) ● 入社まで ○ 決済システムの業界で10年弱受託案件によるインフラ設計・ 保守・構築を実施していた ● ブログ＆X ○ X→ @yuri_snowwhite ○ ブログ→ http://d.hatena.ne.jp/kohaku_kageroh/ ↑ 余談：本人画像 を生成AIで学生 ・2次元化

突然ですが質問 です 本番環境が突然消えたことありません か？

私はあります！！ ● 同時進行で進んでた案件が2件 ○ このうち1件のために、某県のデータセンターへ 車で出張していた。 ○ 同時進行で進めていたもう 1件の会社側の方の担当者からひっきりなしに電話が来る。 ● 電話が来てた理由は・・・・？ ○ 突然サイトが表示されなくなったんだけど ？！？！ ○ サイト更新したいから早く復旧して ！！

何が起きてたの？ ● 当時使っていたVMインスタンスが削除されていた ○ VMの管理コンソールにログインしたところ「停止」ではなく「 終了」となっていた。 ■ つまり、削除されていた。。。。バックアップから戻すか・・・

これで終わりじゃ無かった！

スナップショットバックアップが無い データバックアップシェルが動いてない (負荷対策で止めてくれと頼まれていた )

ないないづくしでどうする？！？！

片道2時間の運転 (往復後)に徹夜で直す事に ● やったこと ○ OSの初期設定　<１時間> ○ ミドルウェアの設定　 <１時間> ○ 当時使っていたCMSのインストール　<２時間半 > ○ お客様が使ってたテーマの導入　 <１時間半> ○ お客様が持ってる過去データ導入　 <３時間> 合計８時間かかって復旧！！！

教訓 ● データバックアップはちゃんと取りましょう ● リカバリテストもしておこうね！ ● 復旧できる手順をまとめておこう！

ご静聴ありがとうございました