開発環境を“完全消滅”させた日〜私が犯した超大事故失敗談〜

Transcript

1. 開発環境を“完全消滅”させた日 〜私が犯した超大事故失敗談〜
2. 自己紹介 アドバンステクノロジー株式会社 中島 粋章（なかじま きよあき） 経歴： システムエンジニア歴20年目 Java,C#,Ruby on Rails,jsp,vue.js,etc 2023年11月にre:Invent初参加 AWSを駆使したサービスを提供できるよ う奮闘中 • JAWS-UG山梨の運営やってます 好きなサービスはSage Maker
3. まず結論から 開発環境のstackを誤って削除し インフラ全部消してしまいました
4. Stackとは？ サーバー データベース データ保存場所 認証 API こういう部品をまとめて管理する箱が Stack です。
5. やらかしたタイミングが最悪 • プロジェクト遅延中 • 前日：「リスケして立て直そう！」とチームで合意 • 翌日：stack削除
6. 被害は数字で見るともっとエグい •開発メンバー：6人 •止まった日数：3日 •6人 × 8h × 3日 = 144人時
7. 物理的にも死にかけた話 余談ですが… やらかしたことに気づいた時、 体にも異変が見え始めました
8. カオスすぎるオチ 別プロジェクトが、まさかの伏線回収してました 並行して「心拍監視システム」を開発していたのですが、 stack削除時もスマートデバイス装着中でした 結果 心拍：43 低心拍アラート：発火 開発メンバーから「無事にアラート通知届きました」 一方で悲鳴、もう一方で歓喜、完全にカオス状態でした
9. 平常時 異常時
10. 状況詳細 CloudFormationでデプロイ 同名APIが既に存在してますエラーでStackが ROLLBACK_FAILED 要因となるAPIをマネコンで削除→公開→同名API消えない だったらAPI全部消して→公開→失敗する 開発メンバーからAPIが呼び出せない連絡 焦る • ROLLBACK_FAILED しているStack削除
11. 状況詳細 ROLLBACK_FAILED Eventsで失敗リソース確認 API Gatewayの Name をテンプレから削除 or 一意化 Continue rollback or Update stack 再DeployAPI復旧
12. 原因を整理すると •1 stack に全部詰め込み •削除ガードなし CloudFormation理解不足 •開発環境だから大丈夫という油断
13. この事故から学んだこと Stackは分けよう 消えて困るリソースは削除ガードをかけよ う CloudFormation管理下のリソースを、手動 で直すのはやめよう わからなかったら聞こう（経験が長いこと による傲り）
14. まとめ 今日の話で、 たった一人でも delete を踏みとどまれたら、 このLTは大成功です。
15. 最後に