EBS暗号化に失敗してEC2が動かなくなった話

Transcript

1. EBS暗号化に失敗してEC2が 動かなくなった話 JAWS-UG朝会 #80 2026/4/21 株式会社野村総合研究所 濱口萌
2. 1 Copyright （C） Nomura Research Institute, Ltd. All rights reserved. ◼ 氏名 濱口萌 ◼ 所属 株式会社野村総合研究所 ⚫ 2025年4月からAWS案件担当 ◼ Qiita https://qiita.com/hamaguchimmm ◼ 好きなAWSサービス VPC Reachability Analyzer ◼ 保有資格 自己紹介 ↑税関イメージキャラクター カスタム君
3. 2 Copyright （C） Nomura Research Institute, Ltd. All rights reserved. ◼話すこと ⚫ EBS暗号化に関する失敗談 ⚫ どうして間違えたのか ⚫ 対策 ◼話さないこと ⚫ バックアップサービス(Amazon Data Lifecycle Manager（DLM）、AWS Backup)の使い方 ⚫ EBS以外のリソースの復旧方法 本日の発表内容
4. 3 Copyright （C） Nomura Research Institute, Ltd. All rights reserved. ◼開発環境構築中、EBSの暗号化を実施 EC2のEBSルートボリュームを暗号化したい EBS暗号化に関する失敗談 Amazon EBS ルートボリューム （暗号化されていない） アタッチ Amazon EC2 作成したEC2にアタッチ されているEBSの暗号化を 忘れていたので、 暗号化しよう！
5. 4 Copyright （C） Nomura Research Institute, Ltd. All rights reserved. EC2のEBSルートボリュームを暗号化したい EBS暗号化に関する失敗談 Amazon EBS ルートボリューム （暗号化されていない） アタッチ Amazon EC2 Amazon EBS （暗号化済み） ※中身は空 同じボリュームタイプ、 サイズ、IOPSで 暗号化済みの EBSを新しく作って アタッチすればOK！ ◼開発環境構築中、EBSの暗号化を実施
6. 5 Copyright （C） Nomura Research Institute, Ltd. All rights reserved. ◼完全に間違った暗号化手順で作業実施 実際に実行した暗号化手順 EBS暗号化に関する失敗談 Amazon EBS ルートボリューム （暗号化されていない） Amazon EC2 Amazon EBS （暗号化済み） ※中身は空 ②デタッチ ③EBS新規作成＆アタッチ ④正常稼働確認前に 旧EBS削除 これで完璧！ スナップショット？ 取ってないです！ ①EC2停止
7. 6 Copyright （C） Nomura Research Institute, Ltd. All rights reserved. ◼EC2が起動しなくなった 暗号化の結果 EBS暗号化に関する失敗談 Amazon EBS 元ルートボリューム （暗号化されていない） Amazon EC2 Amazon EBS （暗号化済み） ※中身は空 いつまで経っても 起動しない OSが入ってないのでEC2が起動しない 削除してしまったので戻せない スナップショットも無い
8. 7 Copyright （C） Nomura Research Institute, Ltd. All rights reserved. 正しい手順は？ EBS暗号化に関する失敗談 Amazon EBS ルートボリューム （暗号化されていない） Amazon EC2 Amazon EBS （暗号化済み） Snapshot （暗号化されていない） ③暗号化前のEBSから スナップショットを作成 ⑤スナップショットから 暗号化されたEBSを作成 ②デタッチ ①EC2停止 Snapshot （暗号化済み） ④暗号化されていない スナップショットから 暗号化されたスナップ ショットを作成 暗号化
9. 8 Copyright （C） Nomura Research Institute, Ltd. All rights reserved. 正しい手順は？ EBS暗号化に関する失敗談 Amazon EBS 元ルートボリューム （暗号化されていない） Amazon EC2 Amazon EBS （暗号化済み） Snapshot （暗号化されていない） Snapshot （暗号化済み） 暗号化 ⑥アタッチ ⑧システムの正常稼働確認後、 EBS削除 ⑦EC2起動
10. 9 Copyright （C） Nomura Research Institute, Ltd. All rights reserved. どうしてこんなことになったのか EBS暗号化に関する失敗談 ◼EBS暗号化の公式手順を確認したが、なぜスナップショットから作成するのか理解していなかった ⚫ バックアップのためにスナップショットを取得するものと誤認（実際はスナップショットからEBSを復元する） ⚫ 開発環境かつごく一部の人しか使わないEC2なので、EBSのバックアップ不要と判断 ◼EBSルートボリュームに何が入っているのか理解していなかった ◼実施手順を誰にも確認してもらっていなかった ⚫ 開発環境かつごく一部の人しか使わない環境だから、、、と確認を怠ってしまった https://docs.aws.amazon.com/ja_jp/ebs/latest/userguide/ebs-encryption.html#encrypt-unencrypted
11. 10 Copyright （C） Nomura Research Institute, Ltd. All rights reserved. 対策を考えよう 対策を考えよう
12. 11 Copyright （C） Nomura Research Institute, Ltd. All rights reserved. 対策①：手順を作成して人に確認してもらう 対策を考えよう ◼超・当たり前の基本事項ですが、、、 ⚫ 開発環境における軽微な作業でも手順を書く • 何の作業を行うか（EBSルートボリュームの暗号化） • 具体的にどんな操作を実施するか （①EBSスナップショット取得→②スナップショットから暗号化されたEBS作成→③・・・） • 作業終了後に正常稼働をどうやって確認するか （EC2が正常に起動してOSにログインできるか、暗号化（Encryption）の項目が 「暗号化済み（Encrypted）」に なっているか、など） • KiroやAWS MCPなど、AWSに関する信頼性が高いAIに手順を出力させるのも◎ ⚫ サービス構成や作業内容を理解する • EBSルートボリュームって何？を確認する • AWSに限らず、OSやファイルシステムに関する基礎知識等を習得する ⚫ 必ず有識者にチェックしてもらう • 何故その作業をするかを合わせて理解
13. 12 Copyright （C） Nomura Research Institute, Ltd. All rights reserved. 対策②：バックアップを取得する 対策を考えよう ◼作業前に手動でバックアップ取得 ◼日頃から定期バックアップ取得 ⚫ EBSはAmazon Data Lifecycle Manager（DLM）、AWS Backupでスナップショットの取得可能 サービス名 DLM AWS Backup 主な用途 EBSやAMIのバックアップ自動化と 詳細なカスタマイズが可能 複数のAWSサービスのバックアップの 一元管理 対象サービス EBS,EC2 EBS,EC2,RDS,EFS,S3など 多数のAWSサービス 保持ルール 期間または世代数 期間のみ 特徴 • スナップショット取得前後でEC2に対して スクリプト実行可能 • Linux環境でスナップショット取得前後の アプリケーションレベルの整合性の確保が 可能 • スナップショット取得前後でEC2に対して スクリプト実行不可能 • Linux環境でスナップショット取得前後の アプリケーションレベルの整合性の確保が不可能
14. 13 Copyright （C） Nomura Research Institute, Ltd. All rights reserved. 対策③：ごみ箱から復旧する 対策を考えよう ◼EBSボリュームのごみ箱機能が2025年11月に実装 ◼EBSボリュームの直接復旧が可能 ⚫ スナップショットから復元するよりも迅速に復旧可能 • ごみ箱から復旧したEBSをEC2にアタッチすれば、再びルートボリュームとして使用可能 • やらかしたのは2025年10月だったため、復旧できず https://aws.amazon.com/about-aws/whats-new/2025/11/recycle-bin-support-amazon-ebs-volumes/
15. 14 Copyright （C） Nomura Research Institute, Ltd. All rights reserved. 対策③：ごみ箱から復旧する 対策を考えよう ◼注意点として、あらかじめ保持ルールを設定する必要あり ⚫ 削除されたリソースを何日ごみ箱に保持しておくか、を設定するルール ⚫ 保持ルールを設定していないと、ごみ箱に保持されずそのまま削除されるので注意
16. 15 Copyright （C） Nomura Research Institute, Ltd. All rights reserved. 対策④：デフォルトでEBS暗号化を有効にする 対策を考えよう ◼アカウント内で新しく作成する全てのEBSボリュームとスナップショットが暗号化されるオプション ⚫ 今回のやらかしをきっかけに開発環境で有効化
17. 16 Copyright （C） Nomura Research Institute, Ltd. All rights reserved. まとめ まとめ ◼作業ミスの被害を最小限に抑えるために、日頃から対策を実施しよう ⚫ 作業手順を作成し、確認してもらう ⚫ 作業前/日常的にバックアップを取得する ⚫ ごみ箱から復旧する ⚫ 必要なAWS側の機能を有効にする（リソースのデフォルト暗号化など）