AWS CDKでデータリストアの運用、どのように設計する？～Aurora・EFSの実践事例を紹介～/aws-cdk-data-restore-aurora-efs

by みずほリサーチ&テクノロジーズ株式会社先端技術研究部

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

© 2024 Mizuho Research & Technologies, Ltd. 2 社内向け AWS プラットフォームの概要 • 社内へセキュアなAWSアカウントを迅速に提供するプラットフォーム • マルチアカウント管理に AWS Control Tower と AWS CDKを活用 • 詳細な構成は builders.flash で公開中！ https://aws.amazon.com/jp/builders-flash/202405/mizuho-service-catalog/ https://aws.amazon.com/jp/builders-flash/202406/mizuho-account-automation/

Slide 4

Slide 4 text

© 2024 Mizuho Research & Technologies, Ltd. プラットフォームに関する問合せ・申請の受付方法 • サポート窓口として、セルフホストした Redmine 環境を AWS 上に構築 • 利用者と運用者は Redmine 上で各種問合せ・申請をやり取り 3 WAF CloudFront ELB 利用者自社拠点問合せ/申請 Fargate Aurora EFS VPC Backup 確認/回答運用者 Entra AWS CDK で構築！

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

© 2024 Mizuho Research & Technologies, Ltd. 10 リストアの方針 ⚫ ダウンタイムを許容できるため、必要以上に自動化しない（Redmine は社内用で代替の連絡手段もあるため RTO に余裕あり） ⚫ リストア後もリソースの CFn スタック管理を維持したい →スタックの保守で CDK の更新などが実行しやすい ⚫ AWS CDK 初心者でも簡単に実行できる手順にしたい

Slide 12

Slide 12 text

Slide 13

Slide 13 text

© 2024 Mizuho Research & Technologies, Ltd. 12 DatabaseClusterFromSnapshot でお手軽にリストア！ • DatabaseClusterFromSnapshot は AWS CDK の便利な L2 Construct • スナップショット ARN を指定するだけで CFn 管理下の DB クラスターを復元 • ECS タスクの DB 向き先は既存定義を流用できるので切替を意識する必要なし Aurora のリストア https://docs.aws.amazon.com/cdk/api/v2/docs/aws-cdk-lib.aws_rds.DatabaseClusterFromSnapshot.html ここにリストアしたい断面のスナップショット ARN を指定 API リファレンスのサンプルコード

Slide 14

Slide 14 text

Slide 15

Slide 15 text

© 2024 Mizuho Research & Technologies, Ltd. 14 リストアで一度指定したスナップショット ARN は取扱注意！再度リストアするまで、スナップショット ARN を変更しない！（スナップショット ARN は Git Commit して変更管理する） Aurora のリストア https://docs.aws.amazon.com/AWSCloudFormation/latest/UserGuide/aws-resource-rds-dbcluster.html CFn ユーザーガイドを機械翻訳 SnapshotIdentifierプロパティを指定してDBクラスタをリストアした後、今後DBクラスタを更新する場合は、同じ SnapshotIdentifier プロパティを指定する必要があります。更新時にこのプロパティを指定すると、DBクラスタはDBクラスタスナップショットから再度リストアされず、データベース内のデータは変更されません。ただし、SnapshotIdentifierプロパティを指定しないと、空のDBクラスタが作成され、元のDBクラスタは削除されます。前回のスナップショットリストアプロパティと異なるプロパティを指定すると、指定した SnapshotIdentifier プロパティから新しいDBクラスタがリストアされ、元のDBクラスタは削除されます。

Slide 16

Slide 16 text

Slide 17

Slide 17 text

© 2024 Mizuho Research & Technologies, Ltd. 16 AWS CDK で EFS を直接リストアできない？ • EFS に DatabaseClusterFromSnapshot のような L2 Construct なし • 外部 EFS を取り込むメソッドはあるが、リストア観点だと考慮事項が多そう？ EFS のリストア API リファレンスのサンプルコード https://docs.aws.amazon.com/cdk/api/v2/docs/aws-cdk-lib.aws_efs.FileSystemAttributes.html リストアに活用するのが難しそうだったので見送り

Slide 18

Slide 18 text

Slide 19

Slide 19 text

© 2024 Mizuho Research & Technologies, Ltd. 採用した EFS リストア手順（1/3） 1. AWS Backup でリカバリポイントの ARN をメモし、リストア先として別スタックを CDK デプロイ（EFS 含めて新規作成） 18 EFS のリストア cdk deploy New Stack ELB Fargate Aurora EFS VPC Backup 事前にスナップショット ARN を指定 CloudFront EFS は空デプロイ時間の大半は Aurora リストアに依存 Aurora/EFS の復旧断面を保持

Slide 20

Slide 20 text

© 2024 Mizuho Research & Technologies, Ltd. 採用した EFS リストア手順（2/3） 2. VPC プライベートサブネット内に CloudShell を起動し、新規 EFS に対して AWS Backup のリストア API を手動実行 19 EFS のリストア EFS VPC Backup CloudShell NAT gateway リストア API 実行起動リストアパブリックサブネット内の CloudShell ではデフォルトだとパブリック接続不可なので注意復旧元 EFS のバックアップ Vault

Slide 21

Slide 21 text

Slide 22

Slide 22 text

© 2024 Mizuho Research & Technologies, Ltd. 21 （補足）EFS をリストアする際の留意点 EFS リストア後に、バックアップ元とディレクトリの階層がずれる！ EFS のリストア root 2023 11 12 2024 1 root aws-backup- restore_xxxx 2023 11 12 2024 1 リストア後の階層バックアップ元の階層リストアで階層が自動追加されるためディレクトリ階層変更の考慮が必要

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

© 2024 Mizuho Research & Technologies, Ltd. 24 踏み台サーバ不要で、CloudShell からコマンドが完結！ CloudShell の VPC 対応前は踏み台を準備していたので嬉しい！採用した EFS リストア手順の嬉しい点（2/3） EFS VPC CloudShell 起動ディレクトリ階層の修正 2024/6/25： AWS CloudShell now supports Amazon Virtual Private Cloud (VPC) - AWS Backup NAT gateway リストア API 実行リストア復旧元 EFS のバックアップ Vault

Slide 26

Slide 26 text

© 2024 Mizuho Research & Technologies, Ltd. 25 VPC 内の CloudShell から実行するコマンドも簡単！ 1. AWS Backup のリストアジョブ実行 2. EFS のマウント 3. ディレクトリ階層修正 ⇒ 3 つのステップでリストア可能！採用した EFS リストア手順の嬉しい点（3/3） $ aws backup start-restore-job --recovery-point-arn xx -metadata xx ~ $ mkdir efs && sudo yum install -y nfs-utils && sudo mount -t nfs4 –o xx ~ $ sudo mv efs/aws-backup-restore_YYYY-MM-DDxxx/* efs/ Aurora に加えて EFS も ECS タスクの切替不要！

Slide 27

Slide 27 text

Slide 28

Slide 28 text

© 2024 Mizuho Research & Technologies, Ltd. 27 まとめ • AWS CDK で構築したデータリソースのリストア手順整備は重要！ • Aurora のリストアは DatabaseClusterFromSnapshot でお手軽！ • EFS のリストアでは VPC 対応した CloudShell が便利！（リストアのために AWS CDKのコードを複雑にしすぎない） • 各プロジェクトの要件・状況に合わせて適切な手法を選択することが大事！