$30 off During Our Annual Pro Sale. View Details »
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
大規模マルチアカウント環境を実運用する時の悩みと解決法 / AWS Multi-Account...
Search
Masashi OISHI
February 15, 2024
Technology
0
720
大規模マルチアカウント環境を実運用する時の悩みと解決法 / AWS Multi-Account Tips
2024年2月15日 JAWS-UG東京に登壇した際の資料です。
(2024年3月3日 記載に一部誤りがあると分かったので修正しました)
Masashi OISHI
February 15, 2024
Tweet
Share
More Decks by Masashi OISHI
See All by Masashi OISHI
5分でまとめるAWSマイグレーション / 5minutes aws migration
se_o_chan
1
770
Other Decks in Technology
See All in Technology
リモートだからこそ 懸念だし1on1
jimpei
1
350
歴史あるRuby on Railsでデッドコードを見つけ、 消す方法@yabaibuki.dev #3
ayumu838
0
1.7k
サービスの拡大に伴うオペレーション課題に立ち向かう / 20241128_cloudsign_pdm
bengo4com
0
770
EthernetベースのGPUクラスタ導入による学びと展望
lycorptech_jp
PRO
0
460
【CNDW2024】SIerで200人クラウドネイティブのファンを増やした話
yuta1979
1
290
Amazon ECSとCloud Runの相互理解で広げるクラウドネイティブの景色 / Mutually understanding Amazon ECS and Cloud Run
iselegant
18
2.3k
50以上のマイクロサービスを支えるアプリケーションプラットフォームの設計・構築の後悔と進化 #CNDW2024 / regrets and evolution of application platform
toshi0607
5
630
クルマのサブスクを Next.jsで内製化した経験とその1年後
kintotechdev
2
460
今はまだ小さい東京ガス内製開発チームが、これからもKubernetesと共に歩み続けるために
yussugi
3
530
【ASW21-01】STAMPSTPAで導き出した課題に対する対策立案手法の提案
hianraku9498
0
220
Hyperledger Fabric(再)入門
gakumura
3
6.7k
Kubernetes だけじゃない!Amazon ECS で実現するクラウドネイティブな GitHub Actions セルフホストランナー / CNDW2024
ponkio_o
PRO
6
420
Featured
See All Featured
Documentation Writing (for coders)
carmenintech
65
4.5k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
6
470
Thoughts on Productivity
jonyablonski
67
4.3k
Designing on Purpose - Digital PM Summit 2013
jponch
115
7k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
26
1.4k
Raft: Consensus for Rubyists
vanstee
136
6.7k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
33
1.9k
Testing 201, or: Great Expectations
jmmastey
40
7.1k
Teambox: Starting and Learning
jrom
133
8.8k
A Modern Web Designer's Workflow
chriscoyier
693
190k
How to Ace a Technical Interview
jacobian
276
23k
Art, The Web, and Tiny UX
lynnandtonic
297
20k
Transcript
大規模マルチアカウント環境を 実運用する時の悩みと解決法 JAWS-UG東京 2024 ~AWSライトニングトーク Night~ 2024/2/15 株式会社野村総合研究所 大石将士
おおいし まさし 大石 将士 (@se_o_chan) 野村総合研究所 所属 食品業、旅行業のお客様に向けて 新規・運用、アプリ・インフラを幅広く担当 最近はオンプレミスからのAWS移行を推進
2022 APN AWS Top Engineer / 2022-23 APN ALL AWS Certifications Engineer
本日の内容 80以上のAWSアカウントで構成されたシステム群を運用している実案件を基に、 マルチアカウント環境運用での悩みとその解消に有益なTipsをご紹介します。 ⚫ マルチアカウント環境の基本構成とメリットを知る ⚫ マルチアカウント環境を運用する時の悩みポイントを知る ⚫ マルチアカウント環境の悩みを解決するのに有益なTipsを知る
マルチアカウントのメリットと基本構成
マルチアカウントとは AWSアカウントをシステム別、環境別などの観点で分離することで、 運用の柔軟性と管理負荷のバランスをとりやすくする AWSアカウント A VPC AWSアカウント B AWSアカウント C
VPC VPC
マルチアカウントの主なメリット 本番、ステージング、開発環境でアカウントを分けることで 同一ユーザが操作できる内容を環境ごとに定義しやすくなる AWSアカウント A VPC AWSアカウント B AWSアカウント C
VPC 環境分離 本番 ステージング 開発 参照のみ 管理者権限 停止・起動
マルチアカウントの主なメリット 利用者の部門ごとにアカウントを分離し、 ユーザ別の権限管理が定義しやすくなる AWSアカウント A VPC AWSアカウント B AWSアカウント C
VPC 権限分離 製造部門 営業部門 本社機構
マルチアカウントの主なメリット ワークロードの特性毎にアカウントを分離し、 アカウント内で許容する操作・設定を定義しやすくなる AWSアカウント A VPC AWSアカウント B AWSアカウント C
VPC 社内システム 社外公開 システム ワークロード分離 パブリック 公開禁止 パブリック 公開可能
マルチアカウントの主なメリット システム運用費の主管部署ごとにアカウントを分離し、 アカウントの管理をしやすくなる AWSアカウント A VPC AWSアカウント B AWSアカウント C
VPC 請求分離 製造部門 営業部門 本社機構
共通基盤OU システムアカウントOU 本番OU ステージング OU 開発OU マルチアカウント基本構成例 管理アカウント ユーザ管理アカウント Organizations
IAM Identity Center 監査ログ集約アカウント 監査ログ バケット セキュリティアカウント IAM Access Analyzer Security Hub バックアップアカウント ネットワークアカウント Direct Connect Transit Gateway AWS Backup システム アカウント システム アカウント システム アカウント
監査ログ集約アカウント 監査ログ バケット セキュリティアカウント IAM Access Analyzer Security Hub バックアップアカウント
ネットワークアカウント Direct Connect Transit Gateway AWS Backup 共通基盤OU マルチアカウント基本構成例 管理アカウント ユーザ管理アカウント IAM Identity Center システムアカウントOU 本番OU ステージング OU 開発OU システム アカウント システム アカウント システム アカウント IAM Identity Centerで 横断的にユーザ・グループ と権限を管理 管理者の委任 Organizations
ユーザ管理アカウント IAM Identity Center セキュリティアカウント IAM Access Analyzer Security Hub
バックアップアカウント ネットワークアカウント Direct Connect Transit Gateway AWS Backup 共通基盤OU マルチアカウント基本構成例 管理アカウント システムアカウントOU 本番OU ステージング OU 開発OU システム アカウント システム アカウント システム アカウント 監査ログ集約アカウント 監査ログ バケット CloudTrail CloudTrail CloudTrail CloudTrail監査ログを 集約する Organizations
監査ログ集約アカウント 監査ログ バケット ユーザ管理アカウント IAM Identity Center バックアップアカウント ネットワークアカウント Direct
Connect Transit Gateway AWS Backup 共通基盤OU マルチアカウント基本構成例 管理アカウント システムアカウントOU 本番OU ステージング OU 開発OU システム アカウント システム アカウント システム アカウント Security Hub セキュリティアカウント IAM Access Analyzer Security Hub Security Hub Security Hub 各アカウントの Security Hub検出結果を 集約する 管理者の委任 Organizations
セキュリティアカウント IAM Access Analyzer Security Hub 監査ログ集約アカウント 監査ログ バケット ユーザ管理アカウント
IAM Identity Center ネットワークアカウント Direct Connect Transit Gateway 共通基盤OU マルチアカウント基本構成例 管理アカウント システムアカウントOU 本番OU ステージング OU 開発OU システム アカウント システム アカウント システム アカウント バックアップアカウント AWS Backup EC2 RDS FSx バックアップポリシーの管理と バックアップジョブの 横断的なモニタリング 管理者の委任 Organizations
バックアップアカウント AWS Backup セキュリティアカウント IAM Access Analyzer Security Hub 監査ログ集約アカウント
監査ログ バケット ユーザ管理アカウント IAM Identity Center 共通基盤OU マルチアカウント基本構成例 管理アカウント システムアカウントOU 本番OU ステージング OU 開発OU システム アカウント システム アカウント システム アカウント Transit Gatewayを RAMで他アカウントに共有し、 クロスアカウントで通信可に ネットワークアカウント Direct Connect Transit Gateway Resource Access Manager (RAM) Organizations
マルチアカウント基本構成例 これがマルチアカウントの基本構成の一例 ただし実運用を通じて、これだけだとかゆいところに手が届いていないと判明 ここからはマルチアカウント環境を運用する悩みとTipsをご紹介
マルチアカウント構成の悩みとTips
マルチアカウント構成の悩み 悩み① システム横断の通信制御を管理しにくい 悩み② AWSアカウント払出し都度の緩和申請が手間 悩み③ VPCエンドポイントの利用料がバカにならない 悩み④ 複数アカウント横断でAWS利用料を管理したい
悩み① システム横断の通信制御を管理しにくい オンプレではFWで一元的に管理していた通信制御が、 アカウントやVPCを細かく分割するとセキュリティGが分かれるので管理しにくい 移行前 移行後 Firewall 本番LAN 開発LAN 本番サーバ
開発サーバ システムA(本番) システムB(本番) システムC(開発) システムD(開発) Security group Security group Security group Security group 本番LAN 開発LAN Direct Connect ソースIP ポート 10.1.0.0/16 全て インバウンドルール ソースIP ポート 10.1.0.0/16 全て インバウンドルール ソースIP ポート 10.2.0.0/16 全て インバウンドルール ソースIP ポート 10.2.0.0/16 全て インバウンドルール 本番LANの定義が 変わったら、ルールを 個別に修正する 必要あり Transit Gateway
Tips① プレフィックスリスト+RAMを活用 プレフィックスリストで複数のIPレンジをグルーピングできる。 それをRAMで共有すれば、オンプレFWのように通信制御を一元管理できる 移行前 移行後 Firewall 本番LAN 開発LAN 本番サーバ
開発サーバ システムA(本番) システムB(本番) システムC(開発) システムD(開発) Security group Security group Security group Security group 本番LAN 開発LAN Direct Connect Transit Gateway ソースIP ポート pl-00001 全て インバウンドルール ソースIP ポート pl-00001 全て インバウンドルール ソースIP ポート pl-00002 全て インバウンドルール ソースIP ポート pl-00002 全て インバウンドルール プレフィッ クスリスト CIDR pl-00001 10.1.0.0/16 pl-00002 10.2.0.0/16 RAM 本番LANの定義が変 わっても、プレフィッ クスリストの修正でOK
Tips① プレフィックスリスト+RAMを活用 VPCコンソールの 中に存在 プレフィックスリストが使えるのは セキュリティグループ、ルートテーブル程度。 Network ACLには使用できないため注意。
悩み② AWSアカウント払出し都度の緩和申請が手間 例えばセキュリティGのルール数上限はデフォルトで60。 AWSアカウント払出し都度、Service Quotasで上限緩和申請を出すのが手間な上に忘れがち。 ソースIP ポート pl-00001 全て pl-00010
全て pl-00011 全て pl-00021 全て インバウンドルール エントリ数:45 エントリ数:15 エントリ数:5 エントリ数:5 ルール数は計70個 ルール数の上限は デフォルトだと60個
Tips② Service Quotasテンプレートで自動申請 Organizationsの管理アカウントでService Quotasのテンプレートを定義できる。 組織内に新しいAWSアカウントを追加する度に自動的に上限緩和申請が提出される。
悩み③ VPCエンドポイントの利用料がバカにならない VPCを細かく分けると、Systems ManagerやEC2、AWS Backupのエンドポイントを 各VPCに作成することになり、アタッチ料金がバカにならない システムA(本番) システムB(本番) システムC(開発) Transit
Gateway com.amazonaws.ap-northeast-1.ec2 com.amazonaws.ap-northeast-1.ec2messages com.amazonaws.ap-northeast-1.ssm com.amazonaws.ap-northeast-1.ssmmessages com.amazonaws.ap-northeast-1.logs com.amazonaws.ap-northeast-1.monitoring com.amazonaws.ap-northeast-1.backup ×2(Multi-AZ)×100アカウント 例えば各VPCで7つのエンドポイントを利用し、 AWSアカウント100個あったとすると 全体で最低1,400個のエンドポイントが必要。 1,400個のVPCエンドポイントで、月額200万円・・・ ・・・
Tips③ Route 53 Resolver+RAMで関連付け VPC-EのあるVPCにRoute 53 Resolver(インバウンド/アウトバウンドエンドポイント)を作成。 そのResolverルールをRAMで関連付けると、VPCエンドポイントが共有できる。 システムA(本番) システムB(本番)
システムC(開発) Transit Gateway com.amazonaws.ap-northeast-1.ec2 com.amazonaws.ap-northeast-1.ec2messages com.amazonaws.ap-northeast-1.ssm com.amazonaws.ap-northeast-1.ssmmessages com.amazonaws.ap-northeast-1.logs com.amazonaws.ap-northeast-1.monitoring com.amazonaws.ap-northeast-1.backup Route 53 Resolver 関連付け ×2(Multi-AZ)×1アカウント 14個のVPCエンドポイントで、月額2万円!! ※ただし、Transit Gatewayに0.02USD/GBのデータ送信料がかかるので注意。 Resolverルール作成 ・・・ RAM
悩み④ 複数アカウント横断でAWS利用料を管理したい いくつかのAWSアカウントは費用の主管部署が同じであるため、 AWS利用料を合算して閲覧・管理したい 本社機構管理のアカウントは 10個あるから、合算された AWS利用料を閲覧したい
本社機構用請求グループ Tips④ Billing ConductorでAWS利用料を管理 Billing Conductorで任意のアカウントに対するAWS利用料を合算し、Billingで表示できる。 また、独自の追加請求やクレジットも登録できる。 管理アカウント Organizations Billing
Conductor システムアカウントX システムアカウントY システムアカウントZ 営業部門用請求グループ システムアカウントA システムアカウントB システムアカウントC ・・・ ・・・ プライマリ プライマリ 請求グループ内のアカウントは プライマリアカウントの Billingで横断的に利用料を参照可
まとめ
本日の内容 80以上のAWSアカウントを運用している実案件を基に、 マルチアカウント環境運用の悩みとその解消に有益なTipsをご紹介しました。 ⚫ マルチアカウント環境の基本構成とメリットを知る ⚫ マルチアカウント環境を運用する時の悩みポイントを知る ⚫ マルチアカウント環境の悩みを解決するのに有益なTipを知る
本日の内容 80以上のAWSアカウントを運用している実案件を基に、 マルチアカウント環境運用の悩みとその解消に有益なTipsをご紹介しました。 ⚫ Organizations+αでマルチアカウント構成を作り、環境・請求等の分離ができる ⚫ マルチアカウント環境を運用する時の悩みポイントを知る ⚫ マルチアカウント環境の悩みを解決するのに有益なTipを知る
本日の内容 80以上のAWSアカウントを運用している実案件を基に、 マルチアカウント環境運用の悩みとその解消に有益なTipsをご紹介しました。 ⚫ Organizations+αでマルチアカウント構成を作り、環境・請求等の分離ができる ⚫ ネットワーク、請求が分離されるが故に管理負担が増大する側面がある ⚫ マルチアカウント環境の悩みを解決するのに有益なTipを知る
本日の内容 80以上のAWSアカウントを運用している実案件を基に、 マルチアカウント環境運用の悩みとその解消に有益なTipsをご紹介しました。 ⚫ Organizations+αでマルチアカウント構成を作り、環境・請求等の分離ができる ⚫ ネットワーク、請求が分離されるが故に管理負担が増大する側面がある ⚫ Organizations統合されたAWSサービスやRAMなどを活用して管理負担を下げる
ご清聴ありがとうございました