Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
大規模マルチアカウント環境を実運用する時の悩みと解決法 / AWS Multi-Account...
Search
Masashi OISHI
February 15, 2024
Technology
0
1.1k
大規模マルチアカウント環境を実運用する時の悩みと解決法 / AWS Multi-Account Tips
2024年2月15日 JAWS-UG東京に登壇した際の資料です。
(2024年3月3日 記載に一部誤りがあると分かったので修正しました)
Masashi OISHI
February 15, 2024
Tweet
Share
More Decks by Masashi OISHI
See All by Masashi OISHI
5分でまとめるAWSマイグレーション / 5minutes aws migration
se_o_chan
1
930
Other Decks in Technology
See All in Technology
LLM時代のパフォーマンスチューニング:MongoDB運用で試したコンテキスト活用の工夫
ishikawa_pro
0
160
開発者を支える Internal Developer Portal のイマとコレカラ / To-day and To-morrow of Internal Developer Portals: Supporting Developers
aoto
PRO
1
470
「その開発、認知負荷高すぎませんか?」Platform Engineeringで始める開発者体験カイゼン術
sansantech
PRO
2
110
slog.Handlerのよくある実装ミス
sakiengineer
4
410
「どこから読む?」コードとカルチャーに最速で馴染むための実践ガイド
zozotech
PRO
0
540
Codeful Serverless / 一人運用でもやり抜く力
_kensh
7
450
品質視点から考える組織デザイン/Organizational Design from Quality
mii3king
0
210
企業の生成AIガバナンスにおけるエージェントとセキュリティ
lycorptech_jp
PRO
2
190
未経験者・初心者に贈る!40分でわかるAndroidアプリ開発の今と大事なポイント
operando
5
730
JTCにおける内製×スクラム開発への挑戦〜内製化率95%達成の舞台裏/JTC's challenge of in-house development with Scrum
aeonpeople
0
250
職種の壁を溶かして開発サイクルを高速に回す~情報透明性と職種越境から考えるAIフレンドリーな職種間連携~
daitasu
0
170
250905 大吉祥寺.pm 2025 前夜祭 「プログラミングに出会って20年、『今』が1番楽しい」
msykd
PRO
1
980
Featured
See All Featured
Documentation Writing (for coders)
carmenintech
74
5k
Typedesign – Prime Four
hannesfritz
42
2.8k
Agile that works and the tools we love
rasmusluckow
330
21k
The World Runs on Bad Software
bkeepers
PRO
70
11k
Rebuilding a faster, lazier Slack
samanthasiow
83
9.2k
Gamification - CAS2011
davidbonilla
81
5.4k
Raft: Consensus for Rubyists
vanstee
140
7.1k
Code Review Best Practice
trishagee
71
19k
Designing Experiences People Love
moore
142
24k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
127
53k
Music & Morning Musume
bryan
46
6.8k
A Tale of Four Properties
chriscoyier
160
23k
Transcript
大規模マルチアカウント環境を 実運用する時の悩みと解決法 JAWS-UG東京 2024 ~AWSライトニングトーク Night~ 2024/2/15 株式会社野村総合研究所 大石将士
おおいし まさし 大石 将士 (@se_o_chan) 野村総合研究所 所属 食品業、旅行業のお客様に向けて 新規・運用、アプリ・インフラを幅広く担当 最近はオンプレミスからのAWS移行を推進
2022 APN AWS Top Engineer / 2022-23 APN ALL AWS Certifications Engineer
本日の内容 80以上のAWSアカウントで構成されたシステム群を運用している実案件を基に、 マルチアカウント環境運用での悩みとその解消に有益なTipsをご紹介します。 ⚫ マルチアカウント環境の基本構成とメリットを知る ⚫ マルチアカウント環境を運用する時の悩みポイントを知る ⚫ マルチアカウント環境の悩みを解決するのに有益なTipsを知る
マルチアカウントのメリットと基本構成
マルチアカウントとは AWSアカウントをシステム別、環境別などの観点で分離することで、 運用の柔軟性と管理負荷のバランスをとりやすくする AWSアカウント A VPC AWSアカウント B AWSアカウント C
VPC VPC
マルチアカウントの主なメリット 本番、ステージング、開発環境でアカウントを分けることで 同一ユーザが操作できる内容を環境ごとに定義しやすくなる AWSアカウント A VPC AWSアカウント B AWSアカウント C
VPC 環境分離 本番 ステージング 開発 参照のみ 管理者権限 停止・起動
マルチアカウントの主なメリット 利用者の部門ごとにアカウントを分離し、 ユーザ別の権限管理が定義しやすくなる AWSアカウント A VPC AWSアカウント B AWSアカウント C
VPC 権限分離 製造部門 営業部門 本社機構
マルチアカウントの主なメリット ワークロードの特性毎にアカウントを分離し、 アカウント内で許容する操作・設定を定義しやすくなる AWSアカウント A VPC AWSアカウント B AWSアカウント C
VPC 社内システム 社外公開 システム ワークロード分離 パブリック 公開禁止 パブリック 公開可能
マルチアカウントの主なメリット システム運用費の主管部署ごとにアカウントを分離し、 アカウントの管理をしやすくなる AWSアカウント A VPC AWSアカウント B AWSアカウント C
VPC 請求分離 製造部門 営業部門 本社機構
共通基盤OU システムアカウントOU 本番OU ステージング OU 開発OU マルチアカウント基本構成例 管理アカウント ユーザ管理アカウント Organizations
IAM Identity Center 監査ログ集約アカウント 監査ログ バケット セキュリティアカウント IAM Access Analyzer Security Hub バックアップアカウント ネットワークアカウント Direct Connect Transit Gateway AWS Backup システム アカウント システム アカウント システム アカウント
監査ログ集約アカウント 監査ログ バケット セキュリティアカウント IAM Access Analyzer Security Hub バックアップアカウント
ネットワークアカウント Direct Connect Transit Gateway AWS Backup 共通基盤OU マルチアカウント基本構成例 管理アカウント ユーザ管理アカウント IAM Identity Center システムアカウントOU 本番OU ステージング OU 開発OU システム アカウント システム アカウント システム アカウント IAM Identity Centerで 横断的にユーザ・グループ と権限を管理 管理者の委任 Organizations
ユーザ管理アカウント IAM Identity Center セキュリティアカウント IAM Access Analyzer Security Hub
バックアップアカウント ネットワークアカウント Direct Connect Transit Gateway AWS Backup 共通基盤OU マルチアカウント基本構成例 管理アカウント システムアカウントOU 本番OU ステージング OU 開発OU システム アカウント システム アカウント システム アカウント 監査ログ集約アカウント 監査ログ バケット CloudTrail CloudTrail CloudTrail CloudTrail監査ログを 集約する Organizations
監査ログ集約アカウント 監査ログ バケット ユーザ管理アカウント IAM Identity Center バックアップアカウント ネットワークアカウント Direct
Connect Transit Gateway AWS Backup 共通基盤OU マルチアカウント基本構成例 管理アカウント システムアカウントOU 本番OU ステージング OU 開発OU システム アカウント システム アカウント システム アカウント Security Hub セキュリティアカウント IAM Access Analyzer Security Hub Security Hub Security Hub 各アカウントの Security Hub検出結果を 集約する 管理者の委任 Organizations
セキュリティアカウント IAM Access Analyzer Security Hub 監査ログ集約アカウント 監査ログ バケット ユーザ管理アカウント
IAM Identity Center ネットワークアカウント Direct Connect Transit Gateway 共通基盤OU マルチアカウント基本構成例 管理アカウント システムアカウントOU 本番OU ステージング OU 開発OU システム アカウント システム アカウント システム アカウント バックアップアカウント AWS Backup EC2 RDS FSx バックアップポリシーの管理と バックアップジョブの 横断的なモニタリング 管理者の委任 Organizations
バックアップアカウント AWS Backup セキュリティアカウント IAM Access Analyzer Security Hub 監査ログ集約アカウント
監査ログ バケット ユーザ管理アカウント IAM Identity Center 共通基盤OU マルチアカウント基本構成例 管理アカウント システムアカウントOU 本番OU ステージング OU 開発OU システム アカウント システム アカウント システム アカウント Transit Gatewayを RAMで他アカウントに共有し、 クロスアカウントで通信可に ネットワークアカウント Direct Connect Transit Gateway Resource Access Manager (RAM) Organizations
マルチアカウント基本構成例 これがマルチアカウントの基本構成の一例 ただし実運用を通じて、これだけだとかゆいところに手が届いていないと判明 ここからはマルチアカウント環境を運用する悩みとTipsをご紹介
マルチアカウント構成の悩みとTips
マルチアカウント構成の悩み 悩み① システム横断の通信制御を管理しにくい 悩み② AWSアカウント払出し都度の緩和申請が手間 悩み③ VPCエンドポイントの利用料がバカにならない 悩み④ 複数アカウント横断でAWS利用料を管理したい
悩み① システム横断の通信制御を管理しにくい オンプレではFWで一元的に管理していた通信制御が、 アカウントやVPCを細かく分割するとセキュリティGが分かれるので管理しにくい 移行前 移行後 Firewall 本番LAN 開発LAN 本番サーバ
開発サーバ システムA(本番) システムB(本番) システムC(開発) システムD(開発) Security group Security group Security group Security group 本番LAN 開発LAN Direct Connect ソースIP ポート 10.1.0.0/16 全て インバウンドルール ソースIP ポート 10.1.0.0/16 全て インバウンドルール ソースIP ポート 10.2.0.0/16 全て インバウンドルール ソースIP ポート 10.2.0.0/16 全て インバウンドルール 本番LANの定義が 変わったら、ルールを 個別に修正する 必要あり Transit Gateway
Tips① プレフィックスリスト+RAMを活用 プレフィックスリストで複数のIPレンジをグルーピングできる。 それをRAMで共有すれば、オンプレFWのように通信制御を一元管理できる 移行前 移行後 Firewall 本番LAN 開発LAN 本番サーバ
開発サーバ システムA(本番) システムB(本番) システムC(開発) システムD(開発) Security group Security group Security group Security group 本番LAN 開発LAN Direct Connect Transit Gateway ソースIP ポート pl-00001 全て インバウンドルール ソースIP ポート pl-00001 全て インバウンドルール ソースIP ポート pl-00002 全て インバウンドルール ソースIP ポート pl-00002 全て インバウンドルール プレフィッ クスリスト CIDR pl-00001 10.1.0.0/16 pl-00002 10.2.0.0/16 RAM 本番LANの定義が変 わっても、プレフィッ クスリストの修正でOK
Tips① プレフィックスリスト+RAMを活用 VPCコンソールの 中に存在 プレフィックスリストが使えるのは セキュリティグループ、ルートテーブル程度。 Network ACLには使用できないため注意。
悩み② AWSアカウント払出し都度の緩和申請が手間 例えばセキュリティGのルール数上限はデフォルトで60。 AWSアカウント払出し都度、Service Quotasで上限緩和申請を出すのが手間な上に忘れがち。 ソースIP ポート pl-00001 全て pl-00010
全て pl-00011 全て pl-00021 全て インバウンドルール エントリ数:45 エントリ数:15 エントリ数:5 エントリ数:5 ルール数は計70個 ルール数の上限は デフォルトだと60個
Tips② Service Quotasテンプレートで自動申請 Organizationsの管理アカウントでService Quotasのテンプレートを定義できる。 組織内に新しいAWSアカウントを追加する度に自動的に上限緩和申請が提出される。
悩み③ VPCエンドポイントの利用料がバカにならない VPCを細かく分けると、Systems ManagerやEC2、AWS Backupのエンドポイントを 各VPCに作成することになり、アタッチ料金がバカにならない システムA(本番) システムB(本番) システムC(開発) Transit
Gateway com.amazonaws.ap-northeast-1.ec2 com.amazonaws.ap-northeast-1.ec2messages com.amazonaws.ap-northeast-1.ssm com.amazonaws.ap-northeast-1.ssmmessages com.amazonaws.ap-northeast-1.logs com.amazonaws.ap-northeast-1.monitoring com.amazonaws.ap-northeast-1.backup ×2(Multi-AZ)×100アカウント 例えば各VPCで7つのエンドポイントを利用し、 AWSアカウント100個あったとすると 全体で最低1,400個のエンドポイントが必要。 1,400個のVPCエンドポイントで、月額200万円・・・ ・・・
Tips③ Route 53 Resolver+RAMで関連付け VPC-EのあるVPCにRoute 53 Resolver(インバウンド/アウトバウンドエンドポイント)を作成。 そのResolverルールをRAMで関連付けると、VPCエンドポイントが共有できる。 システムA(本番) システムB(本番)
システムC(開発) Transit Gateway com.amazonaws.ap-northeast-1.ec2 com.amazonaws.ap-northeast-1.ec2messages com.amazonaws.ap-northeast-1.ssm com.amazonaws.ap-northeast-1.ssmmessages com.amazonaws.ap-northeast-1.logs com.amazonaws.ap-northeast-1.monitoring com.amazonaws.ap-northeast-1.backup Route 53 Resolver 関連付け ×2(Multi-AZ)×1アカウント 14個のVPCエンドポイントで、月額2万円!! ※ただし、Transit Gatewayに0.02USD/GBのデータ送信料がかかるので注意。 Resolverルール作成 ・・・ RAM
悩み④ 複数アカウント横断でAWS利用料を管理したい いくつかのAWSアカウントは費用の主管部署が同じであるため、 AWS利用料を合算して閲覧・管理したい 本社機構管理のアカウントは 10個あるから、合算された AWS利用料を閲覧したい
本社機構用請求グループ Tips④ Billing ConductorでAWS利用料を管理 Billing Conductorで任意のアカウントに対するAWS利用料を合算し、Billingで表示できる。 また、独自の追加請求やクレジットも登録できる。 管理アカウント Organizations Billing
Conductor システムアカウントX システムアカウントY システムアカウントZ 営業部門用請求グループ システムアカウントA システムアカウントB システムアカウントC ・・・ ・・・ プライマリ プライマリ 請求グループ内のアカウントは プライマリアカウントの Billingで横断的に利用料を参照可
まとめ
本日の内容 80以上のAWSアカウントを運用している実案件を基に、 マルチアカウント環境運用の悩みとその解消に有益なTipsをご紹介しました。 ⚫ マルチアカウント環境の基本構成とメリットを知る ⚫ マルチアカウント環境を運用する時の悩みポイントを知る ⚫ マルチアカウント環境の悩みを解決するのに有益なTipを知る
本日の内容 80以上のAWSアカウントを運用している実案件を基に、 マルチアカウント環境運用の悩みとその解消に有益なTipsをご紹介しました。 ⚫ Organizations+αでマルチアカウント構成を作り、環境・請求等の分離ができる ⚫ マルチアカウント環境を運用する時の悩みポイントを知る ⚫ マルチアカウント環境の悩みを解決するのに有益なTipを知る
本日の内容 80以上のAWSアカウントを運用している実案件を基に、 マルチアカウント環境運用の悩みとその解消に有益なTipsをご紹介しました。 ⚫ Organizations+αでマルチアカウント構成を作り、環境・請求等の分離ができる ⚫ ネットワーク、請求が分離されるが故に管理負担が増大する側面がある ⚫ マルチアカウント環境の悩みを解決するのに有益なTipを知る
本日の内容 80以上のAWSアカウントを運用している実案件を基に、 マルチアカウント環境運用の悩みとその解消に有益なTipsをご紹介しました。 ⚫ Organizations+αでマルチアカウント構成を作り、環境・請求等の分離ができる ⚫ ネットワーク、請求が分離されるが故に管理負担が増大する側面がある ⚫ Organizations統合されたAWSサービスやRAMなどを活用して管理負担を下げる
ご清聴ありがとうございました