Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
大規模マルチアカウント環境を実運用する時の悩みと解決法 / AWS Multi-Account...
Search
Masashi OISHI
February 15, 2024
Technology
0
740
大規模マルチアカウント環境を実運用する時の悩みと解決法 / AWS Multi-Account Tips
2024年2月15日 JAWS-UG東京に登壇した際の資料です。
(2024年3月3日 記載に一部誤りがあると分かったので修正しました)
Masashi OISHI
February 15, 2024
Tweet
Share
More Decks by Masashi OISHI
See All by Masashi OISHI
5分でまとめるAWSマイグレーション / 5minutes aws migration
se_o_chan
1
800
Other Decks in Technology
See All in Technology
あの日俺達が夢見たサーバレスアーキテクチャ/the-serverless-architecture-we-dreamed-of
tomoki10
0
500
社内イベント管理システムを1週間でAKSからACAに移行した話し
shingo_kawahara
0
200
podman_update_2024-12
orimanabu
1
290
OCI技術資料 : ファイル・ストレージ 概要
ocise
3
11k
pg_bigmをRustで実装する(第50回PostgreSQLアンカンファレンス@オンライン 発表資料)
shinyakato_
0
110
非機能品質を作り込むための実践アーキテクチャ
knih
5
1.6k
Work as an App Engineer
lycorp_recruit_jp
0
370
開発生産性向上! 育成を「改善」と捉えるエンジニア育成戦略
shoota
2
460
GitHub Copilot のテクニック集/GitHub Copilot Techniques
rayuron
39
16k
クレカ・銀行連携機能における “状態”との向き合い方 / SmartBank Engineer LT Event
smartbank
2
100
KnowledgeBaseDocuments APIでベクトルインデックス管理を自動化する
iidaxs
1
280
ゼロから創る横断SREチーム 挑戦と進化の軌跡
rvirus0817
3
280
Featured
See All Featured
Mobile First: as difficult as doing things right
swwweet
222
9k
Typedesign – Prime Four
hannesfritz
40
2.4k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
29
2k
A Modern Web Designer's Workflow
chriscoyier
693
190k
The Pragmatic Product Professional
lauravandoore
32
6.3k
Chrome DevTools: State of the Union 2024 - Debugging React & Beyond
addyosmani
3
170
Building Your Own Lightsaber
phodgson
103
6.1k
Learning to Love Humans: Emotional Interface Design
aarron
274
40k
How To Stay Up To Date on Web Technology
chriscoyier
789
250k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
29
910
Navigating Team Friction
lara
183
15k
Fontdeck: Realign not Redesign
paulrobertlloyd
82
5.3k
Transcript
大規模マルチアカウント環境を 実運用する時の悩みと解決法 JAWS-UG東京 2024 ~AWSライトニングトーク Night~ 2024/2/15 株式会社野村総合研究所 大石将士
おおいし まさし 大石 将士 (@se_o_chan) 野村総合研究所 所属 食品業、旅行業のお客様に向けて 新規・運用、アプリ・インフラを幅広く担当 最近はオンプレミスからのAWS移行を推進
2022 APN AWS Top Engineer / 2022-23 APN ALL AWS Certifications Engineer
本日の内容 80以上のAWSアカウントで構成されたシステム群を運用している実案件を基に、 マルチアカウント環境運用での悩みとその解消に有益なTipsをご紹介します。 ⚫ マルチアカウント環境の基本構成とメリットを知る ⚫ マルチアカウント環境を運用する時の悩みポイントを知る ⚫ マルチアカウント環境の悩みを解決するのに有益なTipsを知る
マルチアカウントのメリットと基本構成
マルチアカウントとは AWSアカウントをシステム別、環境別などの観点で分離することで、 運用の柔軟性と管理負荷のバランスをとりやすくする AWSアカウント A VPC AWSアカウント B AWSアカウント C
VPC VPC
マルチアカウントの主なメリット 本番、ステージング、開発環境でアカウントを分けることで 同一ユーザが操作できる内容を環境ごとに定義しやすくなる AWSアカウント A VPC AWSアカウント B AWSアカウント C
VPC 環境分離 本番 ステージング 開発 参照のみ 管理者権限 停止・起動
マルチアカウントの主なメリット 利用者の部門ごとにアカウントを分離し、 ユーザ別の権限管理が定義しやすくなる AWSアカウント A VPC AWSアカウント B AWSアカウント C
VPC 権限分離 製造部門 営業部門 本社機構
マルチアカウントの主なメリット ワークロードの特性毎にアカウントを分離し、 アカウント内で許容する操作・設定を定義しやすくなる AWSアカウント A VPC AWSアカウント B AWSアカウント C
VPC 社内システム 社外公開 システム ワークロード分離 パブリック 公開禁止 パブリック 公開可能
マルチアカウントの主なメリット システム運用費の主管部署ごとにアカウントを分離し、 アカウントの管理をしやすくなる AWSアカウント A VPC AWSアカウント B AWSアカウント C
VPC 請求分離 製造部門 営業部門 本社機構
共通基盤OU システムアカウントOU 本番OU ステージング OU 開発OU マルチアカウント基本構成例 管理アカウント ユーザ管理アカウント Organizations
IAM Identity Center 監査ログ集約アカウント 監査ログ バケット セキュリティアカウント IAM Access Analyzer Security Hub バックアップアカウント ネットワークアカウント Direct Connect Transit Gateway AWS Backup システム アカウント システム アカウント システム アカウント
監査ログ集約アカウント 監査ログ バケット セキュリティアカウント IAM Access Analyzer Security Hub バックアップアカウント
ネットワークアカウント Direct Connect Transit Gateway AWS Backup 共通基盤OU マルチアカウント基本構成例 管理アカウント ユーザ管理アカウント IAM Identity Center システムアカウントOU 本番OU ステージング OU 開発OU システム アカウント システム アカウント システム アカウント IAM Identity Centerで 横断的にユーザ・グループ と権限を管理 管理者の委任 Organizations
ユーザ管理アカウント IAM Identity Center セキュリティアカウント IAM Access Analyzer Security Hub
バックアップアカウント ネットワークアカウント Direct Connect Transit Gateway AWS Backup 共通基盤OU マルチアカウント基本構成例 管理アカウント システムアカウントOU 本番OU ステージング OU 開発OU システム アカウント システム アカウント システム アカウント 監査ログ集約アカウント 監査ログ バケット CloudTrail CloudTrail CloudTrail CloudTrail監査ログを 集約する Organizations
監査ログ集約アカウント 監査ログ バケット ユーザ管理アカウント IAM Identity Center バックアップアカウント ネットワークアカウント Direct
Connect Transit Gateway AWS Backup 共通基盤OU マルチアカウント基本構成例 管理アカウント システムアカウントOU 本番OU ステージング OU 開発OU システム アカウント システム アカウント システム アカウント Security Hub セキュリティアカウント IAM Access Analyzer Security Hub Security Hub Security Hub 各アカウントの Security Hub検出結果を 集約する 管理者の委任 Organizations
セキュリティアカウント IAM Access Analyzer Security Hub 監査ログ集約アカウント 監査ログ バケット ユーザ管理アカウント
IAM Identity Center ネットワークアカウント Direct Connect Transit Gateway 共通基盤OU マルチアカウント基本構成例 管理アカウント システムアカウントOU 本番OU ステージング OU 開発OU システム アカウント システム アカウント システム アカウント バックアップアカウント AWS Backup EC2 RDS FSx バックアップポリシーの管理と バックアップジョブの 横断的なモニタリング 管理者の委任 Organizations
バックアップアカウント AWS Backup セキュリティアカウント IAM Access Analyzer Security Hub 監査ログ集約アカウント
監査ログ バケット ユーザ管理アカウント IAM Identity Center 共通基盤OU マルチアカウント基本構成例 管理アカウント システムアカウントOU 本番OU ステージング OU 開発OU システム アカウント システム アカウント システム アカウント Transit Gatewayを RAMで他アカウントに共有し、 クロスアカウントで通信可に ネットワークアカウント Direct Connect Transit Gateway Resource Access Manager (RAM) Organizations
マルチアカウント基本構成例 これがマルチアカウントの基本構成の一例 ただし実運用を通じて、これだけだとかゆいところに手が届いていないと判明 ここからはマルチアカウント環境を運用する悩みとTipsをご紹介
マルチアカウント構成の悩みとTips
マルチアカウント構成の悩み 悩み① システム横断の通信制御を管理しにくい 悩み② AWSアカウント払出し都度の緩和申請が手間 悩み③ VPCエンドポイントの利用料がバカにならない 悩み④ 複数アカウント横断でAWS利用料を管理したい
悩み① システム横断の通信制御を管理しにくい オンプレではFWで一元的に管理していた通信制御が、 アカウントやVPCを細かく分割するとセキュリティGが分かれるので管理しにくい 移行前 移行後 Firewall 本番LAN 開発LAN 本番サーバ
開発サーバ システムA(本番) システムB(本番) システムC(開発) システムD(開発) Security group Security group Security group Security group 本番LAN 開発LAN Direct Connect ソースIP ポート 10.1.0.0/16 全て インバウンドルール ソースIP ポート 10.1.0.0/16 全て インバウンドルール ソースIP ポート 10.2.0.0/16 全て インバウンドルール ソースIP ポート 10.2.0.0/16 全て インバウンドルール 本番LANの定義が 変わったら、ルールを 個別に修正する 必要あり Transit Gateway
Tips① プレフィックスリスト+RAMを活用 プレフィックスリストで複数のIPレンジをグルーピングできる。 それをRAMで共有すれば、オンプレFWのように通信制御を一元管理できる 移行前 移行後 Firewall 本番LAN 開発LAN 本番サーバ
開発サーバ システムA(本番) システムB(本番) システムC(開発) システムD(開発) Security group Security group Security group Security group 本番LAN 開発LAN Direct Connect Transit Gateway ソースIP ポート pl-00001 全て インバウンドルール ソースIP ポート pl-00001 全て インバウンドルール ソースIP ポート pl-00002 全て インバウンドルール ソースIP ポート pl-00002 全て インバウンドルール プレフィッ クスリスト CIDR pl-00001 10.1.0.0/16 pl-00002 10.2.0.0/16 RAM 本番LANの定義が変 わっても、プレフィッ クスリストの修正でOK
Tips① プレフィックスリスト+RAMを活用 VPCコンソールの 中に存在 プレフィックスリストが使えるのは セキュリティグループ、ルートテーブル程度。 Network ACLには使用できないため注意。
悩み② AWSアカウント払出し都度の緩和申請が手間 例えばセキュリティGのルール数上限はデフォルトで60。 AWSアカウント払出し都度、Service Quotasで上限緩和申請を出すのが手間な上に忘れがち。 ソースIP ポート pl-00001 全て pl-00010
全て pl-00011 全て pl-00021 全て インバウンドルール エントリ数:45 エントリ数:15 エントリ数:5 エントリ数:5 ルール数は計70個 ルール数の上限は デフォルトだと60個
Tips② Service Quotasテンプレートで自動申請 Organizationsの管理アカウントでService Quotasのテンプレートを定義できる。 組織内に新しいAWSアカウントを追加する度に自動的に上限緩和申請が提出される。
悩み③ VPCエンドポイントの利用料がバカにならない VPCを細かく分けると、Systems ManagerやEC2、AWS Backupのエンドポイントを 各VPCに作成することになり、アタッチ料金がバカにならない システムA(本番) システムB(本番) システムC(開発) Transit
Gateway com.amazonaws.ap-northeast-1.ec2 com.amazonaws.ap-northeast-1.ec2messages com.amazonaws.ap-northeast-1.ssm com.amazonaws.ap-northeast-1.ssmmessages com.amazonaws.ap-northeast-1.logs com.amazonaws.ap-northeast-1.monitoring com.amazonaws.ap-northeast-1.backup ×2(Multi-AZ)×100アカウント 例えば各VPCで7つのエンドポイントを利用し、 AWSアカウント100個あったとすると 全体で最低1,400個のエンドポイントが必要。 1,400個のVPCエンドポイントで、月額200万円・・・ ・・・
Tips③ Route 53 Resolver+RAMで関連付け VPC-EのあるVPCにRoute 53 Resolver(インバウンド/アウトバウンドエンドポイント)を作成。 そのResolverルールをRAMで関連付けると、VPCエンドポイントが共有できる。 システムA(本番) システムB(本番)
システムC(開発) Transit Gateway com.amazonaws.ap-northeast-1.ec2 com.amazonaws.ap-northeast-1.ec2messages com.amazonaws.ap-northeast-1.ssm com.amazonaws.ap-northeast-1.ssmmessages com.amazonaws.ap-northeast-1.logs com.amazonaws.ap-northeast-1.monitoring com.amazonaws.ap-northeast-1.backup Route 53 Resolver 関連付け ×2(Multi-AZ)×1アカウント 14個のVPCエンドポイントで、月額2万円!! ※ただし、Transit Gatewayに0.02USD/GBのデータ送信料がかかるので注意。 Resolverルール作成 ・・・ RAM
悩み④ 複数アカウント横断でAWS利用料を管理したい いくつかのAWSアカウントは費用の主管部署が同じであるため、 AWS利用料を合算して閲覧・管理したい 本社機構管理のアカウントは 10個あるから、合算された AWS利用料を閲覧したい
本社機構用請求グループ Tips④ Billing ConductorでAWS利用料を管理 Billing Conductorで任意のアカウントに対するAWS利用料を合算し、Billingで表示できる。 また、独自の追加請求やクレジットも登録できる。 管理アカウント Organizations Billing
Conductor システムアカウントX システムアカウントY システムアカウントZ 営業部門用請求グループ システムアカウントA システムアカウントB システムアカウントC ・・・ ・・・ プライマリ プライマリ 請求グループ内のアカウントは プライマリアカウントの Billingで横断的に利用料を参照可
まとめ
本日の内容 80以上のAWSアカウントを運用している実案件を基に、 マルチアカウント環境運用の悩みとその解消に有益なTipsをご紹介しました。 ⚫ マルチアカウント環境の基本構成とメリットを知る ⚫ マルチアカウント環境を運用する時の悩みポイントを知る ⚫ マルチアカウント環境の悩みを解決するのに有益なTipを知る
本日の内容 80以上のAWSアカウントを運用している実案件を基に、 マルチアカウント環境運用の悩みとその解消に有益なTipsをご紹介しました。 ⚫ Organizations+αでマルチアカウント構成を作り、環境・請求等の分離ができる ⚫ マルチアカウント環境を運用する時の悩みポイントを知る ⚫ マルチアカウント環境の悩みを解決するのに有益なTipを知る
本日の内容 80以上のAWSアカウントを運用している実案件を基に、 マルチアカウント環境運用の悩みとその解消に有益なTipsをご紹介しました。 ⚫ Organizations+αでマルチアカウント構成を作り、環境・請求等の分離ができる ⚫ ネットワーク、請求が分離されるが故に管理負担が増大する側面がある ⚫ マルチアカウント環境の悩みを解決するのに有益なTipを知る
本日の内容 80以上のAWSアカウントを運用している実案件を基に、 マルチアカウント環境運用の悩みとその解消に有益なTipsをご紹介しました。 ⚫ Organizations+αでマルチアカウント構成を作り、環境・請求等の分離ができる ⚫ ネットワーク、請求が分離されるが故に管理負担が増大する側面がある ⚫ Organizations統合されたAWSサービスやRAMなどを活用して管理負担を下げる
ご清聴ありがとうございました