VPC間の接続方法を整理してみた #自治体クラウド勉強会

2024/11/1の第2回 自治体システム標準化・ガバメントクラウド勉強会で登壇したときの資料です。

https://gov-cloud.connpass.com/event/334097/

Transcript

1. 2024/11/1 クラスメソッド株式会社 のんピ VPC間の接続⽅法を整理してみた
2. ⾃⼰紹介 2 • 2017年 前職(SIer)⼊社 インフラエンジニア ◦ 仮想化基盤および⾃社DCの運⽤保守 ◦ ⾦融機関のインターネット系システムの構築 • 2019年 クラウドメインの部署へ異動 ◦ 主に基幹システムの⼤規模AWS移⾏を担当 • 2021年 クラスメソッド⼊社 SA ◦ AWSコスト最適化⽀援 ◦ 1,000万PV超のECサイトリプレース⽀援 ◦ 300TBファイルサーバーの移⾏⽀援 • 所属 ◦ AWS事業本部コンサルティング部 • 名前（ニックネーム） ◦ ⼭本涼太 (のんピ) • 出⾝ ◦ 島根県 • 好きなAWSサービス ◦ Amazon FSx for NetApp ONTAP ◦ AWS Transit Gateway ◦ AWS CDK
3. VPC間の接続⽅法で悩んだことありませんか? みなさん 3
4. VPC間の接続⽅法は多くある 4
5. それぞれ特徴を時間内で 「できるだけ」 お伝えします 5
6. 伝えたい事の全て 6 ポイント VPCピアリング Transit Gateway (TGW) PrivateLink VPC Lattice VPCのCIDR重複 NG 完全⼀致でなければOK (Private NAT Gatewayや バックエンドサブネットを活⽤) OK OK 双⽅向リクエスト OK OK NG NG 通信プロトコル TCP, UDP, ICMP など (ドキュメントには具体的な制約の記載なし) TCP, UDP, ICMP など (ドキュメントには具体的な制約の記載なし) TCP, UDP HTTP 1.1/2.0, gRPC クロスアカウント OK OK OK OK クロスリージョン OK OK (各リージョンにTGWを複数⽤意した場合) NG NG 通信の制御 セキュリティグループ, NACL, VPCルートテー ブル セキュリティグループ, NACL, VPCルートテーブ ル, TGW route table セキュリティグループ, NACL, VPCエンドポイント ポリシー セキュリティグループ, NACL, IAM認証 課⾦要素 異なるAZ間およびリージョン間のデータ転送 量 TGW attachment / hour, データ転送量 VPCエンドポイント / hour, VPCエンドポイント データ転送量, NLB / hour, NLCU / hourt VPC Lattice / hour, データ転送量, リクエスト数 同時接続数 制限なし 制限なし ⼀意の各ターゲット (IPアドレスとポート) に対し て 55,000 の同時接続または 1分あたり約55,000 の接続 (クライアント IP の保存が無効化の場合) 制限なし 同時VPC接続数 デフォルト50, 最⼤125 最⼤5,000アタッチメント / TGW 最⼤50インターフェイス型VPCエンドポイント (調整可) 単⼀のサービスネットワークに関連付けるVPCの 最⼤数500 (調整可) MTU (バイト) 9,100 (クロスリージョン時はMTU 1,500) 8,500 8,500 8,500 アイドルタイムアウト 制限なし 制限なし 60秒〜6,000秒 60秒 ログ VPC Flow Logs VPC Flow Logs, TGW Flow Logs VPC Flow Logs VPC Flow Logs, VPC Lattice アクセスログ 通信帯域 制限なし デフォルト最⼤ 100 Gbps / AZ / VPC attachment デフォルト最⼤ 10 Gbps / AZ ⾃動で最⼤ 100 Gbps / AZ までスケール 最⼤ 10 Gbps / AZ IPv6サポート あり あり あり あり その他 主な制約事項 推移的なピアリング関係未サポート - 送信元IPアドレスを保持するには要Proxy Protocol v2 - NLBのリスナー制限デフォルト50 (調整可) - NLBのターゲット制限デフォルト3,000 (調整可) - 1秒あたりのリクエスト数10,000 - ターゲットグループあたりのターゲット数制限 デフォルト1,000 (調整可) 設定要素 VPCピアリング, VPCルートテーブル TGW, TGW attachment, TGW route table, VPC ルートテーブル NLB, ターゲットグループ, VPCエンドポイント サービス, VPCエンドポイント サービスネットワーク, サービス, ターゲットグ ループ
7. 各サービスの概要 7
8. 8 • VPCとVPCを1:1で接続 ◦ 推移的ルーティングは不可 ◦ 多数のVPC間で通信する場合は メッシュ上にピアリングする ◦ VPCのCIDR重複はNG • 以下シチュエーションで利⽤ ◦ VPC間接続数が少数 ◦ ⾦銭的コストを抑えたい VPCピアリング
9. 9 • 以下ネットワークリソースを n:nで接続 ◦ VPC ◦ Site-to-Site VPN ◦ Direct Connect Gateway ◦ TGW • リージョナルなルーター ◦ 動的ルート、静的ルートどちらも 利⽤可能であるため柔軟性が⾼い • 中〜⼤規模ネットワークで利⽤ AWS Transit Gateway (TGW)
10. 10 • インターネットを経由せずに プライベートな通信を提供 ◦ VPCとAWSサービス間 ◦ 異なるVPC間 • 接続は1:n • 以下シチュエーションで利⽤ ◦ CIDRが重複しているネットワーク間 の通信 ◦ コンシューマとプロバイダで 区切れる関係性 AWS PrivateLink
11. 11 • L7のアプリケーションネット ワーキングサービス ◦ HTTP 1.1/2.0 ◦ gRPC • ルートテーブルは⾃動設定 • 以下シチュエーションで利⽤ ◦ VPC Latticeがサポートしている プロトコルで⼗分 ◦ ネットワーク管理コストを下げたい Amazon VPC Lattice
12. (再掲) 伝えたい事の全て 12 ポイント VPCピアリング Transit Gateway (TGW) PrivateLink VPC Lattice VPCのCIDR重複 NG 完全⼀致でなければOK (Private NAT Gatewayや バックエンドサブネットを活⽤) OK OK 双⽅向リクエスト OK OK NG NG 通信プロトコル TCP, UDP, ICMP など (ドキュメントには具体的な制約の記載なし) TCP, UDP, ICMP など (ドキュメントには具体的な制約の記載なし) TCP, UDP HTTP 1.1/2.0, gRPC クロスアカウント OK OK OK OK クロスリージョン OK OK (各リージョンにTGWを複数⽤意した場合) NG NG 通信の制御 セキュリティグループ, NACL, VPCルートテー ブル セキュリティグループ, NACL, VPCルートテーブ ル, TGW route table セキュリティグループ, NACL, VPCエンドポイント ポリシー セキュリティグループ, NACL, IAM認証 課⾦要素 異なるAZ間およびリージョン間のデータ転送 量 TGW attachment / hour, データ転送量 VPCエンドポイント / hour, VPCエンドポイント データ転送量, NLB / hour, NLCU / hourt VPC Lattice / hour, データ転送量, リクエスト数 同時接続数 制限なし 制限なし ⼀意の各ターゲット (IPアドレスとポート) に対し て 55,000 の同時接続または 1分あたり約55,000 の接続 (クライアント IP の保存が無効化の場合) 制限なし 同時VPC接続数 デフォルト50, 最⼤125 最⼤5,000アタッチメント / TGW 最⼤50インターフェイス型VPCエンドポイント (調整可) 単⼀のサービスネットワークに関連付けるVPCの 最⼤数500 (調整可) MTU (バイト) 9,100 (クロスリージョン時はMTU 1,500) 8,500 8,500 8,500 アイドルタイムアウト 制限なし 制限なし 60秒〜6,000秒 60秒 ログ VPC Flow Logs VPC Flow Logs, TGW Flow Logs VPC Flow Logs VPC Flow Logs, VPC Lattice アクセスログ 通信帯域 制限なし デフォルト最⼤ 100 Gbps / AZ / VPC attachment デフォルト最⼤ 10 Gbps / AZ ⾃動で最⼤ 100 Gbps / AZ までスケール 最⼤ 10 Gbps / AZ IPv6サポート あり あり あり あり その他 主な制約事項 推移的なピアリング関係未サポート - 送信元IPアドレスを保持するには要Proxy Protocol v2 - NLBのリスナー制限デフォルト50 (調整可) - NLBのターゲット制限デフォルト3,000 (調整可) - 1秒あたりのリクエスト数10,000 - ターゲットグループあたりのターゲット数制限 デフォルト1,000 (調整可) 設定要素 VPCピアリング, VPCルートテーブル TGW, TGW attachment, TGW route table, VPC ルートテーブル NLB, ターゲットグループ, VPCエンドポイント サービス, VPCエンドポイント サービスネットワーク, サービス, ターゲットグ ループ
13. 今⽇はよくある検討ポイントに絞って説明 13 ポイント VPCピアリング Transit Gateway (TGW) PrivateLink VPC Lattice VPCのCIDR重複 NG 完全⼀致でなければOK (Private NAT Gatewayや バックエンドサブネットを活⽤) OK OK 双⽅向リクエスト OK OK NG NG 通信プロトコル TCP, UDP, ICMP など (ドキュメントには具体的な制約の記載なし) TCP, UDP, ICMP など (ドキュメントには具体的な制約の記載なし) TCP, UDP HTTP 1.1/2.0, gRPC クロスアカウント OK OK OK OK クロスリージョン OK OK (各リージョンにTGWを複数⽤意した場合) NG NG 通信の制御 セキュリティグループ, NACL, VPCルートテー ブル セキュリティグループ, NACL, VPCルートテーブ ル, TGW route table セキュリティグループ, NACL, VPCエンドポイント ポリシー セキュリティグループ, NACL, IAM認証 課⾦要素 異なるAZ間およびリージョン間のデータ転送 量 TGW attachment / hour, データ転送量 VPCエンドポイント / hour, VPCエンドポイント データ転送量, NLB / hour, NLCU / hourt VPC Lattice / hour, データ転送量, リクエスト数 同時接続数 制限なし 制限なし ⼀意の各ターゲット (IPアドレスとポート) に対し て 55,000 の同時接続または 1分あたり約55,000 の接続 (クライアント IP の保存が無効化の場合) 制限なし 同時VPC接続数 デフォルト50, 最⼤125 最⼤5,000アタッチメント / TGW 最⼤50インターフェイス型VPCエンドポイント (調整可) 単⼀のサービスネットワークに関連付けるVPCの 最⼤数500 (調整可) MTU (バイト) 9,100 (クロスリージョン時はMTU 1,500) 8,500 8,500 8,500 アイドルタイムアウト 制限なし 制限なし 60秒〜6,000秒 60秒 ログ VPC Flow Logs VPC Flow Logs, TGW Flow Logs VPC Flow Logs VPC Flow Logs, VPC Lattice アクセスログ 通信帯域 制限なし デフォルト最⼤ 100 Gbps / AZ / VPC attachment デフォルト最⼤ 10 Gbps / AZ ⾃動で最⼤ 100 Gbps / AZ までスケール 最⼤ 10 Gbps / AZ IPv6サポート あり あり あり あり その他 主な制約事項 推移的なピアリング関係未サポート - 送信元IPアドレスを保持するには要Proxy Protocol v2 - NLBのリスナー制限デフォルト50 (調整可) - NLBのターゲット制限デフォルト3,000 (調整可) - 1秒あたりのリクエスト数10,000 - ターゲットグループあたりのターゲット数制限 デフォルト1,000 (調整可) 設定要素 VPCピアリング, VPCルートテーブル TGW, TGW attachment, TGW route table, VPC ルートテーブル NLB, ターゲットグループ, VPCエンドポイント サービス, VPCエンドポイント サービスネットワーク, サービス, ターゲットグ ループ
14. 14 • VPCピアリングでVPC間のCIDR が重複している場合はエラー ◦ 完全⼀致だけでなく、包含関係、 セカンダリCIDRのみの⼀致もNG VPCのCIDRの重複 (VPCピアリング)
15. 15 • TGWの場合はVPCの⼀部CIDRが 重複していてもOK • 各種ルートテーブルに静的 ルートを追加してルーティング ◦ TGWルートテーブル ◦ VPCルートテーブル • 管理コストは⾼く、場合によっ ては双⽅向のプロキシが必要 VPCのCIDRの重複 (Transit Gateway)
16. 16 • IP ネットワークのリナンバリング • AWS PrivateLink • VPCで複数 IP アドレス範囲を利⽤ • Private NAT Gateway を使⽤して サブネットを隠蔽する ⻑期的には以下がベスト • 重複させない • (重複していたら)リナンバリング https://aws.amazon.com/jp/blogs/news/connecting-networks-with-overl apping-ip-ranges/ AWS Blogも重複したIPアドレスレンジ間の通信について⾔及
17. 17 互いにリクエストを送り合う場合は 以下⽅式は使⽤不可 • PrivateLink • VPC Lattice 例) 双⽅向リクエスト • アクティブモードのFTP • 監視通信 ◦ Server → Agent : パッシブ監視 ◦ Agent → Server : アクティブ監視 • サーバーやサービス間の相互連携 双⽅向リクエスト (PrivateLinkとVPC Lattice)
18. 18 • VPC Latticeは特定のプロトコル 以外は不可 ◦ HTTP 1.1/2.0 ◦ gRPC • SSHやRDPなど他プロトコルで の接続はできない ◦ VPCピアリングやTGW、 PrivateLinkの完全な代替には ならない サポートしているプロトコル (VPC Lattice)
19. PrivateLinkってTCPしか使えないでしょ！！ 待って！ 19
20. 20 なんとPrivateLinkはUDPを本⽇(2024/11/1)サポートしました https://aws.amazon.com/jp/blogs/networking-and-content-delivery/accelerate-ipv6-application-migration-with-aws-privatelink-and-dual-stack-network-load-balancers-udp-support/
21. 各接続⽅式のポイントを抑えて最適な選択肢を選ぼう 21 ポイント VPCピアリング Transit Gateway (TGW) PrivateLink VPC Lattice VPCのCIDR重複 NG 完全⼀致でなければOK (Private NAT Gatewayや バックエンドサブネットを活⽤) OK OK 双⽅向リクエスト OK OK NG NG 通信プロトコル TCP, UDP, ICMP など (ドキュメントには具体的な制約の記載なし) TCP, UDP, ICMP など (ドキュメントには具体的な制約の記載なし) TCP, UDP HTTP 1.1/2.0, gRPC クロスアカウント OK OK OK OK クロスリージョン OK OK (各リージョンにTGWを複数⽤意した場合) NG NG 通信の制御 セキュリティグループ, NACL, VPCルートテー ブル セキュリティグループ, NACL, VPCルートテーブ ル, TGW route table セキュリティグループ, NACL, VPCエンドポイント ポリシー セキュリティグループ, NACL, IAM認証 課⾦要素 異なるAZ間およびリージョン間のデータ転送 量 TGW attachment / hour, データ転送量 VPCエンドポイント / hour, VPCエンドポイント データ転送量, NLB / hour, NLCU / hourt VPC Lattice / hour, データ転送量, リクエスト数 同時接続数 制限なし 制限なし ⼀意の各ターゲット (IPアドレスとポート) に対し て 55,000 の同時接続または 1分あたり約55,000 の接続 (クライアント IP の保存が無効化の場合) 制限なし 同時VPC接続数 デフォルト50, 最⼤125 最⼤5,000アタッチメント / TGW 最⼤50インターフェイス型VPCエンドポイント (調整可) 単⼀のサービスネットワークに関連付けるVPCの 最⼤数500 (調整可) MTU (バイト) 9,100 (クロスリージョン時はMTU 1,500) 8,500 8,500 8,500 アイドルタイムアウト 制限なし 制限なし 60秒〜6,000秒 60秒 ログ VPC Flow Logs VPC Flow Logs, TGW Flow Logs VPC Flow Logs VPC Flow Logs, VPC Lattice アクセスログ 通信帯域 制限なし デフォルト最⼤ 100 Gbps / AZ / VPC attachment デフォルト最⼤ 10 Gbps / AZ ⾃動で最⼤ 100 Gbps / AZ までスケール 最⼤ 10 Gbps / AZ IPv6サポート あり あり あり あり その他 主な制約事項 推移的なピアリング関係未サポート - 送信元IPアドレスを保持するには要Proxy Protocol v2 - NLBのリスナー制限デフォルト50 (調整可) - NLBのターゲット制限デフォルト3,000 (調整可) - 1秒あたりのリクエスト数10,000 - ターゲットグループあたりのターゲット数制限 デフォルト1,000 (調整可) 設定要素 VPCピアリング, VPCルートテーブル TGW, TGW attachment, TGW route table, VPC ルートテーブル NLB, ターゲットグループ, VPCエンドポイント サービス, VPCエンドポイント サービスネットワーク, サービス, ターゲットグ ループ