Direct ConnectとSite-to-Site VPNによる冗長化構成の勘所 / Check point for redundant configuration with Direct Connect and Site-to-Site VPN

by inomaso

Slide 1

Slide 1 text

Direct Connect と Site-to-Site VPN による冗長化構成の勘所 2023/7/21 AWS事業本部 inomaso 1

Slide 2

Slide 2 text

自己紹介 2 猪股翔(inomaso) クラスメソッド株式会社 AWS事業本部コンサルティング部ソリューションアーキテクト ● 2023 APN ALL AWS Certifications Engineer ● ブログ ○ https://dev.classmethod.jp/author/inomata-sho/ ● 好きな AWS サービス ○ AWS Certificate Manager ○ AWS Transit Gateway

Slide 3

Slide 3 text

はじめに 3 ❏ 想定聴講者 ❏ オンプレとAWS間の接続にDirect Connectと Site-to-Site VPNを併用したいが、検討ポイントがわからず困っている ❏ 話すこと ❏ Direct ConnectとSite-to-Site VPNをTransit Gatewayに紐付けた構成の勘所

Slide 4

Slide 4 text

アジェンダ 4 1. Direct Connectで過去に発生した障害 2. 代表的な冗長化の接続例 ● ターゲットゲートウェイ 3. Direct Connect + Site-to-Site VPNのポイント ● 接続方式の妥当性確認 ● 経路制御 ● ASNの決め方

Slide 5

Slide 5 text

Direct Connectで過去に発生した障害 5

Slide 6

Slide 6 text

Direct Connectで過去に発生した障害 6 2021 年 9 月 2 日に東京リージョンでトラブル発生 ❏ 日本時間の午前 7 時 30 分からDirect Connect接続が失われた ❏ 約 6 時間の間、オンプレミスとAWS間の接続不可の状態 ❏ 数ヶ月前に導入した「頻度の低いネットワークコンバージェンスイベントおよびファイバ切断に対するネットワークの反応時間を最適化するために導入された新しいプロトコル」が原因

Slide 7

Slide 7 text

Direct Connectで過去に発生した障害どうすれば影響を受けずに済んだのか？？ 7

Slide 8

Slide 8 text

Direct Connectで過去に発生した障害 8 AWSの可用性の取り組み ❏ AWSは責任共有モデルに基づき、可用性を高める努力を常に実施している https://d1.awsstatic.com/webinars/jp/pdf/services/20200219_BlackBelt_Onpremises_Redundancy.pdf

Slide 9

Slide 9 text

Direct Connectで過去に発生した障害 9 なぜ冗長化が必要か？ https://d1.awsstatic.com/webinars/jp/pdf/services/20200219_BlackBelt_Onpremises_Redundancy.pdf

Slide 10

Slide 10 text

Direct Connectで過去に発生した障害 10 なぜ冗長化が必要か？ https://d1.awsstatic.com/webinars/jp/pdf/services/20200219_BlackBelt_Onpremises_Redundancy.pdf 冗長化のポイント

Slide 11

Slide 11 text

Direct Connectで過去に発生した障害 11 冗長化の選択肢 https://d1.awsstatic.com/webinars/jp/pdf/services/20200219_BlackBelt_Onpremises_Redundancy.pdf

Slide 12

Slide 12 text

Direct Connectで過去に発生した障害 12 冗長化の選択肢 https://d1.awsstatic.com/webinars/jp/pdf/services/20200219_BlackBelt_Onpremises_Redundancy.pdf 本セッションの対象

Slide 13

Slide 13 text

代表的な冗長化の接続例 13

Slide 14

Slide 14 text

代表的な冗長化の接続例 14 ターゲットゲートウェイの選び方 ❏ Direct ConnectやSite-to-Site VPNでオンプレミスとAWSを接続する場合、AWS側の接続先に以下のターゲットゲートウェイが必要になります。 ❏ Virtual Private Gateway(VGW) ❏ Transit Gateway(TGW)

Slide 15

Slide 15 text

代表的な冗長化の接続例 15 Virtual Private Gateway(VGW) ❏ 小規模なネットワーク構成 ❏ VPCが1~数個程度

Slide 16

Slide 16 text

代表的な冗長化の接続例 16 Virtual Private Gateway(VGW) ❏ メリット ❏ 関連リソースが少ないため設定が容易 ❏ VGW自体に料金は発生しない ❏ デメリット ❏ VPC毎にVPN接続の追加が必要 ❏ VPC間で相互接続が必要な場合、VPC Peeringの設定が1対1で必要

Slide 17

Slide 17 text

代表的な冗長化の接続例 17 Transit Gateway(TGW) ❏ 中規模以上のネットワーク構成 ❏ オンプレミスと通信が必要なVPCや、相互接続が必要なVPC数が多い(もしくは将来的に増える可能性がある)

Slide 18

Slide 18 text

代表的な冗長化の接続例 18 Transit Gateway(TGW) ❏ メリット ❏ オンプレミスから複数のVPCへ接続する場合でも、Transit Gateway経由であれば、1つのVPN接続で通信可能 ❏ 複数のVPN接続を束ね、Equal Cost Multi Path(ECMP)を利用し帯域を増やすことが可能

Slide 19

Slide 19 text

代表的な冗長化の接続例 19 Transit Gateway(TGW) ❏ メリット ❏ 複数のルーティングテーブルを、Transit Gatewayのルートテーブルで柔軟に設計可能 ❏ VPCの相互接続はTransit Gateway経由で可能 ❏ VPCからインターネットへのアウトバウンド通信するためのNATゲートウェイを一つのVPCに集約 ❏ Interface型のVPCエンドポイントをShared VPCに集約 ❏ Gateway Load Balancerと組み合わせて、セキュリティアプライアンスをクラウドに集約

Slide 20

Slide 20 text

代表的な冗長化の接続例 20 Transit Gateway(TGW)

Slide 21

Slide 21 text

代表的な冗長化の接続例 21 Transit Gateway(TGW) ❏ デメリット ❏ Transit Gatewayを利用する場合、Direct Connectの仮想インターフェイス(VIF)はTransit VIFが必要 ❏ Transit Gatewayへ接続するDirect ConnectやSite-to-Site VPN、 VPCが増えるたびに毎月の固定費として約50USD(東京リージョン) の料金が発生

Slide 22

Slide 22 text

Direct Connect + Site-to-Site VPN のポイント 22

Slide 23

Slide 23 text

Direct Connect + Site-to-Site VPN のポイント 23 接続方式の妥当性確認 ❏ メイン回線をDirect Connect、バックアップ回線をSite-to-Site VPN ❏ 予算の都合上、Direct Connect回線を複数用意できない ❏ 障害時等でフェールオーバした場合、パフォーマンスに影響が出る可能性を許容可能 ❏ Site-to-Site VPNに動的経路制御(BGP)を利用可能 ❏ フェールオーバ時に自動でSite-to-Site VPNの経路へ切り替え可能

Slide 24

Slide 24 text

Direct Connect + Site-to-Site VPN のポイント 24 経路制御 ❏ Transit Gatewayのルート評価順 ❏ BGPパス属性 ❏ オンプレミスへの経路伝達

Slide 25

Slide 25 text

Direct Connect + Site-to-Site VPN のポイント 25 経路制御 | Transit Gatewayのルート評価順 1. 送信先アドレスの最も具体的なルート(ロンゲストマッチ) 2. 送信先 IP アドレスが同じでもターゲットが異なるルートの場合、ルートの優先順位は次の通り 2-1. 静的ルート (例えば、Site-to-Site VPN 静的ルート) 2-2. プレフィックスリスト参照ルート 2-3. VPC が伝達したルート 2-4. Direct Connect Gatewayが伝達したルート 2-5. Transit Gateway Connect が伝達したルート 2-6. Site-to-Site VPN が伝達したルート

Slide 26

Slide 26 text

Direct Connect + Site-to-Site VPN のポイント 26 経路制御 | Transit Gatewayのルート評価順 ❏ AWSからオンプレミスへ通信する際の経路選択 ❏ Transit Gatewayルートテーブルへ、Direct Connect Gatewayと Site-to-Site VPNが同じIPアドレスを伝達した場合、Direct Connect Gatewayから伝達した経路が優先される ❏ Direct Connectがダウンした場合、Site-to-Site VPNが伝達したルートのみとなるため、自動的に経路が切り替わる

Slide 27

Slide 27 text

Direct Connect + Site-to-Site VPN のポイント 27 経路制御 | Transit Gatewayのルート評価順 DXGWの経路が優先される

Slide 28

Slide 28 text

Direct Connect + Site-to-Site VPN のポイント 28 経路制御 | Transit Gatewayのルート評価順 Site-to-Site VPNの経路に切り替わる

Slide 29

Slide 29 text

Direct Connect + Site-to-Site VPN のポイント 29 経路制御 | Transit Gatewayのルート評価順

Slide 30

Slide 30 text

Direct Connect + Site-to-Site VPN のポイント 30 経路制御 | BGPパス属性 ❏ BGPパス属性は同じ宛先をもつ複数のBGPルートからベストパスを選択するためにルータによって評価される属性値 ❏ オンプレミスからAWSへ通信する際に、Direct Connectをメイン回線にするようLP(Local Preference)やAS-Path Prepend等で設定する必要あり

Slide 31

Slide 31 text

Direct Connect + Site-to-Site VPN のポイント 31 経路制御 | BGPパス属性 ❏ BGPパス属性を用いた経路制御の例 LP=200、Prependなし Active Standby LP=100、Prependあり平常時はDirect Connect をベストパスとして選択

Slide 32

Slide 32 text

Direct Connect + Site-to-Site VPN のポイント 32 経路制御 | BGPパス属性

Slide 33

Slide 33 text

Direct Connect + Site-to-Site VPN のポイント 33 経路制御 | オンプレミスへの経路伝達 ❏ オンプレミスからAWSへ通信するために、AWS側のCIDRを伝達する必要がある ❏ 今回の構成の場合、伝達方法は以下の通り ❏ Direct Connect Gatewayの「許可されたプレフィックス」でVPCの CIDRを指定 ❏ Site-to-Site VPNのTransit Gatewayアタッチメントに関連付けているTransit GatewayルートテーブルのCIDR

Slide 34

Slide 34 text

Direct Connect + Site-to-Site VPN のポイント 34 経路制御 | オンプレミスへの経路伝達 ❏ 設計の注意点 ❏ Direct Connect Gatewayの「許可されたプレフィックス」に設定可能なCIDRの上限あり ❏ 2023/4のアップデートで、上限が20→200に増えている ❏ VPCのCIDRを集約できた方が、VPC追加等による変更箇所を少なくできるため、要件定義フェーズで一度検討しておきたい

Slide 35

Slide 35 text

Direct Connect + Site-to-Site VPN のポイント 35 経路制御 | オンプレミスへの経路伝達 ❏ 設計の注意点 ❏ 一方で、Direct Connect Gatewayの「許可されたプレフィックス」で VPCのCIDRのみを集約した場合、Site-to-Site VPN側はVPC毎の CIDRを伝達することとなりロンゲストマッチが発生 ❏ ロンゲストマッチとなった場合、オンプレミス側は常にSite-to-Site VPN側の経路を優先してしまう

Slide 36

Slide 36 text

Direct Connect + Site-to-Site VPN のポイント 36 経路制御 | オンプレミスへの経路伝達 ❏ 設計の注意点 ❏ ロンゲストマッチを回避するために、Site-to-Site VPN側にダミー経路を追加し、オンプレミスのルータで不要な経路をフィルタする必要がある

Slide 37

Slide 37 text

Direct Connect + Site-to-Site VPN のポイント 37 経路制御 | オンプレミスへの経路伝達

Slide 38

Slide 38 text

Direct Connect + Site-to-Site VPN のポイント 38 経路制御 | オンプレミスへの経路伝達 DXGWと同じCIDRを伝達するためにダミー経路を追加

Slide 39

Slide 39 text

Direct Connect + Site-to-Site VPN のポイント 39 経路制御 | オンプレミスへの経路伝達オンプレミスのルータで不要な経路をフィルタ

Slide 40

Slide 40 text

Direct Connect + Site-to-Site VPN のポイント 40 経路制御 | オンプレミスへの経路伝達

Slide 41

Slide 41 text

Direct Connect + Site-to-Site VPN のポイント 41 ASNの決め方 | AS(Autonomous System) ❏ 自律システム(縄張り/管理が行き届く範囲) ❏ 複数のルータが集まって構成される ❏ ISP、企業、研究機関、拠点毎に存在するイメージ ❏ IGP(AS内のルーティングプロトコル)とEGP(AS間のルーティングプロトコル)を分ける概念

Slide 42

Slide 42 text

Direct Connect + Site-to-Site VPN のポイント 42 ASNの決め方 | ASN(AS番号) ❏ ASを識別する番号 ❏ BGPはAS間で経路情報を交換するEGPの一種 ❏ BGPによる接続が行われたBGPルータは経路情報を交換する ❏ 経路情報を伝え合うことで何番のASにどのようなネットワークが存在するのかがわかる ❏ 受信した経路情報のAS_PATHに自分のASN(AS番号)が含まれている場合、その経路情報を破棄する

Slide 43

Slide 43 text

Direct Connect + Site-to-Site VPN のポイント 43 ASNの決め方 | 設計ポイント ❏ AWS側とオンプレミス側で分ける ❏ Transit GatewayとDirectConnect Gatewayで分ける ❏ 別のTransit Gatewayと接続する場合も分ける ❏ オンプレミスの拠点毎に分ける

Slide 44

Slide 44 text

Direct Connect + Site-to-Site VPN のポイント 44 ASNの決め方 | ASNの例

Slide 45

Slide 45 text

Direct Connect + Site-to-Site VPN のポイント 45 ASNの決め方

Slide 46

Slide 46 text

本セッションのまとめ 46

Slide 47

Slide 47 text

本セッションのまとめ 47 ❏ 冗長化の必要性や選択肢 ❏ ターゲットゲートウェイ毎の特性 ❏ Direct ConnectとSite-to-Site VPNを併用したルーティング周りの設計ポイント