Upgrade to PRO for Only $50/Year—Limited-Time Offer! 🔥

AWS x さくらのクラウドのハイブリッドクラウドによる安価なフレッツ閉域網接続の実装

Kurochan
January 25, 2024

AWS x さくらのクラウドのハイブリッドクラウドによる安価なフレッツ閉域網接続の実装

AWS cafeteria #1 〜サイバーエージェント×ゆめみ×クラスメソッド 3社共催LT会〜 で発表した資料です。
https://cyberagent.connpass.com/event/303690/

Kurochan

January 25, 2024
Tweet

More Decks by Kurochan

Other Decks in Technology

Transcript

  1. 本 日 話すこと • とある案件で複数の物理的な拠点を既設の閉域網(フレッツVPNワイド)経由で AWSと接続しないといけなくなった • PoCのためにデータセンタにラックを構築したがほぼクラウドで 済むようにしたくなった •

    AWS+さくらのクラウドの構成を採 用 し移 行 した • そして安くなった! • ㊙がついているスライドは撮影、SNS共有等禁 止 です! • 資料は公開します!
  2. AWSとデータセンタ間のVPN • AWS Site-to-Site VPNを利 用 •IPSecというプロトコルで接続する •DC側のVPNの終端はNEC IX 2106

    • NECのサポートサイトを 見 るとつなぎ 方 が書いてある https://jpn.nec.com/univerge/ix/Support/AWS/index.html
  3. PoCは成功🎉商 用 利 用 見 据えたい🚀 • データセンタのラックの 面 倒誰が

    見 るのか問題 •ほぼ 自 分ひとりで構築したので 面 倒 見 られるのが 自 分しかいない •この構成のために障害発 生 時に駆けつけられる体制つくるのは過剰すぎる •とりあえず最速でPoCをするための環境だったので商 用 は別にしたい •できる限りクラウドで完結させた構成にするほうがよさそう! •IaCで構築したほうが引き継ぎやすそう
  4. AWSとさくらのクラウドの接続 • AWS、さくらのクラウド双 方 にWireGuardのサーバを構築 •さくらのマネージドルータだとWireGuardを利 用 しつつ経路の冗 長 化ができなかったため

    •AWSはそもそもWireGuardのマネージドサービスは存在しない •AWS Site-to-Site VPNはちょくちょくメンテナンスがあるのと、 今回はEC 2 の 方 が安かった(t 4 g.micro x 2 )
  5. Transit Gateway • VPCやVPN、Direct Connect、Transit Gateway Connectなど同 士 を ネットワーク的に接続するハブのようなサービス

    •これのおかげでAWS同 士 だけでなくその他のクラウドやオンプレともネットワークの統合が可能 •リージョン間の接続も可能にするCloud WANなども存在する
  6. Transit Gateway Connect • ルータのEC 2 とTransit Gatewayを接続する仕組み • EC

    2 と接続できるので任意のルータが使える •めちゃくちゃ拡張性が 高 い •今回はWireGuard終端EC 2 と接続 • GRE(Generic Routing Encapsulation) で転送するパケットをカプセリングする • BGP(Boarder Gateway Protocol, 後述)で 経路情報を交換する
  7. EC 2 、さくらのサーバでBGPを動かす • FRRoutingを利 用 •OSSのルーティングソフトウェア •業務 用 ルータ(CiscoとかJuniperとか)と同じネットワークのプロトコルで経路交換が可能

    •サーバ上でFRRoutingを稼働させて物理拠点からVPCまでの経路を確保する •物理拠点<->さくらのクラウド<->AWS(Transit Gateway)<->AWS(VPC) •BGP(Boarder Gateway Protocol)を使うことで動的なルーティングを 行 う
  8. 動的なルーティングのメリット • 全てのルータに 手 打ちで経路を打ち込むのは 大 変、 自 動で反映されてほしい •Transit

    Gatewayとの経路交換もBGPで 行 う •経路上に障害が発 生 した場合は 自 動で迂回経路が計算されてほしい •BFD(Bidirectional Forward Detection)を有効化した区間は1秒未満で障害検出可能
  9. 障害が起きた時の想定 • 例 •EC 2 で1台障害発 生 したパターン •さくらのクラウドのサーバで1台障害が発 生

    したパターン •動的なルーティングにより、 自 動でトラフィックが迂回される
  10. 最終的な姿 • 複数物理拠点とAWS VPCを接続することができた •以前より可 用 性が向上している •AWS VPCの利 用

    者からすると裏側の構成は意識不要 •VPC内から直接アクセスできるリソースのように 見 えるだけ •ランニングコストは 月 額10万円前後 •安いですよね…?
  11. Systems Manager Hybrid Activations • さくらのクラウドのサーバはSystems Managerで管理した • Hybrid Activationを使うとAWS外のサーバもSystems

    Managerの管理下に •ssm-agent経由でさくらのクラウドのサーバにIAM Roleが付与できる •EC 2 と同じ。IAM Userを作成してアクセスキーをサーバに埋め込むよりセキュアになる •AWS Consoleからブラウザ越しにターミナル操作可能 •IAM Roleでさくらのクラウドのサーバアクセスも管理
  12. Packer + Terraform • VMイメージ(さくら, AWS)の構築は全てPackerで 行 った •provisonerはシェルスクリプト •さくらもAWSも両

    方 Terraformで構築 •GitHub Actionsで変更は 自 動反映 •さくらのサーバにIAM RoleがついているのでクレデンシャルはSSM Parameter Storeから取得 •EC 2 はAuto Scaling(台数固定)にしたのでヘルスチェックに不合格になると 自 動で インスタンスがリプレースされる •ほぼクラウドで完結🎉 構成変更や障害対応はGitHub上のコードでまかなえる🎉
  13. まとめ • AWSとさくらのクラウドのハイブリッドクラウド構成をとることで、フレッツの 閉域網の物理拠点間接続をAWSまで延伸することができた🎉 • 諦めずできる限りクラウドに寄せることで運 用 の 自 動化&省

    力 化ができた🎉 • こういった構成でもIaCでほぼ完結させることは可能🤘 • さくらインターネットの 方 々にも実現にあたってご協 力 いただいたので、その話 もどこかでできれば…!(今 日 はAWSの会だったので🙇)