クラウド - オンプレ間の通信品質向上作戦！〜ネットワーク編〜

GREE Tech Conference 2022で発表された資料です。
https://techcon.gree.jp/2022/session/TrackA-4

Transcript

1. グリー株式会社　インフラエンジニア　吉浜 丈広
   クラウド - オンプレ間の
   通信品質向上作戦！
   〜 ネットワーク編 〜
   

   View Slide

2. •吉浜 丈広（よしはま たけひろ）
   •2016 年グリー入社後、ネットワーク周りをメインで担当
   • オンプレ環境のネットワーク設計・構築・運用 + ミドルウェアなど
   • オフィス環境のネットワークは別
   • 一時、アプリのサーバサイドの開発に参加
   • 最近セキュリティ部兼任
   • 商用環境（サーバ）のセキュリティ担当
   • syslog, ldap 等基盤運用、ログ監視、インシデント対応、、、
   自己紹介
   2

   

   View Slide

3. 3

   弊社の商用環境について
   • 昔はオンプレのみで運用していた
   • その後クラウドへ移行
   • 現状、オンプレとクラウド両方利用
   • 昔からの SNS サービス・Web ゲームはまだオンプレ利用も
   • スマホゲーム、新規サービスはクラウド
   • クラウドは GCP と AWS の両方を利用
   結果、一部でクラウド上に Web サーバ、
   オンプレに DBのような構成に
   

   View Slide

4. 弊社の商用環境について
   一つのリクエストのために Web - DB 間通信が複数回起きる
   4

   ユーザ クラウド オンプレ
   Web DB
   リクエスト
   レスポンス
   

   View Slide

5. 弊社の商用環境について
   一つのリクエストのために Web - DB 間通信が複数回起きる
   5

   ユーザ クラウド オンプレ
   Web DB
   リクエスト
   レスポンス
   ココが
   問題
   

   View Slide

6. 弊社の商用環境について
   一つのリクエストのために Web - DB 間通信が複数回起きる
   6

   ユーザ クラウド オンプレ
   Web DB
   リクエスト
   レスポンス
   ココが
   問題
   クラウド - オンプレ間の通信品質が
   そのままサービス品質に直結してしまう
   つらい
   

   View Slide

7. ひとつめの作戦
   オンプレ - クラウド間通信どうする？
   とりあえず専用線をひこう！
   7

   

   View Slide

8. 8

   ひとつめの作戦
   オンプレ - クラウド間通信どうする？
   専用線をひくことで
   • オンプレ - クラウド間がネットワーク的に近くなる
   • レイテンシーが低くなるはず！
   • 帯域も確実に確保できる
   • インターネット通信用の線と物理的に線をわけることができる
   • ほかの通信の影響がすくなくなる！
   インターネット経由の通信よりも
   高品質になるはず！
   

   View Slide

9. ひとつめの作戦
   オンプレ - クラウド間通信どうする？
   インターネット経由（過去 1 ヶ月）
   9

   

   View Slide

10. ひとつめの作戦
    オンプレ - クラウド間通信どうする？
    専用線経由（過去 1 ヶ月）
    10

    

    View Slide

11. ひとつめの作戦
    オンプレ - クラウド間通信どうする？
    • 専用線を引くことで比較的高品質になった
    • レイテンシーが低く、安定した
    • 現状、専用線を 2 本引いて冗長構成にしている
    • が、それでも落ちる時は落ちる
    11

    落ちてしまうと影響が大きすぎるので、
    なんとかしたい
    

    View Slide

12. ふたつめの作戦
    オンプレ - クラウド間通信どうする？
    • 専用線をもっといっぱい引く
    • 2 本でダメならもっと引けばいいよね
    • コストが結構かかってしまう
    • 1 ポートあたり数万〜数十万/月
    • 1 回線あたり数万〜数十万/月
    • インターネット VPN で接続する
    • 専用線よりも品質は落ちてしまう
    • 専用線よりもコストが安い
    • AWS のホワイトペーパー的にはこちらを推奨
    12

    

    View Slide

13. ふたつめの作戦
    オンプレ - クラウド間通信どうする？
    • 専用線をもっといっぱい引く
    • 2 本でダメならもっと引けばいいよね
    • コストが結構かかってしまう
    • 1 ポートあたり数万〜数十万/月
    • 1 回線あたり数万〜数十万/月
    • インターネット VPN で接続する
    • 専用線よりも品質は落ちてしまう
    • 専用線よりもコストが安い
    • AWS のホワイトペーパー的にはこちらを推奨
    13

    

    View Slide

14. ふたつめの作戦
    オンプレ - クラウド間通信どうする？
    VPN 経路を構築するにあたり構成も変更
    • 今までは各 VPC をそれぞれ Direct Connect で接続
    • 新規構成では Direct Connect Gateway へ集約
    • 上述の接続と VPN 接続を Transit Gateway へ集約
    • AWS 側では Transit Gateway の設定変更で Direct
    Connect (専用線) 接続経由 or VPN 接続経由を選択
    • VPC が増えた場合でも構成がすっきりした
    14

    

    View Slide

15. ふたつめの作戦
    オンプレ - クラウド間通信どうする？
    VPN 経路を構築するにあたり構成も変更（今まで）
    15

    AWS
    オンプレ
    

    View Slide

16. ふたつめの作戦
    オンプレ - クラウド間通信どうする？
    VPN 経路を構築するにあたり構成も変更（今まで）
    16

    AWS
    オンプレ
    

    View Slide

17. ふたつめの作戦
    オンプレ - クラウド間通信どうする？
    VPN 経路を構築するにあたり構成も変更（新しい構成）
    17

    AWS
    オンプレ
    

    View Slide

18. まとめ
    • 弊社ではクラウド - オンプレ間の通信品質がかなり重要
    • クラウド - オンプレ間の通信品質がサービス品質に直結する場合がある
    ため
    • 冗長構成の専用線導入により通信品質が向上
    • レイテンシーが低く安定した
    • 帯域も確保できた
    • でも落ちる時は落ちる
    • インターネット VPN での接続も追加
    • 比較的安いコストで緊急路をつくることができた
    • 現状 VPN への切り替わりの際、時間がかかってしまう場合があるのでそ
    の解消が今後の課題
    18

    

    View Slide

19. View Slide