クラウド - オンプレ間の通信品質向上作戦！〜ネットワーク編〜

by gree_tech

Slide 1

Slide 1 text

グリー株式会社　インフラエンジニア　吉浜丈広クラウド - オンプレ間の通信品質向上作戦！〜ネットワーク編〜

Slide 2

Slide 2 text

•吉浜丈広（よしはまたけひろ） •2016 年グリー入社後、ネットワーク周りをメインで担当 • オンプレ環境のネットワーク設計・構築・運用 + ミドルウェアなど • オフィス環境のネットワークは別 • 一時、アプリのサーバサイドの開発に参加 • 最近セキュリティ部兼任 • 商用環境（サーバ）のセキュリティ担当 • syslog, ldap 等基盤運用、ログ監視、インシデント対応、、、自己紹介 2 

Slide 3

Slide 3 text

3  弊社の商用環境について • 昔はオンプレのみで運用していた • その後クラウドへ移行 • 現状、オンプレとクラウド両方利用 • 昔からの SNS サービス・Web ゲームはまだオンプレ利用も • スマホゲーム、新規サービスはクラウド • クラウドは GCP と AWS の両方を利用結果、一部でクラウド上に Web サーバ、オンプレに DBのような構成に

Slide 4

Slide 4 text

弊社の商用環境について一つのリクエストのために Web - DB 間通信が複数回起きる 4  ユーザクラウドオンプレ Web DB リクエストレスポンス

Slide 5

Slide 5 text

弊社の商用環境について一つのリクエストのために Web - DB 間通信が複数回起きる 5  ユーザクラウドオンプレ Web DB リクエストレスポンスココが問題

Slide 6

Slide 6 text

弊社の商用環境について一つのリクエストのために Web - DB 間通信が複数回起きる 6  ユーザクラウドオンプレ Web DB リクエストレスポンスココが問題クラウド - オンプレ間の通信品質がそのままサービス品質に直結してしまうつらい

Slide 7

Slide 7 text

ひとつめの作戦オンプレ - クラウド間通信どうする？とりあえず専用線をひこう！ 7 

Slide 8

Slide 8 text

8  ひとつめの作戦オンプレ - クラウド間通信どうする？専用線をひくことで • オンプレ - クラウド間がネットワーク的に近くなる • レイテンシーが低くなるはず！ • 帯域も確実に確保できる • インターネット通信用の線と物理的に線をわけることができる • ほかの通信の影響がすくなくなる！インターネット経由の通信よりも高品質になるはず！

Slide 9

Slide 9 text

ひとつめの作戦オンプレ - クラウド間通信どうする？インターネット経由（過去 1 ヶ月） 9 

Slide 10

Slide 10 text

ひとつめの作戦オンプレ - クラウド間通信どうする？専用線経由（過去 1 ヶ月） 10 

Slide 11

Slide 11 text

ひとつめの作戦オンプレ - クラウド間通信どうする？ • 専用線を引くことで比較的高品質になった • レイテンシーが低く、安定した • 現状、専用線を 2 本引いて冗長構成にしている • が、それでも落ちる時は落ちる 11  落ちてしまうと影響が大きすぎるので、なんとかしたい

Slide 12

Slide 12 text

ふたつめの作戦オンプレ - クラウド間通信どうする？ • 専用線をもっといっぱい引く • 2 本でダメならもっと引けばいいよね • コストが結構かかってしまう • 1 ポートあたり数万〜数十万/月 • 1 回線あたり数万〜数十万/月 • インターネット VPN で接続する • 専用線よりも品質は落ちてしまう • 専用線よりもコストが安い • AWS のホワイトペーパー的にはこちらを推奨 12 

Slide 13

Slide 13 text

Slide 14

Slide 14 text

ふたつめの作戦オンプレ - クラウド間通信どうする？ VPN 経路を構築するにあたり構成も変更 • 今までは各 VPC をそれぞれ Direct Connect で接続 • 新規構成では Direct Connect Gateway へ集約 • 上述の接続と VPN 接続を Transit Gateway へ集約 • AWS 側では Transit Gateway の設定変更で Direct Connect (専用線) 接続経由 or VPN 接続経由を選択 • VPC が増えた場合でも構成がすっきりした 14 

Slide 15

Slide 15 text

ふたつめの作戦オンプレ - クラウド間通信どうする？ VPN 経路を構築するにあたり構成も変更（今まで） 15  AWS オンプレ

Slide 16

Slide 16 text

ふたつめの作戦オンプレ - クラウド間通信どうする？ VPN 経路を構築するにあたり構成も変更（今まで） 16  AWS オンプレ

Slide 17

Slide 17 text

ふたつめの作戦オンプレ - クラウド間通信どうする？ VPN 経路を構築するにあたり構成も変更（新しい構成） 17  AWS オンプレ

Slide 18

Slide 18 text

まとめ • 弊社ではクラウド - オンプレ間の通信品質がかなり重要 • クラウド - オンプレ間の通信品質がサービス品質に直結する場合があるため • 冗長構成の専用線導入により通信品質が向上 • レイテンシーが低く安定した • 帯域も確保できた • でも落ちる時は落ちる • インターネット VPN での接続も追加 • 比較的安いコストで緊急路をつくることができた • 現状 VPN への切り替わりの際、時間がかかってしまう場合があるのでその解消が今後の課題 18 