GREE Tech Conference 2022で発表された資料です。 https://techcon.gree.jp/2022/session/TrackA-4
グリー株式会社 インフラエンジニア 吉浜 丈広クラウド - オンプレ間の通信品質向上作戦!〜 ネットワーク編 〜
View Slide
•吉浜 丈広(よしはま たけひろ)•2016 年グリー入社後、ネットワーク周りをメインで担当• オンプレ環境のネットワーク設計・構築・運用 + ミドルウェアなど• オフィス環境のネットワークは別• 一時、アプリのサーバサイドの開発に参加• 最近セキュリティ部兼任• 商用環境(サーバ)のセキュリティ担当• syslog, ldap 等基盤運用、ログ監視、インシデント対応、、、自己紹介2
3 弊社の商用環境について• 昔はオンプレのみで運用していた• その後クラウドへ移行• 現状、オンプレとクラウド両方利用• 昔からの SNS サービス・Web ゲームはまだオンプレ利用も• スマホゲーム、新規サービスはクラウド• クラウドは GCP と AWS の両方を利用結果、一部でクラウド上に Web サーバ、オンプレに DBのような構成に
弊社の商用環境について一つのリクエストのために Web - DB 間通信が複数回起きる4 ユーザ クラウド オンプレWeb DBリクエストレスポンス
弊社の商用環境について一つのリクエストのために Web - DB 間通信が複数回起きる5 ユーザ クラウド オンプレWeb DBリクエストレスポンスココが問題
弊社の商用環境について一つのリクエストのために Web - DB 間通信が複数回起きる6 ユーザ クラウド オンプレWeb DBリクエストレスポンスココが問題クラウド - オンプレ間の通信品質がそのままサービス品質に直結してしまうつらい
ひとつめの作戦オンプレ - クラウド間通信どうする?とりあえず専用線をひこう!7
8 ひとつめの作戦オンプレ - クラウド間通信どうする?専用線をひくことで• オンプレ - クラウド間がネットワーク的に近くなる• レイテンシーが低くなるはず!• 帯域も確実に確保できる• インターネット通信用の線と物理的に線をわけることができる• ほかの通信の影響がすくなくなる!インターネット経由の通信よりも高品質になるはず!
ひとつめの作戦オンプレ - クラウド間通信どうする?インターネット経由(過去 1 ヶ月)9
ひとつめの作戦オンプレ - クラウド間通信どうする?専用線経由(過去 1 ヶ月)10
ひとつめの作戦オンプレ - クラウド間通信どうする?• 専用線を引くことで比較的高品質になった• レイテンシーが低く、安定した• 現状、専用線を 2 本引いて冗長構成にしている• が、それでも落ちる時は落ちる11 落ちてしまうと影響が大きすぎるので、なんとかしたい
ふたつめの作戦オンプレ - クラウド間通信どうする?• 専用線をもっといっぱい引く• 2 本でダメならもっと引けばいいよね• コストが結構かかってしまう• 1 ポートあたり数万〜数十万/月• 1 回線あたり数万〜数十万/月• インターネット VPN で接続する• 専用線よりも品質は落ちてしまう• 専用線よりもコストが安い• AWS のホワイトペーパー的にはこちらを推奨12
ふたつめの作戦オンプレ - クラウド間通信どうする?• 専用線をもっといっぱい引く• 2 本でダメならもっと引けばいいよね• コストが結構かかってしまう• 1 ポートあたり数万〜数十万/月• 1 回線あたり数万〜数十万/月• インターネット VPN で接続する• 専用線よりも品質は落ちてしまう• 専用線よりもコストが安い• AWS のホワイトペーパー的にはこちらを推奨13
ふたつめの作戦オンプレ - クラウド間通信どうする?VPN 経路を構築するにあたり構成も変更• 今までは各 VPC をそれぞれ Direct Connect で接続• 新規構成では Direct Connect Gateway へ集約• 上述の接続と VPN 接続を Transit Gateway へ集約• AWS 側では Transit Gateway の設定変更で DirectConnect (専用線) 接続経由 or VPN 接続経由を選択• VPC が増えた場合でも構成がすっきりした14
ふたつめの作戦オンプレ - クラウド間通信どうする?VPN 経路を構築するにあたり構成も変更(今まで)15 AWSオンプレ
ふたつめの作戦オンプレ - クラウド間通信どうする?VPN 経路を構築するにあたり構成も変更(今まで)16 AWSオンプレ
ふたつめの作戦オンプレ - クラウド間通信どうする?VPN 経路を構築するにあたり構成も変更(新しい構成)17 AWSオンプレ
まとめ• 弊社ではクラウド - オンプレ間の通信品質がかなり重要• クラウド - オンプレ間の通信品質がサービス品質に直結する場合があるため• 冗長構成の専用線導入により通信品質が向上• レイテンシーが低く安定した• 帯域も確保できた• でも落ちる時は落ちる• インターネット VPN での接続も追加• 比較的安いコストで緊急路をつくることができた• 現状 VPN への切り替わりの際、時間がかかってしまう場合があるのでその解消が今後の課題18
19