Link
Embed
Share
Beginning
This slide
Copy link URL
Copy link URL
Copy iframe embed code
Copy iframe embed code
Copy javascript embed code
Copy javascript embed code
Share
Tweet
Share
Tweet
Slide 1
Slide 1 text
谷崎 貴章
Slide 2
Slide 2 text
(Tanizaki Takaaki) 所属 ● システム本部 IT統括部 IT基盤部 ネットワークグループ 経歴 ● 2016 年 DeNA に中途入社 ネットワークグループの業務 ● データセンタ/クラウドネットワーク ● 本社/拠点オフィスネットワーク ● CDN (Content Delivery Network) 2
Slide 3
Slide 3 text
● 背景 ● オンプレミスと AWS のネットワーク接続 ● オンプレミスと GCP のネットワーク接続 ● まとめ 3
Slide 4
Slide 4 text
2018年6月、DeNA のほぼ全てのサービスを運用し てきたオンプレミスデータセンタを捨て、パブリッ ククラウドに移行する全社方針が決定 4
Slide 5
Slide 5 text
5
Slide 6
Slide 6 text
データセンタや本社オフィスなどのオンプレミスと パブリッククラウド間のプライベートネットワーク 環境の提供 6
Slide 7
Slide 7 text
プライベートネットワークとは ● インターネットから隔離されたネットワーク ● プライベート IP アドレスを用いた LAN 通信 ● 例えば、自宅やオフィス内、データセンタ内の ネットワーク 7
Slide 8
Slide 8 text
8 ネットワークグループが提供する プライベートネットワークは...
Slide 9
Slide 9 text
ヒカリエ本社や拠点オフィス、データセンタ、 AWS、GCP などの全ネットワークをプライベート ネットワークとして LAN 通信を実現 9 プライベートネットワーク
Slide 10
Slide 10 text
10 なぜプライベートネットワークが必要か...
Slide 11
Slide 11 text
大規模なデータ移行をセキュアでロスの無い 安定したネットワークで実現するため 11 プライベートネットワークの必要性
Slide 12
Slide 12 text
12
Slide 13
Slide 13 text
13
Slide 14
Slide 14 text
14
Slide 15
Slide 15 text
VPC とインターネット経由の Site-to-Site VPN で オンプレミスと接続 15
Slide 16
Slide 16 text
● 通信品質 ○ Site-to-Site VPN はインターネット経由の通信の ため通信品質が保証されない ○ AWS 側の頻繁な通信影響を伴うメンテナンス ● 設定やネットワーク構成の複雑化 ○ VPC と 1:1 でオンプレミス側も VPN 設定を追加 する必要がある 16
Slide 17
Slide 17 text
17 ネットワークグループが提供したい プライベートネットワーク
Slide 18
Slide 18 text
● 広帯域で安定した通信品質 ○ 大規模かつミッションクリティカルな用途 ● スケーラブル ○ VPC の急速な利用拡大に追従 18
Slide 19
Slide 19 text
19
Slide 20
Slide 20 text
● AWS の専用線接続サービス ● オンプレミスデータセンタと AWS 間を接続 ○ 10Gbps x 2 本 Direct Connect Connections 20
Slide 21
Slide 21 text
21 ● 広帯域で安定した通信品質 ○ 大規模かつミッションクリティカルな用途 ■ AWS Direct Connect の導入 ● 10Gbps x 2 本の専用線接続 ● スケーラブル ○ VPC の急速な利用拡大に追従
Slide 22
Slide 22 text
● Virtual Private Interface x Virtual Private Gateway 構成 22
Slide 23
Slide 23 text
23 2019/9 Direct Connect Gateway が Transit Gateway をサポート
Slide 24
Slide 24 text
● VPC 間をハブアンドスポーク型で接続すること が可能なマネージドルータサービス ● Direct Connect Gateway へのアタッチが可能 ○ Direct Connect 経由で Transit Gateway を 利用可能 24
Slide 25
Slide 25 text
● VPC 間の通信には 1:1 の VPC Peering が必要 ● 多量の VPC を利用する DeNA 環境ではフルメッ シュ構成は実現不可能 25
Slide 26
Slide 26 text
● Transit Gateway を中心としたハブアンドス ポーク型の構成になる ● 非常にシンプルかつスケーラブル 26
Slide 27
Slide 27 text
27 ● 広帯域で安定した通信品質 ○ 大規模かつミッションクリティカルな用途 ■ AWS Direct Connect の導入 ● 10Gbps x 2 本の専用線接続 ● スケーラブル ○ VPC の急速な利用拡大に追従 ■ AWS Transit Gateway の導入 ● ハブアンドスポーク型の構成
Slide 28
Slide 28 text
28
Slide 29
Slide 29 text
29
Slide 30
Slide 30 text
● Transit Gateway に接続した VPC 宛ての経路を Transit Gateway の Route Table に自動追加す る機能 ● デフォルトで有効化 30
Slide 31
Slide 31 text
31
Slide 32
Slide 32 text
32
Slide 33
Slide 33 text
33
Slide 34
Slide 34 text
34
Slide 35
Slide 35 text
● 管理アカウントで作成した共通の Security Group を利用アカウントに対して適用するサービ ス 35
Slide 36
Slide 36 text
36
Slide 37
Slide 37 text
37
Slide 38
Slide 38 text
38
Slide 39
Slide 39 text
39 VPC とインターネット経由の Site-to-Site VPN で オンプレミスと接続
Slide 40
Slide 40 text
● 通信品質 ○ Site-to-Site VPN はインターネット経由の通 信のため通信品質が保証されない ● 設定やネットワーク構成の複雑化 ○ VPC と 1:1 でオンプレミス側も VPN 設定を追加 する必要がある 40
Slide 41
Slide 41 text
● 広帯域で安定した通信品質 ○ 大規模かつミッションクリティカルな用途 ● スケーラブル ○ VPC の急速な利用拡大に追従 41
Slide 42
Slide 42 text
42
Slide 43
Slide 43 text
● VPC 内の Subnet を異なるプロジェクトで利用す ることができる 43
Slide 44
Slide 44 text
● 管理者は VPC や Firewall Rule, Cloud VPN を一 元管理できる ● 利用者は管理された VPC 内で GCE や GKE を利 用できる 44
Slide 45
Slide 45 text
45 ● 広帯域で安定した通信品質 ○ 大規模かつミッションクリティカルな用途 ● スケーラブル ○ VPC の急速な利用拡大に追従 ■ Shared VPC の導入 ● VPC, Firewall Rule, Cloud VPN などの VPC 関連リソースを一元管理
Slide 46
Slide 46 text
46
Slide 47
Slide 47 text
47
Slide 48
Slide 48 text
● Shared VPC 環境においては Firewall Rule は一 元管理できる ● 一方で Firewall Rule は 1 箇所になるため、利用 者にその変更権限を付与すると全ての Firewall Rule を変更できてしまう ● 結果的に変更権限が管理者に依存する 48
Slide 49
Slide 49 text
49 ● ほぼ全てのリソースを Terraform コード化 ● Terraform コードを Github リポジトリで管理 ● Subnet に紐付く Firewall Rule を git submodule 化 ● Submodule リポジトリの権限を利用者に付与
Slide 50
Slide 50 text
50 ● Terraform + Github + git submodule を用いて擬似 的に権限分離を実現
Slide 51
Slide 51 text
51
Slide 52
Slide 52 text
● 急速なクラウド利用拡大に追従する ○ AWS: Transit Gateway ○ GCP: Shared VPC ● スケーラブルかつ低運用コストで管理できる構成を採 択 52
Slide 53
Slide 53 text
53