Slide 1

Slide 1 text

谷崎 貴章

Slide 2

Slide 2 text

(Tanizaki Takaaki) 所属 ● システム本部 IT統括部 IT基盤部 ネットワークグループ 経歴 ● 2016 年 DeNA に中途入社 ネットワークグループの業務 ● データセンタ/クラウドネットワーク ● 本社/拠点オフィスネットワーク ● CDN (Content Delivery Network) 2

Slide 3

Slide 3 text

● 背景 ● オンプレミスと AWS のネットワーク接続 ● オンプレミスと GCP のネットワーク接続 ● まとめ 3

Slide 4

Slide 4 text

2018年6月、DeNA のほぼ全てのサービスを運用し てきたオンプレミスデータセンタを捨て、パブリッ ククラウドに移行する全社方針が決定 4

Slide 5

Slide 5 text

5

Slide 6

Slide 6 text

データセンタや本社オフィスなどのオンプレミスと パブリッククラウド間のプライベートネットワーク 環境の提供 6

Slide 7

Slide 7 text

プライベートネットワークとは ● インターネットから隔離されたネットワーク ● プライベート IP アドレスを用いた LAN 通信 ● 例えば、自宅やオフィス内、データセンタ内の ネットワーク 7

Slide 8

Slide 8 text

8 ネットワークグループが提供する プライベートネットワークは...

Slide 9

Slide 9 text

ヒカリエ本社や拠点オフィス、データセンタ、 AWS、GCP などの全ネットワークをプライベート ネットワークとして LAN 通信を実現 9 プライベートネットワーク

Slide 10

Slide 10 text

10 なぜプライベートネットワークが必要か...

Slide 11

Slide 11 text

大規模なデータ移行をセキュアでロスの無い 安定したネットワークで実現するため 11 プライベートネットワークの必要性

Slide 12

Slide 12 text

12

Slide 13

Slide 13 text

13

Slide 14

Slide 14 text

14

Slide 15

Slide 15 text

VPC とインターネット経由の Site-to-Site VPN で オンプレミスと接続 15

Slide 16

Slide 16 text

● 通信品質 ○ Site-to-Site VPN はインターネット経由の通信の ため通信品質が保証されない ○ AWS 側の頻繁な通信影響を伴うメンテナンス ● 設定やネットワーク構成の複雑化 ○ VPC と 1:1 でオンプレミス側も VPN 設定を追加 する必要がある 16

Slide 17

Slide 17 text

17 ネットワークグループが提供したい プライベートネットワーク

Slide 18

Slide 18 text

● 広帯域で安定した通信品質 ○ 大規模かつミッションクリティカルな用途 ● スケーラブル ○ VPC の急速な利用拡大に追従 18

Slide 19

Slide 19 text

19

Slide 20

Slide 20 text

● AWS の専用線接続サービス ● オンプレミスデータセンタと AWS 間を接続 ○ 10Gbps x 2 本 Direct Connect Connections 20

Slide 21

Slide 21 text

21 ● 広帯域で安定した通信品質 ○ 大規模かつミッションクリティカルな用途 ■ AWS Direct Connect の導入 ● 10Gbps x 2 本の専用線接続 ● スケーラブル ○ VPC の急速な利用拡大に追従

Slide 22

Slide 22 text

● Virtual Private Interface x Virtual Private Gateway 構成 22

Slide 23

Slide 23 text

23 2019/9 Direct Connect Gateway が Transit Gateway をサポート

Slide 24

Slide 24 text

● VPC 間をハブアンドスポーク型で接続すること が可能なマネージドルータサービス ● Direct Connect Gateway へのアタッチが可能 ○ Direct Connect 経由で Transit Gateway を 利用可能 24

Slide 25

Slide 25 text

● VPC 間の通信には 1:1 の VPC Peering が必要 ● 多量の VPC を利用する DeNA 環境ではフルメッ シュ構成は実現不可能 25

Slide 26

Slide 26 text

● Transit Gateway を中心としたハブアンドス ポーク型の構成になる ● 非常にシンプルかつスケーラブル 26

Slide 27

Slide 27 text

27 ● 広帯域で安定した通信品質 ○ 大規模かつミッションクリティカルな用途 ■ AWS Direct Connect の導入 ● 10Gbps x 2 本の専用線接続 ● スケーラブル ○ VPC の急速な利用拡大に追従 ■ AWS Transit Gateway の導入 ● ハブアンドスポーク型の構成

Slide 28

Slide 28 text

28

Slide 29

Slide 29 text

29

Slide 30

Slide 30 text

● Transit Gateway に接続した VPC 宛ての経路を Transit Gateway の Route Table に自動追加す る機能 ● デフォルトで有効化 30

Slide 31

Slide 31 text

31

Slide 32

Slide 32 text

32

Slide 33

Slide 33 text

33

Slide 34

Slide 34 text

34

Slide 35

Slide 35 text

● 管理アカウントで作成した共通の Security Group を利用アカウントに対して適用するサービ ス 35

Slide 36

Slide 36 text

36

Slide 37

Slide 37 text

37

Slide 38

Slide 38 text

38

Slide 39

Slide 39 text

39 VPC とインターネット経由の Site-to-Site VPN で オンプレミスと接続

Slide 40

Slide 40 text

● 通信品質 ○ Site-to-Site VPN はインターネット経由の通 信のため通信品質が保証されない ● 設定やネットワーク構成の複雑化 ○ VPC と 1:1 でオンプレミス側も VPN 設定を追加 する必要がある 40

Slide 41

Slide 41 text

● 広帯域で安定した通信品質 ○ 大規模かつミッションクリティカルな用途 ● スケーラブル ○ VPC の急速な利用拡大に追従 41

Slide 42

Slide 42 text

42

Slide 43

Slide 43 text

● VPC 内の Subnet を異なるプロジェクトで利用す ることができる 43

Slide 44

Slide 44 text

● 管理者は VPC や Firewall Rule, Cloud VPN を一 元管理できる ● 利用者は管理された VPC 内で GCE や GKE を利 用できる 44

Slide 45

Slide 45 text

45 ● 広帯域で安定した通信品質 ○ 大規模かつミッションクリティカルな用途 ● スケーラブル ○ VPC の急速な利用拡大に追従 ■ Shared VPC の導入 ● VPC, Firewall Rule, Cloud VPN などの VPC 関連リソースを一元管理

Slide 46

Slide 46 text

46

Slide 47

Slide 47 text

47

Slide 48

Slide 48 text

● Shared VPC 環境においては Firewall Rule は一 元管理できる ● 一方で Firewall Rule は 1 箇所になるため、利用 者にその変更権限を付与すると全ての Firewall Rule を変更できてしまう ● 結果的に変更権限が管理者に依存する 48

Slide 49

Slide 49 text

49 ● ほぼ全てのリソースを Terraform コード化 ● Terraform コードを Github リポジトリで管理 ● Subnet に紐付く Firewall Rule を git submodule 化 ● Submodule リポジトリの権限を利用者に付与

Slide 50

Slide 50 text

50 ● Terraform + Github + git submodule を用いて擬似 的に権限分離を実現

Slide 51

Slide 51 text

51

Slide 52

Slide 52 text

● 急速なクラウド利用拡大に追従する ○ AWS: Transit Gateway ○ GCP: Shared VPC ● スケーラブルかつ低運用コストで管理できる構成を採 択 52

Slide 53

Slide 53 text

53