Azure Databricks Learning Series #3 - Network Design

Slide 1

Slide 1 text

Azure Databricks Learning Series ~ #3: ネットワーク設計 ~

Slide 44

Slide 44 text

[Note] VNet インジェクション時のアドレス空間 • 同時に利用しうる最大のノード数を想定し、十分な大きさのアドレス空間を割り当てることを推奨 • ADB の利用が組織内で活発化すると、1,000 台以上のノードが同時に稼働することが珍しくないため、ホスト & コンテナーサブネットにそれぞれ /22 (1,024 IP) を割り当てても決して大きすぎるということはない 2. データプレーンの閉域構成サブネットのサイズ (CIDR) サブネットあたりの IP アドレス数 ADB が利用できる IP アドレス数 /17 32,768 32,763 /18 16,384 16,379 /19 8,192 8,187 /20 4,096 4,091 /21 2,048 2,043 /22 1,024 1,019 /23 512 507 /24 256 251 /25 128 123 /26 64 59 種別最大サイズ最小サイズ VNet /16 /24 サブネット /17 /26 指定可能なアドレス空間のサイズ (CIDR) サブネットのサイズごとの IP アドレス数の早見表同時に利用する最大ノード数の例 Data Engineering 5 ノード構成のクラスター Databricks SQL 10 ノード構成の SQL ウェアハウス • 通常時：1 クラスターで 1 時間分の入力データを毎時処理 • ピーク時：ロジック変更があった場合に過去 72 時間分のデータをなるべく素早く再処理できる必要がある • 通常時：5 つの分析チームが 5 つの SQL ウェアハウスを利用 • ピーク時：業務繁忙期には最大 30 の SQL ウェアハウスを同時に利用する可能性があるつまりピーク時は 5 ノード × 72 クラスター = 360 ノードが必要つまりピーク時は 10 ノード × 30 ウェアハウス = 300 ノードが必要計 660 ノードをカバーできるサブネットサイズとして /22 を設定 (加えて、ピーク時を見据えて VM のクォータ制限の引き上げも行っておくのが望ましい)

Slide 47

Slide 47 text

[Note] データプレーンとコントロールプレーンの通信経路 ADB マネージドの VNet コンテナーサブネットホストサブネット NIC パブリック IP Microsoft バックボーンネットワーク ADB コントロールプレーンクラスター用 VM NIC ① 既定の構成 (非 NPIP & 非 VNet インジェクション) ② セキュリティで保護されたクラスター (NPIP) ③ NPIP + VNet インジェクション • NSG 受信セキュリティ規則にコントロールプレーンのパブリック IP からの一部の通信を許可する規則が自動的に設定される • クラスター用 VM がパブリック IP を持つ • データプレーンとコントロールプレーン間の通信にはパブリック IP を用いるが MS バックボーンを通る ④ NPIP + VNet インジェクション + バックエンド Private Link ADB マネージドの VNet コンテナーサブネット Microsoft バックボーンネットワーク ADB コントロールプレーン • セキュアクラスター接続リレーを介した方式になるためコントロールプレーンからの通信を NSG 受信セキュリティ規則で許可する必要がない • クラスター用 VM がパブリック IP を持たない • NAT GW が自動的にデプロイされる • データプレーンからリレーへの通信は NAT GW を経由するホストサブネット NAT ゲートウェイセキュアクラスター接続リレーユーザー管理の VNet コンテナーサブネット Microsoft バックボーンネットワーク • セキュアクラスター接続リレーを介した方式になるためコントロールプレーンからの通信を NSG 受信セキュリティ規則で許可する必要がない • クラスター用 VM がパブリック IP を持たない • データプレーンから接続リレーへの通信は Private Link を通る • インターネットアウトバウンド通信に Azure 既定の SNAT を利用、頻繁に通信する場合は LB やNAT GW、Azure Firewall などの利用を推奨ホストサブネットユーザー管理の VNet コンテナーサブネット Microsoft バックボーンネットワーク • セキュアクラスター接続リレーを介した方式になるためコントロールプレーンからの通信を NSG 受信セキュリティ規則で許可する必要がない • クラスター用 VM がパブリック IP を持たない • データプレーンから接続リレーへの通信を含むクラスター外部への通信の際、Azure 既定の SNAT が使われる • 代わりに LB やNAT GW、 Azure Firewall をデプロイして利用することも可能ホストサブネット Azure 既定の SNAT NSG コントロールプレーンのパブリック IP からデータプレーンへの 22 番、5557 番ポートへの通信を許可する受信規則が自動設定パブリック IP からの受信規則なしパブリック IP からの受信規則なしパブリック IP からの受信規則なしバックエンド用プライベートエンドポイントプライベート IP 通信パブリック IP 通信リソース間の関連 2. データプレーンの閉域構成 ADB コントロールプレーンセキュアクラスター接続リレー ADB コントロールプレーンセキュアクラスター接続リレー

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Slide 32

Slide 32 text

Slide 33

Slide 33 text

Slide 34

Slide 34 text

Slide 35

Slide 35 text

Slide 36

Slide 36 text

Slide 37

Slide 37 text

Slide 38

Slide 38 text

Slide 39

Slide 39 text

Slide 40

Slide 40 text