Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Speaker Deck
PRO
Sign in
Sign up for free
tanzu_avi
vkbaba
March 24, 2021
Technology
0
370
tanzu_avi
vkbaba
March 24, 2021
Tweet
Share
More Decks by vkbaba
See All by vkbaba
TMC_Hands-on_Appendix_v2
vkbaba
0
11
educates
vkbaba
0
190
advenced-cross-vcenter-vmotion
vkbaba
0
1.2k
k8s_virtualcluster
vkbaba
0
960
Other Decks in Technology
See All in Technology
開発者のための GitHub Organization の安全な運用と 継続的なモニタリング
flatt_security
3
3.4k
AWSの基礎を学ぼうで学んだ9種類のDBを勝手にふりかえる
98lerr
2
720
ISUCON で使えるツールを作った
shotakitazawa
0
350
如何使用 Argo Event& Workflow 快速建置自定義的工作流程 @ #CNTUG #47
line_developers_tw
PRO
0
6.6k
モダンデータスタックとかの話(データエンジニアのお仕事とは)
foursue
0
350
OSINT/GEOINT ワークショップ 20220514 古橋資料
furuhashilab
2
280
完全に理解した incremetal 〜そして、何もわからないへ〜
mashiike
0
210
実験!カオスエンジニアリング / How to Chaos Engineering
oracle4engineer
PRO
0
140
Babylon.jsで3DViewerを作ってみた!!!
iwaken71
1
910
5分で完全理解するGoのiota
uji
3
2k
キャッチアップ Android 13 / Catch up Android 13
yanzm
2
1k
Research Paper Introduction #98 "NSDI 2022 recap"
cafenero_777
0
200
Featured
See All Featured
Designing for humans not robots
tammielis
241
23k
StorybookのUI Testing Handbookを読んだ
zakiyama
4
2k
4 Signs Your Business is Dying
shpigford
169
20k
Debugging Ruby Performance
tmm1
65
10k
Automating Front-end Workflow
addyosmani
1351
200k
Web Components: a chance to create the future
zenorocha
303
40k
Making Projects Easy
brettharned
98
4.3k
Rails Girls Zürich Keynote
gr2m
86
12k
How to train your dragon (web standard)
notwaldorf
57
3.8k
Six Lessons from altMBA
skipperchong
14
1.3k
Principles of Awesome APIs and How to Build Them.
keavy
113
15k
Building Your Own Lightsaber
phodgson
94
4.6k
Transcript
Confidential │ ©2021 VMware, Inc. vSphere with Tanzu + NSX
Advanced Load Balancer のご紹介 Kota Baba
Confidential │ ©2021 VMware, Inc. 2 自己紹介 馬場 浩太(ばば こうた)
• VMware で好きな製品 ESXi, vSAN, vSphere with Tanzu • 趣味でブログやってます。 https://blog.vpantry.net/ パートナーソリューションアーキテクトとして、 VMware パートナー様を技術的にご支援しております。 https://vexpert.vmware.com/directory/6322
Confidential │ ©2021 VMware, Inc. 3 https://blogs.vmware.com/vsphere/2021/03/announcing-vsphere-7-update-2-release.html 【祝】vSphere7.0U2 がリリースされました 本セッションでは、vSphere
with Tanzu で NSX Advanced Load Balancer の ご利用を始めていただくためにポイントとなる情報をご紹介します。
Confidential │ ©2021 VMware, Inc. 4 TKG (VMware の Kubernetes
ディストリ ビューション)の種類 NSX 有無 LB for Mgmt plane LB for pods TKGS (Tanzu Kubernetes Grid Service , vSphere with Tanzu の機能で払い出さ れるTKG) あり NSX-T Edge NSX-T Edge なし HAProxy HAProxy なし NSX Advanced Load Balancer NSX Advanced Load Balancer TKGm (Tanzu Kubernetes Grid multi-cloud, スタンドア ロン展開されるTKG) N/A kube-vip BYO 2021/03/18 時点 要するに選択肢が増えました
Confidential │ ©2021 VMware, Inc. 5 NSX Advanced Load Balancer
Control Plane へのアクセスの ためのLB とTanzu Kubernetes Cluster での LoadBalancer リソースを提供 高可用性と高いスケーラビリ ティ Tanzu Basic に含まれる vSphere with Tanzu に統合されたロードバランサー
Confidential │ ©2021 VMware, Inc. 6 コンポーネント 1. Avi Controller
2. Service Engine 3. Avi Kubernetes Operator (AKO) 4. Supervisor Control Plane VMs (SC VMs) 5. TKGS Cluster (Master/Worker Nodes) NSX ALB Controller1 AVI SE VIP Network NSX ALB Controller2 NSX ALB Controller3 TKGS Master 1 TKGS Master 2 TKGS Master 3 TKGS Worker 1 TKGS Worker 3 TKGS Worker 2 SC VM 1 SC VM 2 SC VM 3 Management Network Workload Network 1 2 3 AKO 4 5
Confidential │ ©2021 VMware, Inc. 7 ネットワーク構成 ポイント: • Service
Engine は Management NW へのイン ターフェスを持つ • Service Engine はVDS 必須 • Controller はVSS でもよい • Service Engine はWorkload NW とルーティング可能であ る必要がある • VIP NW とManagement NW はルーティング可能である必要 はない(たぶん) NSX ALB Controller1 AVI SE VIP Network NSX ALB Controller2 NSX ALB Controller3 TKGS Master 1 TKGS Master 2 TKGS Master 3 TKGS Worker 1 TKGS Worker 3 TKGS Worker 2 SC VM 1 SC VM 2 SC VM 3 Management Network Workload Network
Confidential │ ©2021 VMware, Inc. 8 インストール要件 Avi Controller が8
vCPU, 24GB Memory 必要なことに注意 3/19 現在vSphere with Tanzu ド キュメントにインストール要件は 明記されていないが、その他は HAProxy 構成時の要件と同じと思 われる Service Engine がデプロイできる よう余裕は持たせる • デフォルト1vCPU 2GB Mem #Nested で組む場合Controller は外に出してもデプロイできるら しい https://avinetworks.com/docs/latest/avi-controller-sizing/ https://docs.vmware.com/en/VMware-vSphere/7.0/vmware-vsphere-with-tanzu/GUID- C86B9028-2701-40FE-BA05-519486E010F4.html
Confidential │ ©2021 VMware, Inc. 9 構築の流れ 大まかな流れ: 1. Avi
のOVF のデプロイ 2. Avi Controller の設定 3. vCenter 側からTanzu の有 効化 ドキュメントのほかに、下記が 参考になります。 • https://blogs.vmware.com/ vmware- japan/2021/03/vsphere- with-tanzu-7-0u2-nsx-alb- loadbalancer.html • https://www.youtube.com/ watch?v=7FKkCb8OqaY 1 2 3
Confidential │ ©2021 VMware, Inc. 10 ハマりやすいポイント その1 Avi Controller
側で作成した証明書の Common Name と一致するようにする (IP で入力したらIP、FQDN で入力したら FQDN) ako がController と通信できずconfigmap を アタッチできないことで立ち上がらない
Confidential │ ©2021 VMware, Inc. 11 ハマりやすいポイント その2 VIP のIP
Pool に加えてManagement NW 用 のIP Pool も作成しておく もしくは登録したCloud(Default-Cloud, ここ ではvCenter のこと) から直接編集 Service Engine が立ち上がるがIP が振られな い場合に疑う
Confidential │ ©2021 VMware, Inc. 12 トラブルシューティング Avi 側の問題はAvi Controller
UI から基本的にトラシュを進 める • Service Engine にエラーが出 ていないか、など UI からは操作ができない場合 にCLI を利用 • 例えば消せないプールが発生し た場合に関連付けられている L4Policyset を削除、など Controller にSSH で接続し、 admin アカウントでログイン 後shell と入力しAvi 固有のコ マンドを実行
Confidential │ ©2021 VMware, Inc. 13 DEMO
Confidential │ ©2021 VMware, Inc. 14 • 7.0U2 のTKGS において、Ingress
Controller はデフォルトでインストールされず、AKO を 使う場合はL4 を除いたL7 の部分だけをTKGS 側にHelm でインストールします ⁃ https://github.com/vmware/load-balancer-and-ingress-services-for-kubernetes/pull/297 ⁃ https://github.com/avinetworks/avi-helm-charts/blob/master/docs/AKO/install/helm.md ⁃ バージョンがちょくちょく変わっているので要注意 ⁃ 参考までにHelm のvalues.yaml を置いておきます: https://github.com/vkbaba/ako-ingress-for-tanzu/blob/main/values.yaml • DNS Virtual Service と併用すると自動的に名前解決してくれていい感じ ⁃ https://avinetworks.com/docs/20.1/avi-dns-architecture/ • Tanzu Advanced Edition 以上が使用条件ですが、検証だけであればvSphere クラスタ側は Tanzu Basic だけでも動きました 補足:Ingress について
Confidential │ ©2021 VMware, Inc. 15 • HAProxy と比較して、NSX Advanced
Load Balancer は高機能で、かつ冗長化できるのが 嬉しいです。 ⁃ HAProxy の場合は単一障害点が悩みでした。 ⁃ とはいえリソースの消費はHAProxy と比較して大きいため、メリットデメリットあります。 ⁃ 手っ取り早くLB を試したいのならHAProxy、そうでなければNSX Advanced Load Balancer がオス スメ • NSX Advanced Load Balancer、高機能がゆえにキャッチアップが中々大変 ⁃ 色々な部分が可視化されるのが単純に面白いです。 ⁃ 柔軟に設定可能なので、まずは遊びながら覚えていくといいかも。 所感
Confidential │ ©2021 VMware, Inc. 16 • ドキュメント ⁃ https://docs.vmware.com/en/VMware-vSphere/7.0/vmware-vsphere-with-tanzu/GUID-
AC9A7044-6117-46BC-9950-5367813CD5C1.html ⁃ https://docs.vmware.com/en/VMware-Tanzu/services/tanzu-adv-deploy-config/GUID-avi- ako-tkg.html ⁃ https://avinetworks.com/docs/20.1/ • AKO github ⁃ https://github.com/vmware/load-balancer-and-ingress-services-for-kubernetes 参考情報
Confidential │ ©2021 VMware, Inc. Thank You