tanzu_avi

Transcript

1. Confidential │ ©2021 VMware, Inc.
   vSphere with Tanzu +
   NSX Advanced Load
   Balancer のご紹介
   Kota Baba
   

   View Slide

2. Confidential │ ©2021 VMware, Inc. 2
   自己紹介
   馬場 浩太（ばば こうた）
   • VMware で好きな製品
   ESXi, vSAN, vSphere with Tanzu
   • 趣味でブログやってます。
   https://blog.vpantry.net/
   パートナーソリューションアーキテクトとして、
   VMware パートナー様を技術的にご支援しております。
   https://vexpert.vmware.com/directory/6322
   

   View Slide

3. Confidential │ ©2021 VMware, Inc. 3
   https://blogs.vmware.com/vsphere/2021/03/announcing-vsphere-7-update-2-release.html
   【祝】vSphere7.0U2 がリリースされました
   本セッションでは、vSphere with Tanzu で NSX Advanced Load Balancer の
   ご利用を始めていただくためにポイントとなる情報をご紹介します。
   

   View Slide

4. Confidential │ ©2021 VMware, Inc. 4
   TKG (VMware の
   Kubernetes ディストリ
   ビューション)の種類
   NSX 有無 LB for Mgmt plane LB for pods
   TKGS
   (Tanzu Kubernetes Grid
   Service , vSphere with
   Tanzu の機能で払い出さ
   れるTKG）
   あり NSX-T Edge NSX-T Edge
   なし HAProxy HAProxy
   なし NSX Advanced Load Balancer NSX Advanced Load Balancer
   TKGm
   (Tanzu Kubernetes Grid
   multi-cloud, スタンドア
   ロン展開されるTKG)
   N/A kube-vip BYO
   2021/03/18 時点
   要するに選択肢が増えました
   

   View Slide

5. Confidential │ ©2021 VMware, Inc. 5
   NSX Advanced Load Balancer
   Control Plane へのアクセスの
   ためのLB とTanzu
   Kubernetes Cluster での
   LoadBalancer リソースを提供
   高可用性と高いスケーラビリ
   ティ
   Tanzu Basic に含まれる
   vSphere with Tanzu に統合されたロードバランサー
   

   View Slide

6. Confidential │ ©2021 VMware, Inc. 6
   コンポーネント
   1. Avi Controller
   2. Service Engine
   3. Avi Kubernetes Operator
   (AKO)
   4. Supervisor Control Plane
   VMs (SC VMs)
   5. TKGS Cluster
   (Master/Worker Nodes)
   NSX ALB
   Controller1
   AVI SE
   VIP Network
   NSX ALB
   Controller2
   NSX ALB
   Controller3
   TKGS
   Master
   1
   TKGS
   Master
   2
   TKGS
   Master
   3
   TKGS
   Worker
   1
   TKGS
   Worker
   3
   TKGS
   Worker
   2
   SC
   VM 1
   SC
   VM 2
   SC
   VM 3
   Management Network
   Workload Network
   1 2
   3
   AKO
   4
   5
   

   View Slide

7. Confidential │ ©2021 VMware, Inc. 7
   ネットワーク構成
   ポイント：
   • Service Engine は
   Management NW へのイン
   ターフェスを持つ
   • Service Engine はVDS 必須
   • Controller はVSS でもよい
   • Service Engine はWorkload
   NW とルーティング可能であ
   る必要がある
   • VIP NW とManagement NW
   はルーティング可能である必要
   はない（たぶん）
   NSX ALB
   Controller1
   AVI SE
   VIP Network
   NSX ALB
   Controller2
   NSX ALB
   Controller3
   TKGS
   Master
   1
   TKGS
   Master
   2
   TKGS
   Master
   3
   TKGS
   Worker
   1
   TKGS
   Worker
   3
   TKGS
   Worker
   2
   SC
   VM 1
   SC
   VM 2
   SC
   VM 3
   Management Network
   Workload Network
   

   View Slide

8. Confidential │ ©2021 VMware, Inc. 8
   インストール要件
   Avi Controller が8 vCPU, 24GB
   Memory 必要なことに注意
   3/19 現在vSphere with Tanzu ド
   キュメントにインストール要件は
   明記されていないが、その他は
   HAProxy 構成時の要件と同じと思
   われる
   Service Engine がデプロイできる
   よう余裕は持たせる
   • デフォルト1vCPU 2GB Mem
   ＃Nested で組む場合Controller
   は外に出してもデプロイできるら
   しい
   https://avinetworks.com/docs/latest/avi-controller-sizing/
   https://docs.vmware.com/en/VMware-vSphere/7.0/vmware-vsphere-with-tanzu/GUID-
   C86B9028-2701-40FE-BA05-519486E010F4.html
   

   View Slide

9. Confidential │ ©2021 VMware, Inc. 9
   構築の流れ
   大まかな流れ：
   1. Avi のOVF のデプロイ
   2. Avi Controller の設定
   3. vCenter 側からTanzu の有
   効化
   ドキュメントのほかに、下記が
   参考になります。
   • https://blogs.vmware.com/
   vmware-
   japan/2021/03/vsphere-
   with-tanzu-7-0u2-nsx-alb-
   loadbalancer.html
   • https://www.youtube.com/
   watch?v=7FKkCb8OqaY
   １
   2
   3
   

   View Slide

10. Confidential │ ©2021 VMware, Inc. 10
    ハマりやすいポイント その1
    Avi Controller 側で作成した証明書の
    Common Name と一致するようにする
    (IP で入力したらIP、FQDN で入力したら
    FQDN)
    ako がController と通信できずconfigmap を
    アタッチできないことで立ち上がらない
    

    View Slide

11. Confidential │ ©2021 VMware, Inc. 11
    ハマりやすいポイント その2
    VIP のIP Pool に加えてManagement NW 用
    のIP Pool も作成しておく
    もしくは登録したCloud(Default-Cloud, ここ
    ではvCenter のこと) から直接編集
    Service Engine が立ち上がるがIP が振られな
    い場合に疑う
    

    View Slide

12. Confidential │ ©2021 VMware, Inc. 12
    トラブルシューティング
    Avi 側の問題はAvi Controller
    UI から基本的にトラシュを進
    める
    • Service Engine にエラーが出
    ていないか、など
    UI からは操作ができない場合
    にCLI を利用
    • 例えば消せないプールが発生し
    た場合に関連付けられている
    L4Policyset を削除、など
    Controller にSSH で接続し、
    admin アカウントでログイン
    後shell と入力しAvi 固有のコ
    マンドを実行
    

    View Slide

13. Confidential │ ©2021 VMware, Inc. 13
    DEMO
    

    View Slide

14. Confidential │ ©2021 VMware, Inc. 14
    • 7.0U2 のTKGS において、Ingress Controller はデフォルトでインストールされず、AKO を
    使う場合はL4 を除いたL7 の部分だけをTKGS 側にHelm でインストールします
    ⁃ https://github.com/vmware/load-balancer-and-ingress-services-for-kubernetes/pull/297
    ⁃ https://github.com/avinetworks/avi-helm-charts/blob/master/docs/AKO/install/helm.md
    ⁃ バージョンがちょくちょく変わっているので要注意
    ⁃ 参考までにHelm のvalues.yaml を置いておきます：
    https://github.com/vkbaba/ako-ingress-for-tanzu/blob/main/values.yaml
    • DNS Virtual Service と併用すると自動的に名前解決してくれていい感じ
    ⁃ https://avinetworks.com/docs/20.1/avi-dns-architecture/
    • Tanzu Advanced Edition 以上が使用条件ですが、検証だけであればvSphere クラスタ側は
    Tanzu Basic だけでも動きました
    補足：Ingress について
    

    View Slide

15. Confidential │ ©2021 VMware, Inc. 15
    • HAProxy と比較して、NSX Advanced Load Balancer は高機能で、かつ冗長化できるのが
    嬉しいです。
    ⁃ HAProxy の場合は単一障害点が悩みでした。
    ⁃ とはいえリソースの消費はHAProxy と比較して大きいため、メリットデメリットあります。
    ⁃ 手っ取り早くLB を試したいのならHAProxy、そうでなければNSX Advanced Load Balancer がオス
    スメ
    • NSX Advanced Load Balancer、高機能がゆえにキャッチアップが中々大変
    ⁃ 色々な部分が可視化されるのが単純に面白いです。
    ⁃ 柔軟に設定可能なので、まずは遊びながら覚えていくといいかも。
    所感
    

    View Slide

16. Confidential │ ©2021 VMware, Inc. 16
    • ドキュメント
    ⁃ https://docs.vmware.com/en/VMware-vSphere/7.0/vmware-vsphere-with-tanzu/GUID-
    AC9A7044-6117-46BC-9950-5367813CD5C1.html
    ⁃ https://docs.vmware.com/en/VMware-Tanzu/services/tanzu-adv-deploy-config/GUID-avi-
    ako-tkg.html
    ⁃ https://avinetworks.com/docs/20.1/
    • AKO github
    ⁃ https://github.com/vmware/load-balancer-and-ingress-services-for-kubernetes
    参考情報
    

    View Slide

17. Confidential │ ©2021 VMware, Inc.
    Thank You
    

    View Slide