Upgrade to Pro — share decks privately, control downloads, hide ads and more …

tanzu_avi

vkbaba
March 24, 2021

 tanzu_avi

vkbaba

March 24, 2021
Tweet

More Decks by vkbaba

Other Decks in Technology

Transcript

  1. Confidential │ ©2021 VMware, Inc.
    vSphere with Tanzu +
    NSX Advanced Load
    Balancer のご紹介
    Kota Baba

    View Slide

  2. Confidential │ ©2021 VMware, Inc. 2
    自己紹介
    馬場 浩太(ばば こうた)
    • VMware で好きな製品
    ESXi, vSAN, vSphere with Tanzu
    • 趣味でブログやってます。
    https://blog.vpantry.net/
    パートナーソリューションアーキテクトとして、
    VMware パートナー様を技術的にご支援しております。
    https://vexpert.vmware.com/directory/6322

    View Slide

  3. Confidential │ ©2021 VMware, Inc. 3
    https://blogs.vmware.com/vsphere/2021/03/announcing-vsphere-7-update-2-release.html
    【祝】vSphere7.0U2 がリリースされました
    本セッションでは、vSphere with Tanzu で NSX Advanced Load Balancer の
    ご利用を始めていただくためにポイントとなる情報をご紹介します。

    View Slide

  4. Confidential │ ©2021 VMware, Inc. 4
    TKG (VMware の
    Kubernetes ディストリ
    ビューション)の種類
    NSX 有無 LB for Mgmt plane LB for pods
    TKGS
    (Tanzu Kubernetes Grid
    Service , vSphere with
    Tanzu の機能で払い出さ
    れるTKG)
    あり NSX-T Edge NSX-T Edge
    なし HAProxy HAProxy
    なし NSX Advanced Load Balancer NSX Advanced Load Balancer
    TKGm
    (Tanzu Kubernetes Grid
    multi-cloud, スタンドア
    ロン展開されるTKG)
    N/A kube-vip BYO
    2021/03/18 時点
    要するに選択肢が増えました

    View Slide

  5. Confidential │ ©2021 VMware, Inc. 5
    NSX Advanced Load Balancer
    Control Plane へのアクセスの
    ためのLB とTanzu
    Kubernetes Cluster での
    LoadBalancer リソースを提供
    高可用性と高いスケーラビリ
    ティ
    Tanzu Basic に含まれる
    vSphere with Tanzu に統合されたロードバランサー

    View Slide

  6. Confidential │ ©2021 VMware, Inc. 6
    コンポーネント
    1. Avi Controller
    2. Service Engine
    3. Avi Kubernetes Operator
    (AKO)
    4. Supervisor Control Plane
    VMs (SC VMs)
    5. TKGS Cluster
    (Master/Worker Nodes)
    NSX ALB
    Controller1
    AVI SE
    VIP Network
    NSX ALB
    Controller2
    NSX ALB
    Controller3
    TKGS
    Master
    1
    TKGS
    Master
    2
    TKGS
    Master
    3
    TKGS
    Worker
    1
    TKGS
    Worker
    3
    TKGS
    Worker
    2
    SC
    VM 1
    SC
    VM 2
    SC
    VM 3
    Management Network
    Workload Network
    1 2
    3
    AKO
    4
    5

    View Slide

  7. Confidential │ ©2021 VMware, Inc. 7
    ネットワーク構成
    ポイント:
    • Service Engine は
    Management NW へのイン
    ターフェスを持つ
    • Service Engine はVDS 必須
    • Controller はVSS でもよい
    • Service Engine はWorkload
    NW とルーティング可能であ
    る必要がある
    • VIP NW とManagement NW
    はルーティング可能である必要
    はない(たぶん)
    NSX ALB
    Controller1
    AVI SE
    VIP Network
    NSX ALB
    Controller2
    NSX ALB
    Controller3
    TKGS
    Master
    1
    TKGS
    Master
    2
    TKGS
    Master
    3
    TKGS
    Worker
    1
    TKGS
    Worker
    3
    TKGS
    Worker
    2
    SC
    VM 1
    SC
    VM 2
    SC
    VM 3
    Management Network
    Workload Network

    View Slide

  8. Confidential │ ©2021 VMware, Inc. 8
    インストール要件
    Avi Controller が8 vCPU, 24GB
    Memory 必要なことに注意
    3/19 現在vSphere with Tanzu ド
    キュメントにインストール要件は
    明記されていないが、その他は
    HAProxy 構成時の要件と同じと思
    われる
    Service Engine がデプロイできる
    よう余裕は持たせる
    • デフォルト1vCPU 2GB Mem
    #Nested で組む場合Controller
    は外に出してもデプロイできるら
    しい
    https://avinetworks.com/docs/latest/avi-controller-sizing/
    https://docs.vmware.com/en/VMware-vSphere/7.0/vmware-vsphere-with-tanzu/GUID-
    C86B9028-2701-40FE-BA05-519486E010F4.html

    View Slide

  9. Confidential │ ©2021 VMware, Inc. 9
    構築の流れ
    大まかな流れ:
    1. Avi のOVF のデプロイ
    2. Avi Controller の設定
    3. vCenter 側からTanzu の有
    効化
    ドキュメントのほかに、下記が
    参考になります。
    • https://blogs.vmware.com/
    vmware-
    japan/2021/03/vsphere-
    with-tanzu-7-0u2-nsx-alb-
    loadbalancer.html
    • https://www.youtube.com/
    watch?v=7FKkCb8OqaY

    2
    3

    View Slide

  10. Confidential │ ©2021 VMware, Inc. 10
    ハマりやすいポイント その1
    Avi Controller 側で作成した証明書の
    Common Name と一致するようにする
    (IP で入力したらIP、FQDN で入力したら
    FQDN)
    ako がController と通信できずconfigmap を
    アタッチできないことで立ち上がらない

    View Slide

  11. Confidential │ ©2021 VMware, Inc. 11
    ハマりやすいポイント その2
    VIP のIP Pool に加えてManagement NW 用
    のIP Pool も作成しておく
    もしくは登録したCloud(Default-Cloud, ここ
    ではvCenter のこと) から直接編集
    Service Engine が立ち上がるがIP が振られな
    い場合に疑う

    View Slide

  12. Confidential │ ©2021 VMware, Inc. 12
    トラブルシューティング
    Avi 側の問題はAvi Controller
    UI から基本的にトラシュを進
    める
    • Service Engine にエラーが出
    ていないか、など
    UI からは操作ができない場合
    にCLI を利用
    • 例えば消せないプールが発生し
    た場合に関連付けられている
    L4Policyset を削除、など
    Controller にSSH で接続し、
    admin アカウントでログイン
    後shell と入力しAvi 固有のコ
    マンドを実行

    View Slide

  13. Confidential │ ©2021 VMware, Inc. 13
    DEMO

    View Slide

  14. Confidential │ ©2021 VMware, Inc. 14
    • 7.0U2 のTKGS において、Ingress Controller はデフォルトでインストールされず、AKO を
    使う場合はL4 を除いたL7 の部分だけをTKGS 側にHelm でインストールします
    ⁃ https://github.com/vmware/load-balancer-and-ingress-services-for-kubernetes/pull/297
    ⁃ https://github.com/avinetworks/avi-helm-charts/blob/master/docs/AKO/install/helm.md
    ⁃ バージョンがちょくちょく変わっているので要注意
    ⁃ 参考までにHelm のvalues.yaml を置いておきます:
    https://github.com/vkbaba/ako-ingress-for-tanzu/blob/main/values.yaml
    • DNS Virtual Service と併用すると自動的に名前解決してくれていい感じ
    ⁃ https://avinetworks.com/docs/20.1/avi-dns-architecture/
    • Tanzu Advanced Edition 以上が使用条件ですが、検証だけであればvSphere クラスタ側は
    Tanzu Basic だけでも動きました
    補足:Ingress について

    View Slide

  15. Confidential │ ©2021 VMware, Inc. 15
    • HAProxy と比較して、NSX Advanced Load Balancer は高機能で、かつ冗長化できるのが
    嬉しいです。
    ⁃ HAProxy の場合は単一障害点が悩みでした。
    ⁃ とはいえリソースの消費はHAProxy と比較して大きいため、メリットデメリットあります。
    ⁃ 手っ取り早くLB を試したいのならHAProxy、そうでなければNSX Advanced Load Balancer がオス
    スメ
    • NSX Advanced Load Balancer、高機能がゆえにキャッチアップが中々大変
    ⁃ 色々な部分が可視化されるのが単純に面白いです。
    ⁃ 柔軟に設定可能なので、まずは遊びながら覚えていくといいかも。
    所感

    View Slide

  16. Confidential │ ©2021 VMware, Inc. 16
    • ドキュメント
    ⁃ https://docs.vmware.com/en/VMware-vSphere/7.0/vmware-vsphere-with-tanzu/GUID-
    AC9A7044-6117-46BC-9950-5367813CD5C1.html
    ⁃ https://docs.vmware.com/en/VMware-Tanzu/services/tanzu-adv-deploy-config/GUID-avi-
    ako-tkg.html
    ⁃ https://avinetworks.com/docs/20.1/
    • AKO github
    ⁃ https://github.com/vmware/load-balancer-and-ingress-services-for-kubernetes
    参考情報

    View Slide

  17. Confidential │ ©2021 VMware, Inc.
    Thank You

    View Slide