Unleashing the Power of Azure VMware Solution Phil Huang Senior Cloud Solution Architect 2022/12/22 VMware User Group

No content

No content

黃秉鈞 Phil Huang 講師介紹 • 現任 Microsoft Senior Cloud Solution Architect • 曾任 VMware / Red Hat 解決方案架構師 • Cloud Native Taiwan User Group 社群志工 • blog.pichuang.com.tw • www.youtube.com/@pichuang-tw

High Level Architecture Azure VMware Solution

Azure VMware Solution 原生運作於 Azure Data Center 內 留給露臉講師 3rd-party solutions Azure Services Azure Active Directory Azure Security Azure SQL Database Azure Monitor Azure Arc Artificial Intelligence VMware vSphere Storage Network On-Premises Datacenter vCenter Azure Portal and Azure Resource Manager Azure Backbone Network Azure VMware Solution vSphere ESXi vSAN NSX vCenter 3rd-party solutions • AVS is comprehensive VMware environment on Azure infrastructure. • Run VMware workloads natively as an Azure service. • Manage and secure applications across VMware environments and Microsoft Azure. ESXi ExpressRoute 地端 VMware 既有設定、 選擇遷移和擴展方式 Azure 網路連線選擇

Azure VMware Solution 供裝於 Azure 特定硬體資源上 Azure VMware Solution 會放置於專用硬體伺服器上運作 Azure VMware Solution 會放置於專用硬體伺服器上運作 • AVS 單一叢集啟動台數為最少 3 台專用硬體伺服器， 最多 16 台實體機 • AVS 叢集與 Azure 既有共享硬體資源完全隔離 • 以 Hyperconverged 形式部署，包含 Compute (ESXi)、 Network (NSX)、Storage (vSAN)、Management (vCenter) 等 VMware 軟體於上 Ref: https://docs.microsoft.com/en-us/azure/azure-vmware/faq https://docs.microsoft.com/en-us/azure/azure-vmware/concepts-private-clouds-clusters Type AV36 CPU 36 Cores (2.3GHz) Memory 576 GB Storage Cache 3.2 TB NVMe Storage Data 15.4 TB SATA SSD Network 2 * Mellanox ConnectX-4 Dual Port 25 GbE* * RoCE v2 Enabled

透過 Azure Portal 部屬 Azure VMware Solution Software Version / Edition (2022.12) vCenter 7.0 u3c Standard ESXi 7.0 u3c Enterprise Plus NSX 3.1.2 Advanced vSAN 7.0 u3c Enterprise HCX 4.4.2 Advanced* Ref: https://docs.microsoft.com/en-us/azure/azure-vmware/faq https://docs.microsoft.com/en-us/azure/azure-vmware/concepts-private-clouds-clusters * HCX Enterprise Edition available on demand • AVS 部署將透過 Azure Portal 上直接供裝 • AVS 已預先定義好 /22 網段內所需之 IP 分配，無須 更改 • AVS 部署過程包含下列但不限於 • 專用硬體供裝、設定 • VMware 必需之軟體安裝 • VMware 網路與 Azure 網路基本介接 該網段不能與雲地任何網段重疊

無須對個別組件設定網路，全自動部署設定 IP 及網段 Azure Portal

Scale a ESXi Node Add 1 Host: ~20 mins Ref: https://microsoft.github.io/PartnerResources/skilling/infrastructure/avs-hands-on-labs-lab-11

Canada Central North Central US North Europe West Europe Southeast Asia (Singapore) Japan East Australia East West US East US UK South South Central US Australia Southeast Central US UK West Canada East Brazil South Japan West France Germany West Central East US 2 East Asia (Hong Kong) South Africa North Azure VMware Solution Available by Region Updated 2022/8

如果你想要評估 Azure VMware Solution 怎麼建立... https://youtu.be/A1a3rVz7zyk https://labs.hol.vmware.com/HOL/catalogs/lab/10713

How to use Azure Network to meet the needs of AVS? Azure VMware Solution

Azure Hub-Spoke Network Design

Azure VMware Solution 提供 2 種內部連線方式 留給露臉講師 Customer Edge Router ER Gateway Azure VNet NSX ESXi vCenter vSAN Azure Native Services AVS <-> Azure Services AVS <-> On-prem Azure Bare-Metal Dedicated Infrastructure NSX vSAN ESXi vCenter HCX AVS D-MSEE ExpressRoute Global Reach or Azure vWAN MSEE: Microsoft Enterprise Edge D-MSEE: Dedicated MSEE Ref: https://docs.microsoft.com/zh-tw/azure/expressroute/expressroute-introduction Azure Services <-> On-prem • 資料不對外: 使用 Azure 相關服務不須經過 Internet，包含但不限於 • Azure VMware Solution • Microsoft 365 • Azure Services • Azure VMware Solution 2 種內部連線方式 1. Azure ExpressRoute 2. Azure ExpressRoute Global Reach (客戶需 有 Azure ExpressRoute Circuit 才能使用) VPN Gateway Customer VPN Server ExpressRoute (from Customer) ExpressRoute Global Reach ExpressRoute (from AVS D-MSEE) IPSec IKE S2S VPN 從地端連到 Azure VMware Solution 的 3 個做法 Azure VMware Solution 提供的 2 種內部連線方式 VMware SD-WAN vEdge VMware SD-WAN

Azure Native Service Azure VMware Solution Multi Cloud eXchange On-premise Data Center VCF CE Router PE Router PE-MSEE MSEE MPLS ExpressRoute 1000MBps (Fiber) Internet / MPLS S2S VPN D-MSEE ExpressRoute (a.k.a. ER) ExpressRoute Global Reach (a.k.a. ER GR) S2S VPN Connection ExpressRoute 10Gbps 從地端連上 Azure VMware Solution 的 3 種做法 End-to-End Underlay Networking Ref: https://docs.microsoft.com/zh-tw/azure/expressroute/expressroute-introduction CE: Customer Edge MSEE: Microsoft Enterprise Edge Router PE-MSEE: Provider Edge MSEE VMware SD-WAN vEdge VMware SD-WAN Circuit 3 種從地端連入的方式: 1. Azure ExpressRoute 2. S2S VPN 3. VMware SD-WAN

評估參考影片 (1/2) https://youtu.be/JVgR50tdlxo https://youtu.be/F9voykz0Brs

評估參考影片 (2/2) https://youtu.be/A16Oh26a5q4

What can you do on AVS and Azure? Azure VMware Solution Extend and Run

Extend and Run: 基於 Azure VMware Solution 的延伸使用 AVS Add-on 預設包含在 AVS 授權內? 可否選購? License 來源? HCX 已包含 HCX Advanced 授權 可選 HCX Enterprise Microsoft SRM 無包含 可 VMware HCX: Hybrid Cloud eXtension SRM: Site Recovery Manager BYOL: Bring Your Own License • HCX: 將內部部署環境延伸至雲端，可在不同環 境之間順暢地搬遷 VM • SRM: 透過自動化簡化管理，並確保快速且高度 可預測的復原時間 (RTO)

商務持續性和災害復原決策樹 Ref: https://docs.microsoft.com/zh-tw/azure/cloud-adoption-framework/scenarios/azure-vmware/eslz-business-continuity-and-disaster-recovery • 針對 AVS 上層 Workload，建議使用 VMware Site Recovery Manager (SRM) 進 行工作負載轉換，其次選用 Azure Site Recovery 來確保 RTO

使用 VMware Hybrid Cloud eXtension (HCX) VMware L2 Network Extension • 加速採用混合雲: 於 vSphere 6.x 與 AVS 之間啟用基於 HCX vMotion 的多種遷移方式，例如用於大規模遷移的 Bulk Migration 及更進階的 Replication Assisted vMotion (RAV) 等 • 混合雲網路優化: 實現地端與 AVS 之間的 L2 Network Extension (NE)，且遷移同時需要保持 IP 和 MAC 不變；且同時基於 L3 路 由基礎上，可利用 WAN Optimization (WO) 最優化壓縮流量， 加速傳輸及節省所需流量 * Enterprise Edition Only, 且僅支援 vSphere 6.5 U3F+ / vSphere 6.7u3+ Ref: VMware HCX Migration Types VMware HCX - Technical Overview

Ref: https://microsoft.github.io/PartnerResources/skilling/infrastructure/avs-hands-on-labs-lab-12

VMware HCX 遷移方式及軟體版本要求 vMotion Bulk Migration Cold Migration Replication Assisted vMotion (RAV) 系統停機時間 無 僅在切換的時候重開機 有 Downtime 發生 無 HCX 版本 Advanced Advanced Advanced Enterprise 地端軟體版本* vCenter 6.5+ vSphere 6.5+ vCenter 6.5+ vSphere 6.5+ vCenter 6.5+ vSphere 6.5+ vCenter 6.5+ vSphere 6.5+ 虛擬交換器選擇** vSS, vDS, Cisco Nexus 1000v vSS, vDS, Cisco Nexus 1000v vSS, vDS, Cisco Nexus 1000v vSS, vDS, Cisco Nexus 1000v 頻寬最小要求 100Mbps 以上 - − 100Mbps 以上 WAN 優化 (WAN Optimization, WO) 是 (壓縮、重複數據刪除) 是 (壓縮、重複數據刪除) 是 (壓縮、重複數據刪除) 是 (壓縮、重複數據刪除) L2 延伸 (Network Extension, NE) 可 可 (可在沒有 L2 延伸的狀況 下使用) 可 (可在沒有 L2 延伸的狀況下 使用) 可 Virtual Machine HW Ver. 9+ 7+ 9+ 9+ 補充*** - 每 1 個 Service Mesh 最多 1 次 遷移 1 台 VM - 每 1 個 Service Mesh 最多 1 次 可搬遷 200 台 VM - 無網路頻寬要求 - 每 1 個 Service Mesh 最多 1 次遷 移 1 台 VM - 無網路頻寬要求 - 無須 L2 NE 即可使用 - 每 1 個 Service Mesh 最多 1 次 可搬遷 200 台 VM - 可不停機遷移 VMware KB 82702:HCX Support Policy for Legacy vSphere Environment VMware HCX 4.4 Configuration Limits

使用 HCX Mobility Optimized Networking (MON) • 未開啟 MON: 有 Hairpinning 議題，若於 AVS 上需進行 L3 流量處哩，則預設需回到 on-premise Router 進行路由交換，會產生來 回 Latency / Traffic 之流量浪費 • 開啟 MON: 透過 HCX MON 能力，若偵測到 路由於同一個 T0 Gateway 之下，則可以直 接於當地進行流量傳輸，無須回到 on- premise Router，可大幅節省 Latency / Traffic

使用 VMware Site Recovery Manager (SRM) 執行 BCDR Ref: https://docs.microsoft.com/zh-tw/azure/azure-vmware/disaster-recovery-using-vmware-site-recovery-manager https://vmc.techzone.vmware.com/resource/designlet-site-recovery-manager-azure-vmware-solution#summary-and-considerations https://docs.vmware.com/tw/Site-Recovery-Manager/8.3/com.vmware.srm.install_config.doc/GUID-4ACAA37F-CEF5-45A2-BB89-FC134024D1AF.html • 支援 2 種常見使用 SRM 案例 1. VCF (on-premise) to AVS 2. AVS to AVS • 支援 3 種類型的 BCDR 計畫 1. 計畫性移轉 (Planned Migration) 2. 災害復原 (Disaster recovery) 3. Active-Active 雙向保護 (Bidirectional Protection) • 採用 SRM 的 RPO 為 5 分鐘或更高 vSphere Replication NFC

Configuration Replication • RPO 設定最低為 5 分鐘， 最高為 24 小時

網路評估參考影片 https://youtu.be/WVFKdY9eNSI https://labs.hol.vmware.com/HOL/catalogs/lab/10895

Azure Native IaaS and PaaS Azure VMware Solution Leverage and Collaborate

從 Azure VMware Solution 與 Azure 原生服務直接連接使用 留給露臉講師 ER Gateway vHub Azure Bare-Metal Dedicated Infrastructure NSX vSAN ESXi vCenter HCX AVS D-MSEE or Azure vWAN MSEE: Microsoft Enterprise Edge D-MSEE: Dedicated MSEE Ref: https://docs.microsoft.com/zh-tw/azure/expressroute/expressroute-introduction On-premise VCF VNet Peering VNet Spoke

152 Services + 58 Regions Ref: https://azurecharts.com/overview?m=adv

Learning Azure VMware Solution Appendix

Azure VMware 解決方案文件 Ref: https://docs.microsoft.com/zh-tw/azure/azure-vmware/

1. Azure VMware 解決方案簡介 2. 部署 Azure VMware 解決方案以準備將 VMware 資源移轉到 Azure 3. 將內部部屬 VMware 資源移轉到 Azure VMware 解決方案 4. 使用 VMware Site Recovery Manager 和 Azure VMware 解決方案，部屬災害復原 在 Azure VMware 解決方案上執行 VMware 資源 Microsoft Learn Ref: https://docs.microsoft.com/zh-tw/learn/paths/run-vmware-workloads-azure-vmware-solution/

Learning Plan Resources for Azure VMware Solution (AVS) Microsoft Partner Resources Ref: https://microsoft.github.io/PartnerResources/azure/infrastructure/azure-vmware-solution

Invent with purpose.

Network Traffic Azure VMware Solution Appendix

Network Overview of Azure VMware Solution 留給露臉講師 Customer Edge Router ER Gateway Azure VNet NSX ESXi vCenter vSAN Azure Native Services Azure Bare-Metal Dedicated Infrastructure NSX vSAN ESXi vCenter HCX AVS D-MSEE ExpressRoute Global Reach or Azure vWAN MSEE: Microsoft Enterprise Edge D-MSEE: Dedicated MSEE VPN Gateway Customer VPN Server ExpressRoute (from Customer) ExpressRoute Global Reach ExpressRoute (from AVS D-MSEE) IPSec IKE S2S VPN

VM on On-premise VCF <-(ER)-> VM on AVS 連線流量路線 留給露臉講師 Customer Edge Router ER Gateway Azure VNet NSX ESXi vCenter vSAN Azure Native Services Azure Bare-Metal Dedicated Infrastructure NSX vSAN ESXi vCenter HCX AVS D-MSEE or Azure vWAN MSEE: Microsoft Enterprise Edge D-MSEE: Dedicated MSEE VPN Gateway Customer VPN Server ExpressRoute (from Customer) ExpressRoute Global Reach ExpressRoute (from AVS D-MSEE) IPSec IKE S2S VPN 最佳路線

VM on On-premise VCF <-(S2S VPN)-> VM on AVS 連線流量路線 留給露臉講師 Customer Edge Router ER Gateway Azure VNet NSX ESXi vCenter vSAN Azure Native Services Azure Bare-Metal Dedicated Infrastructure NSX vSAN ESXi vCenter HCX AVS D-MSEE or Azure vWAN MSEE: Microsoft Enterprise Edge D-MSEE: Dedicated MSEE VPN Gateway Customer VPN Server ExpressRoute (from Customer) ExpressRoute Global Reach ExpressRoute (from AVS D-MSEE) IPSec IKE S2S VPN 轉介 S2S VPN

VM on AVS <-> Azure Native Services 連線流量路線 留給露臉講師 Customer Edge Router ER Gateway Azure VNet NSX ESXi vCenter vSAN Azure Native Services Azure Bare-Metal Dedicated Infrastructure NSX vSAN ESXi vCenter HCX AVS D-MSEE or Azure vWAN MSEE: Microsoft Enterprise Edge D-MSEE: Dedicated MSEE VPN Gateway Customer VPN Server ExpressRoute (from Customer) ExpressRoute Global Reach ExpressRoute (from AVS D-MSEE) IPSec IKE S2S VPN

VM on AVS <-> Azure Native Services 連線流量路線 留給露臉講師 Customer Edge Router ER Gateway Azure VNet NSX ESXi vCenter vSAN Azure Native Services Azure Bare-Metal Dedicated Infrastructure NSX vSAN ESXi vCenter HCX AVS D-MSEE or Azure vWAN MSEE: Microsoft Enterprise Edge D-MSEE: Dedicated MSEE VPN Gateway Customer VPN Server ExpressRoute (from Customer) ExpressRoute Global Reach ExpressRoute (from AVS D-MSEE) IPSec IKE S2S VPN