VXLANを使った プライベートクラウド VMマイグレーションの実現 鈴⽊ 祥太

鈴⽊ 祥太（Shota Suzuki） 好き 仕事 プライベートクラウド基盤の設計 勉強中 NW @sshota0809 始めたばかりでフォロワーいないのでぜひフォローしてください︕

いかに クローズしやすい 基盤を作るか 本⽇のお題

DCに⼀定の単位で打たれる プライベートクラウド基盤 LB FW First generation VM VM VM VM VM VM VM VM LB FW

DCに⼀定の単位で打たれる プライベートクラウド基盤 First generation Second generation NW等の キャパシティの限界 VM VM VM VM VM VM VM VM VM VM VM VM VM VM VM VM 各環境における VMが所属セグメントは 違うセグメントとなる VLAN X 10.X.X.X/XX VLAN Y 10.Y.Y.Y/YY over 1000VM LB FW LB FW LB FW LB FW

そして迫り来る EOL という名の寿命 サーバは 新しいサーバを横に並べて VMをうつせば解決︕ NWは︖ GWの機器を気軽に⽌められない︕ 環境によってVMのセグメントが違うから IPを変更しないとマイグレーションもできない︕ FWも⽳あけ直し︕ システムも⽌められない︕ つらい︕実質マイグレーションできない︕ old new VM LB FW LB FW GW

そして迫り来る EOL という名の寿命 サーバは 新しいサーバを横に並べて VMをうつせば解決︕ NWは︖ GWの機器を気軽に⽌められない︕ 環境によってVMのセグメントが違うから IPを変更しないとマイグレーションもできない︕ FWも⽳あけ直し︕ システムも⽌められない︕ つらい︕実質マイグレーションできない︕ old new VM LB FW LB FW GW とめられない とまらない 永遠とクローズできない 環境になってしまう

現在の課題 • GWのNW機器が⽌められない • 通信断が発⽣する場合1000VM以上のユーザに対して調整する必要がある • VMのIPを変更しないとマイグレーションできない • 変更するとしても⼯数がかかる

現在の課題 • GWのNW機器が⽌められない • 通信断が発⽣する場合1000VM以上のユーザに対して調整する必要がある • VMのIPを変更しないとマイグレーションできない • 変更するとしても⼯数がかかる 仮想的にGWを何個も作れれば… セグメントを延伸できれば…

VXLAN EVPN + anycast gateway

各環境のSpineSWを接続 First generation Second generation VM VM VM VM VM VM VM VM VM VM VM VM VM VM VM VM over 1000VM LB FW LB FW LB FW LB FW

VXLAN EVPNでL2 over L3を実現 First generation Second generation VM VM VM VM VM VM VM VM VM VM VM VM VM VM VM VM over 1000VM LB FW LB FW LB FW LB FW VXLAN EVPN anycast GW anycast GW anycast GW anycast GW anycast GW anycast GW anycast GW anycast GW anycast GW anycast GW anycast gatewayにより すべてのLeafSWが 同じIPを持つGWとなる （ルーティングは近いGWが実施）

論理構成は どうかわったのか︖

Before FW LB FW LB VRFで コアSWを分割 VRFで コアSWを分割 VLAN X 10.0.X.0/24 VLAN XX 10.0.XX.0/24 VLAN Y 10.0.Y.0/24 VLAN YY 10.0.Y.0/24 各環境で サーバセグメントのIPが異なる 10.0.X.0/24 next FW 10.0.XX.0/24 next FW 10.0.Y.0/24 next FW 10.0.YY.0/24 next FW First generation Second generation Spine/Leafは VLANをL2延伸 Spine/Leafは VLANをL2延伸

After FW 10.0.X.1/32 next FW 10.0.XX.1/32 next FW 10.0.X.2/32 next FW 10.0.XX.2/32 next FW First generation Second generation FW FW FW VLAN X VXLAN XXX 10.0.X.0/24 VLAN XX VXLAN XXXX 10.0.XX.0/24 LB LB VRFで コアSWを分割 VRFで コアSWを分割 UnderLay NWはL3 fabric OverLay NWはL3 VNIによりルーティング VXLANでカプセル化するとFWのパケット通過が⾏きと 戻りで異経路となってしまう それを防ぐためにDCコアSWに eBGPで/32でルートを広報しルーティング制御

環境をクローズしたい時 FW First generation Second generation FW FW FW VLAN X VXLAN XXX 10.0.X.0/24 VLAN XX VXLAN XXXX 10.0.XX.0/24 LB LB VMを隣の環境にマイグレーションして 旧環境をまるごとクローズ可能 VM VM

まとめ • クローズのしやすさを考慮することはとても⼤切 • 「クローズ」も運⽤のうちの⼀つ（︖） • カプセル化されたパケットがどのようなUnderLay NWの 経路を通って通信されているか可視化したい • 運⽤時の障害調査等で通信経路が追えないと⾟そう

No content