ハードウェアが壊れたときのBreakfixに挑戦してみた

Nutanix Meetup Hybrid 23.06発表資料
https://nutanix.connpass.com/event/282546/

Transcript

1. ハードウェアが壊れたときの Breakfixに挑戦してみた - Nutanix CE 2.0編 - 2023年6月21日 ニュータニックス・ジャパン合同会社 シニアソリューションエンジニア 川井 謙典 Nutanix Meetup Hybrid 23.06
2. Index Nutanix Meetup Hybrid 23.06 １ ２ ３ ４ CE 2.0 環境構築 Phoenix ISOで復旧挑戦 ノード玉突きで復旧挑戦 イメージコピーで復旧挑戦 2
3. １ Nutanix Meetup Hybrid 23.06 １ ２ ３ ４ CE 2.0 環境構築 Phoenix ISOで復旧挑戦 ノード玉突きで復旧挑戦 イメージコピーで復旧挑戦 3
4. Nutanix CE2.0検証環境 Nutanix Meetup Hybrid 23.06 4 機種 Intel NUC第6世代 CPU Core i7-6770HQ 2.60GHz 4C メモリ 32GB MEM ストレージ 242GiB SSD、282GiB SSD 機種 Intel NUC第6世代 CPU Core i7-6770HQ 2.60GHz 4C メモリ 32GB MEM ストレージ 242GiB SSD、282GiB SSD 機種 Intel NUC第8世代 CPU Core i7-8559U 2.70GHz 4C メモリ 64GB MEM ストレージ 268GiB SSD、802GiB HDD 社内にあったIntel NUCを寄せ集めてCE2.0の検証環境を構築。 CE 2.0 環境構築
5. まずは仮想マシン作成を Nutanix Meetup Hybrid 23.06 5 クラスタ構築後、適当なWindows VMを作成しようとしたところ・・・ Windowsインストーラ起動時にLoading filesを繰り返す状態に・・・ CE 2.0 環境構築
6. 原因は・・・ Nutanix Meetup Hybrid 23.06 6 Skylake系CPUの場合、VM側でCPUがちゃんと識別されない問題があるようでVMのCPUパススルーを有効化することで 回避できました。 nutanix@NTNX-d6c06749-A-CVM:192.168.24.211:~$ acli vm.get kkWin01 | head -n 12 kkWin01 { can_clear_removed_from_host_uuid: True config { agent_vm: False allow_live_migrate: False boot { boot_device_order: "kCdrom" boot_device_order: "kDisk" boot_device_order: "kNetwork" uefi_boot: False } cpu_passthrough: False nutanix@NTNX-d6c06749-A-CVM:192.168.24.211:~$ acli vm.update kkWin01 cpu_passthrough=true kkWin01: pending kkWin01: complete nutanix@NTNX-d6c06749-A-CVM:192.168.24.211:~$ acli vm.get kkWin01 | grep cpu_passthrough cpu_passthrough: True CE 2.0 環境構築
7. ２ Nutanix Meetup Hybrid 23.06 １ ２ ３ ４ CE 2.0 環境構築 Phoenix ISOで復旧挑戦 ノード玉突きで復旧挑戦 イメージコピーで復旧挑戦 7
8. Phoenix ISOとは？ Nutanix Meetup Hybrid 23.06 8 Nutanixの起動デバイスを作成するためのオフラインツールで ハイパーバイザーやCVMをインストール、初期設定してくれます。 Phoenix ISOで復旧挑戦
9. Prism Elementから挑戦① Nutanix Meetup Hybrid 23.06 9 マルチノード環境な商用版の起動デバイス復旧方法で、PEから障害ノード用のPhoenix ISOを生成＆ダウンロードしたものを 使って障害ノードを起動させて、起動デバイスを復旧させる方法です。 Phoenix ISOで復旧挑戦 詳しくはこちらをご覧ください。残念ながら英語です・・・。 Hardware Replacement and Installation - Hypervisor Boot Drive <https://portal.nutanix.com/page/documents/list?type=hardware> 【オススメ】Nutanix Technology Champion 萩原さんの記事が分かり易いです。 Nutanixにおけるブート領域（ハイパーバイザー）の復旧について https://licensecounter.jp/engineer-voice/blog/articles/20210820_nutanix_3.html
10. Prism Elementから挑戦② Nutanix Meetup Hybrid 23.06 10 PEのハードウェアからRepair Host Boot DeviceでPhoenix ISOをダウンロードします。 Phoenix ISOで復旧挑戦
11. Prism Elementから挑戦③ Nutanix Meetup Hybrid 23.06 11 障害ノードをPhoenix ISOで起動してみると・・・ Phoenix ISOで復旧挑戦 Phoenix自体の起動に失敗・・・
12. Foundation VMから挑戦① Nutanix Meetup Hybrid 23.06 12 今度は商用版ノードの初期構築に用いるFoundationまたは生き残りCVMを使ったPhoenix ISOで試してみます。 Phoenix ISOで復旧挑戦 詳しい手順はこちらのKBをご覧ください。これも残念ながら英語です・・・。 KB3523 - How to create a Phoenix ISO or AHV ISO from a CVM or Foundation VM <https://portal.nutanix.com/kb/3523> nutanix@NTNX-d5a99c6b-A-CVM:192.168.24.213:~$ tar -cvzf /home/nutanix/foundation/nos/$(< /etc/nutanix/release_version).tar.gz -C ~/data/installer/ $(< /etc/nutanix/release_version) --transform="s:^$(< /etc/nutanix/release_version)/:install/:" --show-transformed-names el7.3-release-fraser-6.5.2-stable-f2ce4db7d67f495ebfd6208bef9ab0afec9c74af/ install/config/ ・・・(中略)・・・ install/ahv/kvm_host_bundle_20220304.342-metadata.json nutanix@NTNX-d5a99c6b-A-CVM:192.168.24.213:~$ cd /home/nutanix/foundation/bin nutanix@NTNX-d5a99c6b-A-CVM:192.168.24.213:~/foundation/bin$ ls -l /home/nutanix/foundation/nos/ total 4622448 -rw-------. 1 nutanix nutanix 4733382473 Jun 19 01:00 el7.3-release-fraser-6.5.2-stable-f2ce4db7d67f495ebfd6208bef9ab0afec9c74af.tar.gz nutanix@NTNX-d5a99c6b-A-CVM:192.168.24.213:~/foundation/bin$ ls -l /home/nutanix/data/installer/el7.3-release-fraser-6.5.2-stable- f2ce4db7d67f495ebfd6208bef9ab0afec9c74af/ahv/ total 848904 -rw-r-----. 1 nutanix nutanix 869269504 Jan 5 14:42 kvm_host_bundle_20220304.342.iso -rw-r-----. 1 nutanix nutanix 1986 Jan 5 14:42 kvm_host_bundle_20220304.342-metadata.json nutanix@NTNX-d5a99c6b-A-CVM:192.168.24.213:~/foundation/bin$ ./generate_iso phoenix --aos-package=/home/nutanix/foundation/nos/el7.3-release-fraser-6.5.2-stable- f2ce4db7d67f495ebfd6208bef9ab0afec9c74af.tar.gz --kvm=/home/nutanix/data/installer/el7.3-release-fraser-6.5.2-stable- f2ce4db7d67f495ebfd6208bef9ab0afec9c74af/ahv/kvm_host_bundle_20220304.342.iso --temp-dir=/home/nutanix/foundation/tmp /home/nutanix/foundation/lib/py/paramiko-2.7.2-py2.7.egg/paramiko/transport.py:33: CryptographyDeprecationWarning: Python 2 is no longer supported by the Python core team. Support for it is now deprecated in cryptography, and will be removed in a future release. 2023-06-19 01:12:22,988 generate_iso INFO Copying phoenix files to /home/nutanix/foundation/tmp/7b8c1b31-54b7-4486-89eb-47252d78bd3d 2023-06-19 01:12:25,400 generate_iso INFO Phoenix will run in squashfs mode. ・・・(中略)・・・ 2023-06-19 01:15:02,769 generate_iso INFO Cleaning up 2023-06-19 01:15:05,860 generate_iso INFO Done nutanix@NTNX-d5a99c6b-A-CVM:192.168.24.213:~/foundation/bin$ ls -l /home/nutanix/foundation/tmp/*.iso -rw-------. 1 nutanix nutanix 5869875200 Jun 19 02:57 /home/nutanix/foundation/tmp/phoenix-5.4_AOS-x86_64.iso
13. Foundation VMから挑戦② Nutanix Meetup Hybrid 23.06 13 ふたたび障害ノードをPhoenix ISOで起動してみると・・・ Phoenix ISOで復旧挑戦 またまたPhoenix自体の起動に失敗・・・
14. ３ Nutanix Meetup Hybrid 23.06 １ ２ ３ ４ CE 2.0 環境構築 Phoenix ISOで復旧挑戦 ノード玉突きで復旧挑戦 イメージコピーで復旧挑戦 14
15. ノード玉突きで復旧挑戦① Nutanix Meetup Hybrid 23.06 15 起動デバイス修復が無理なら新しくノードを追加してしまおう。 ノード玉突きで復旧挑戦 ググるとCE 5.18版ではノードの玉突きで復旧させている事例がチラホラと。 Node A 192.168.24.211 Node B 192.168.24.212 Node C 192.168.24.213 Node D 192.168.24.214
16. ノード玉突きで復旧挑戦② Nutanix Meetup Hybrid 23.06 16 障害ノードの起動デバイス（USBメモリ）を入れ替え、CE2.0を新規インストールしてExpand Cluster！ ノード玉突きで復旧挑戦 Expand Clusterのタスクが100% Succeedに・・・！
17. ノード玉突きで復旧挑戦③ Nutanix Meetup Hybrid 23.06 17 ん・・・？ なんかおかしいぞ・・・？ ノード玉突きで復旧挑戦 DOWNしてる・・・ッ CVM: 192.168.24.214 Up Zeus UP [16254, 16338, 16339, 16345] Scavenger UP [16958, 17075, 17076, 17077] Xmount UP [17914, 17991, 17992, 18000] SysStatCollector UP [19014, 19088, 19089, 19090] IkatProxy UP [19505, 19582, 19583, 19584] IkatControlPlane UP [19780, 19875, 19876, 19877] SSLTerminator UP [19783, 19918, 19919] SecureFileSync UP [19786, 19950, 19951, 19952] Medusa DOWN [] DynamicRingChanger DOWN [] Pithos DOWN [] InsightsDB DOWN [] Athena DOWN [] Mercury DOWN [] Mantle DOWN [] Stargate DOWN [] InsightsDataTransfer DOWN [] Ergon DOWN [] GoErgon DOWN [] Cerebro DOWN [] Chronos DOWN [] Curator DOWN [] Prism DOWN [] Hera DOWN [] CIM DOWN [] AlertManager DOWN [] Arithmos DOWN [] Catalog DOWN [] Acropolis DOWN [] Uhura DOWN [] NutanixGuestTools DOWN [] MinervaCVM DOWN [] ClusterConfig DOWN [] APLOSEngine DOWN [] APLOS DOWN [] PlacementSolver DOWN [] Lazan DOWN [] Polaris DOWN [] Delphi DOWN [] Security DOWN [] Flow DOWN [] Anduril DOWN [] XTrim DOWN [] ClusterHealth DOWN [] nutanix@NTNX-3c635e32-A-CVM:192.168.24.212:~$ svmips -d 192.168.24.211 -> 5 192.168.24.212 -> 6 192.168.24.213 -> 7 192.168.24.214 -> 537329 nutanix@NTNX-3c635e32-A-CVM:192.168.24.212:~$ nutanix@NTNX-3c635e32-A-CVM:192.168.24.212:~$ nutanix@NTNX-3c635e32-A-CVM:192.168.24.212:~$ ncli host remove-start id=5 skip- space-check=true force=true Error: Cannot mark node for removal. Node 537329 is in the process of being added to the cluster nutanix@NTNX-3c635e32-A-CVM:192.168.24.212:~$ つ・・・詰んだ・・・
18. ４ Nutanix Meetup Hybrid 23.06 １ ２ ３ ４ CE 2.0 環境構築 Phoenix ISOで復旧挑戦 ノード玉突きで復旧挑戦 イメージコピーで復旧挑戦 18
19. イメージコピーで復旧挑戦① Nutanix Meetup Hybrid 23.06 19 復旧というか事前にバックアップデバイスを作っておきましょうという話です。 イメージコピーで復旧挑戦 正常に稼働しているノードの起動デバイス（USBメモリ）をdd等のイメージコピーツールで複製します。 障害時は複製デバイスから起動して復旧できるか挑戦します。 実行例： # dd if=/dev/sdb of=/tmp/backup.img bs=1024k ＜USBメモリ挿し替え後＞ # dd if=/tmp/backup.img of=/dev/sdb bs=1024k
20. イメージコピーで復旧挑戦② Nutanix Meetup Hybrid 23.06 20 はい。普通に起動できました。めでたしめでたし。 イメージコピーで復旧挑戦 [root@NTNX-kk-C ~]# blkid /dev/sdc* /dev/sdc: PTTYPE="gpt" /dev/sdc1: SEC_TYPE="msdos" LABEL="EFI" UUID="7E7E-010E" TYPE="vfat" PARTUUID="01387d28-ffb6-4621-8887-0b631a3155a7" /dev/sdc2: LABEL="root" UUID="cde55e9c-4ade-4fad-a33d-87141a5dd179" TYPE="ext4" PARTUUID="059fd712-7c16-456f-8eae-313dae7aaa15" dd元USBメモリ [root@NTNX-kk-C ~]# blkid /dev/sdl* /dev/sdl: PTTYPE="gpt" /dev/sdl1: SEC_TYPE="msdos" LABEL="EFI" UUID="7E7E-010E" TYPE="vfat" PARTUUID="01387d28-ffb6-4621-8887-0b631a3155a7" /dev/sdl2: LABEL="root" UUID="cde55e9c-4ade-4fad-a33d-87141a5dd179" TYPE="ext4" PARTUUID="059fd712-7c16-456f-8eae-313dae7aaa15" dd先USBメモリ [root@NTNX-kk-C ~]# cat /etc/fstab ・・・(中略)・・・ UUID=cde55e9c-4ade-4fad-a33d-87141a5dd179 / ext4 defaults 1 1 UUID=7E7E-010E /boot/efi vfat defaults,uid=0,gid=0,umask=0077,shortname=winnt 0 0 fstab抜粋 やっぱりバックアップは大事！
21. Thank you