オンプレ&Azureハイブリッド仮想基盤、Azure Stack HCI構築と既存基盤からの仮想マシン移行

GREE Tech Conference 2023で発表された資料です。
https://techcon.gree.jp/2023/session/TrackA-3

Transcript

1. オンプレ&Azureハイブリッド仮想基盤 Azure Stack HCI構築と 既存基盤からの仮想マシン移行 グリー株式会社 開発本部 情報システム部 ITマネジメントグループ IT基盤チーム 新澤 千明
2. 目次 1. 導入編 a. 利用目的と構成 b. どうしてAzureStackHCIにしたのか 2. 構築編 a. 構築と移行の流れ b. まずオンプレHyper-v基盤として動かそう c. OSを新しいバージョンで入れなおそう d. ネットワークアダプタのドライバ探し e. ディスクのファームはiDRACから入れる f. Network ATC の設定大変でした g. コマンドはサーバに直接ログオンして実行する 3. 運用編 a. 記憶域のサイジングについて b. 仮想マシンを転送しよう c. WACで全て管理できると思っていた d. 仮想マシンが意図しないノードに移動する e. トラブル発生・容量がたりない 2
3. 1. 導入編 a. 利用目的と構成 b. どうしてAzureStackHCIにしたのか 2. 構築編 a. 構築と移行の流れ b. まずオンプレHyper-v基盤として動かそう c. OSを新しいバージョンで入れなおそう d. ネットワークアダプタのドライバ探し e. ディスクのファームはiDRACから入れる f. Network ATC の設定大変でした g. コマンドはサーバに直接ログオンして実行する 3. 運用編 a. 記憶域のサイジングについて b. 仮想マシンを転送しよう c. WACで全て管理できると思っていた d. 仮想マシンが意図しないノードに移動する e. トラブル発生・容量がたりない 3
4. • 構成 ◦ WindowsServerの仮想マシンを格納する仮想基盤として利用する ◦ 全社で利用する各種サーバに利用 利用目的と構成 4 DC AzureStackHCI格納VM ActiveDirectory他認証系 DNS DHCP 基幹系システム ファイルストレージ 他アプリケーションサーバ など100VM弱
5. 1. 導入編 a. 利用目的と構成 b. どうしてAzureStackHCIにしたのか 2. 構築編 a. 構築と移行の流れ b. まずオンプレHyper-v基盤として動かそう c. OSを新しいバージョンで入れなおそう d. ネットワークアダプタのドライバ探し e. ディスクのファームはiDRACから入れる f. Network ATC の設定大変でした g. コマンドはサーバに直接ログオンして実行する 3. 運用編 a. 記憶域のサイジングについて b. 仮想マシンを転送しよう c. WACで全て管理できると思っていた d. 仮想マシンが意図しないノードに移動する e. トラブル発生・容量がたりない 5
6. どうしてAzureStackHCIにしたのか • HCI入れ替えの経緯 ◦ 既存のHyper-V ClusterがEOLになってリプレイスが必要に ◦ Azureとオンプレの統合管理に夢を見た ◦ 将来の機能追加でAzureとオンプレ間仮想マシン移動で柔軟な運用ができると聞いた ◦ そもそもなぜオンプレにしたのか ▪ スケールアウト・スケールアップしないサーバなら オンプレのほうがコストメリットがある ▪ 障害発生時の切り分けが容易なことが多い
7. 1. 導入編 a. 利用目的と構成 b. どうしてAzureStackHCIにしたのか 2. 構築編 a. 構築と移行の流れ b. まずオンプレHyper-v基盤として動かそう c. OSを新しいバージョンで入れなおそう d. ネットワークアダプタのドライバ探し e. ディスクのファームはiDRACから入れる f. Network ATC の設定大変でした g. コマンドはサーバに直接ログオンして実行する 3. 運用編 a. 記憶域のサイジングについて b. 仮想マシンを転送しよう c. WACで全て管理できると思っていた d. 仮想マシンが意図しないノードに移動する e. トラブル発生・容量がたりない 7
8. 構築と移行の流れ • WACのウィザードでAzureStackHCIを構築する ◦ OSを入れなおす ◦ 管理用ネットワークアダプタのドライバを入れる ◦ NetworkATCを設定する ◦ ディスクのドライバを iDRACから入れる ◦ 中略 • 既存環境から仮想マシンを移行する ◦ バックアップアプライアンスで転送する ◦ Exportコマンドで転送する • うごく！ 8
9. 1. 導入編 a. 利用目的と構成 b. どうしてAzureStackHCIにしたのか 2. 構築編 a. 構築と移行の流れ b. まずオンプレHyper-v基盤として動かそう c. OSを新しいバージョンで入れなおそう d. ネットワークアダプタのドライバ探し e. ディスクのファームはiDRACから入れる f. Network ATC の設定大変でした g. コマンドはサーバに直接ログオンして実行する 3. 運用編 a. 記憶域のサイジングについて b. 仮想マシンを転送しよう c. WACで全て管理できると思っていた d. 仮想マシンが意図しないノードに移動する e. トラブル発生・容量がたりない 9
10. まずオンプレHyper-v基盤として動かそう • 構成 ◦ DELL AX-7525 * 3NodeCluster ◦ DELL S5248F-ON * 2 ◦ S2D 実効21.1TB(3Way Mirror) All NVMe Storage pool 10
11. 1. 導入編 a. 利用目的と構成 b. どうしてAzureStackHCIにしたのか 2. 構築編 a. 構築と移行の流れ b. まずオンプレHyper-v基盤として動かそう c. OSを新しいバージョンで入れなおそう d. ネットワークアダプタのドライバ探し e. ディスクのファームはiDRACから入れる f. Network ATC の設定大変でした g. コマンドはサーバに直接ログオンして実行する 3. 運用編 a. 記憶域のサイジングについて b. 仮想マシンを転送しよう c. WACで全て管理できると思っていた d. 仮想マシンが意図しないノードに移動する e. トラブル発生・容量がたりない 11
12. • 1ノードだけ挙動がおかしかった。WMIが起動していない。 • WMIを起動しなおすだけならすぐに終わるが、他に挙動がおかしいところがあるか わからなかった。 • 次のバージョンがすでに公開されているし、OSを入れなおしてしまおう。 • Learnの情報を参考にする。 https://learn.microsoft.com/en-us/azure-stack/hci/deploy/create-cl uster OSを新しいバージョンで入れなおそう 12
13. • OSはMS公式からダウンロードする。DELL独自のカスタマイズイメージはない。 • AX-7525のダウンロードサイトにNICのドライバがない。 OSを新しいバージョンで入れなおそう 13
14. 1. 導入編 a. 利用目的と構成 b. どうしてAzureStackHCIにしたのか 2. 構築編 a. 構築と移行の流れ b. まずオンプレHyper-v基盤として動かそう c. OSを新しいバージョンで入れなおそう d. ネットワークアダプタのドライバ探し e. ディスクのファームはiDRACから入れる f. Network ATC の設定大変でした g. コマンドはサーバに直接ログオンして実行する 3. 運用編 a. 記憶域のサイジングについて b. 仮想マシンを転送しよう c. WACで全て管理できると思っていた d. 仮想マシンが意図しないノードに移動する e. トラブル発生・容量がたりない 14
15. ネットワークアダプタのドライバ探し • WACでの構築中、NetworkATCを設定するときにドライバを入れておく必要があ る。 • AzureStackHCI用のAX-7525とPowerEdge R7525はハードウェア構成が同 じ。 ◦ PowerEdge R7525用のダウンロードサイトで落とす。 ◦ WindowsServer 2022用のドライバを使う。 15
16. 1. 導入編 a. 利用目的と構成 b. どうしてAzureStackHCIにしたのか 2. 構築編 a. 構築と移行の流れ b. まずオンプレHyper-v基盤として動かそう c. OSを新しいバージョンで入れなおそう d. ネットワークアダプタのドライバ探し e. ディスクのファームはiDRACから入れる f. Network ATC の設定大変でした g. コマンドはサーバに直接ログオンして実行する 3. 運用編 a. 記憶域のサイジングについて b. 仮想マシンを転送しよう c. WACで全て管理できると思っていた d. 仮想マシンが意図しないノードに移動する e. トラブル発生・容量がたりない 16
17. ディスクのファームはiDRACから入れる • NVMeのファームは、ディスクが動いていると入らない ◦ iDRACからインストールしよう ◦ Integrated Dell Remote Access Controller(iDRAC)Webインターフェイスを使用してファー ムウェアをリモートでアップデートする方法 17
18. 1. 導入編 a. 利用目的と構成 b. どうしてAzureStackHCIにしたのか 2. 構築編 a. 構築と移行の流れ b. まずオンプレHyper-v基盤として動かそう c. OSを新しいバージョンで入れなおそう d. ネットワークアダプタのドライバ探し e. ディスクのファームはiDRACから入れる f. Network ATC の設定大変でした g. コマンドはサーバに直接ログオンして実行する 3. 運用編 a. 記憶域のサイジングについて b. 仮想マシンを転送しよう c. WACで全て管理できると思っていた d. 仮想マシンが意図しないノードに移動する e. トラブル発生・容量がたりない 18
19. Network ATC の設定大変でした • うっかりMTUの設定をミスる。 ◦ 9014にすべきところを1514にしてしまう。 ◦ ドキュメントが見つからない。 ◦ コマンドを叩いて調べた。 19
20. 1. 導入編 a. 利用目的と構成 b. どうしてAzureStackHCIにしたのか 2. 構築編 a. 構築と移行の流れ b. まずオンプレHyper-v基盤として動かそう c. OSを新しいバージョンで入れなおそう d. ネットワークアダプタのドライバ探し e. ディスクのファームはiDRACから入れる f. Network ATC の設定大変でした g. コマンドはサーバに直接ログオンして実行する 3. 運用編 a. 記憶域のサイジングについて b. 仮想マシンを転送しよう c. WACで全て管理できると思っていた d. 仮想マシンが意図しないノードに移動する e. トラブル発生・容量がたりない 20
21. コマンドはサーバに直接ログオンして実行する • ローカルPCのPowerShellからEnter-PSSessionで入って実行するとコケるのが ある。 ◦ AzureStackHCIの各ノードに直接ログオンして構築すべき。 21
22. 1. 導入編 a. 利用目的と構成 b. どうしてAzureStackHCIにしたのか 2. 構築編 a. 構築と移行の流れ b. まずオンプレHyper-v基盤として動かそう c. OSを新しいバージョンで入れなおそう d. ネットワークアダプタのドライバ探し e. ディスクのファームはiDRACから入れる f. Network ATC の設定大変でした g. コマンドはサーバに直接ログオンして実行する 3. 運用編 a. 記憶域のサイジングについて b. 仮想マシンを転送しよう c. WACで全て管理できると思っていた d. 仮想マシンが意図しないノードに移動する e. トラブル発生・容量がたりない 22
23. 記憶域のサイジングについて • 気が付いたら容量がカツカツにならないように、空き容量を確認しよう。 23
24. • Windows Admin CenterのDashboardに警告機能が付いた。 記憶域のサイジングについて 24
25. 1. 導入編 a. 利用目的と構成 b. どうしてAzureStackHCIにしたのか 2. 構築編 a. 構築と移行の流れ b. まずオンプレHyper-v基盤として動かそう c. OSを新しいバージョンで入れなおそう d. ネットワークアダプタのドライバ探し e. ディスクのファームはiDRACから入れる f. Network ATC の設定大変でした g. コマンドはサーバに直接ログオンして実行する 3. 運用編 a. 記憶域のサイジングについて b. 仮想マシンを転送しよう c. WACで全て管理できると思っていた d. 仮想マシンが意図しないノードに移動する e. トラブル発生・容量がたりない 25
26. 仮想マシンを転送しよう • AzureMigrate(Private Preview)で仮想マシンを転送しよう ◦ プライベートプレビューに招待してもらえた　★日本初★ ◦ Azure → Azureのリージョン間転送では仮想マシン転送が数秒。期待できる！と思った。 26
27. 仮想マシンを転送しよう • AzureMigrateを使わなかった理由 ◦ 機能が十分ではなかったが、 Private Preview段階だったため仕方ない。 ▪ 転送中仮想マシンを止めねばならないが、 15分～30分かかる。 ▪ ネットワークアダプタが変わって固定 IPアドレスが消える。 ▪ これらは開発が進むにつれ、改善されていくそうです。 27
28. 仮想マシンを転送しよう • AzureMigrateの転送料金 ◦ 管理VMがus-centralにある。 ◦ データが日本リージョンから us-centralを経由して戻ってくるのでは リージョン間転送量がかさむのではないか、という不安。 ◦ 管理VMを経由するのはメタデータのみ。 ◦ 仮想マシンのデータはオンプレ toオンプレで転送される。 28
29. 仮想マシンを転送しよう • バックアップアプライアンスを用いて転送した 29
30. 仮想マシンを転送しよう • スナップショットを取れない構成の仮想マシンはexportコマンドを使う 30
31. 仮想マシンを転送しよう • NLBを組んでいる仮想マシンは転送経路上のスイッチにNLB許容する 31
32. 1. 導入編 a. 利用目的と構成 b. どうしてAzureStackHCIにしたのか 2. 構築編 a. 構築と移行の流れ b. まずオンプレHyper-v基盤として動かそう c. OSを新しいバージョンで入れなおそう d. ネットワークアダプタのドライバ探し e. ディスクのファームはiDRACから入れる f. Network ATC の設定大変でした g. コマンドはサーバに直接ログオンして実行する 3. 運用編 a. 記憶域のサイジングについて b. 仮想マシンを転送しよう c. WACで全て管理できると思っていた d. 仮想マシンが意図しないノードに移動する e. トラブル発生・容量がたりない 32
33. WACで全て管理できると思っていた • WACで全て管理できると思っていた ◦ ユーザーごとに仮想マシン管理権限を付与できない ◦ 障害でWACから表示が消えた仮想マシンを復旧させるときは、 結局Hyper-vManagerやFailoverClusterManagerを使った。 33
34. 1. 導入編 a. 利用目的と構成 b. どうしてAzureStackHCIにしたのか 2. 構築編 a. 構築と移行の流れ b. まずオンプレHyper-v基盤として動かそう c. OSを新しいバージョンで入れなおそう d. ネットワークアダプタのドライバ探し e. ディスクのファームはiDRACから入れる f. Network ATC の設定大変でした g. コマンドはサーバに直接ログオンして実行する 3. 運用編 a. 記憶域のサイジングについて b. 仮想マシンを転送しよう c. WACで全て管理できると思っていた d. 仮想マシンが意図しないノードに移動する e. トラブル発生・容量がたりない 34
35. 仮想マシンが意図しないノードに移動する • 以前のWACでは意図したノードに仮想マシンを転送できなかった。 ◦ どのホストを選んでも、内部的に Recommendedなホストに強制移動される ◦ WACの機能が拡充されるとともに、 GUIで指定した移動先ホストに転送されるようになった 35
36. 1. 導入編 a. 利用目的と構成 b. どうしてAzureStackHCIにしたのか 2. 構築編 a. 構築と移行の流れ b. まずオンプレHyper-v基盤として動かそう c. OSを新しいバージョンで入れなおそう d. ネットワークアダプタのドライバ探し e. ディスクのファームはiDRACから入れる f. Network ATC の設定大変でした g. コマンドはサーバに直接ログオンして実行する 3. 運用編 a. 記憶域のサイジングについて b. 仮想マシンを転送しよう c. WACで全て管理できると思っていた d. 仮想マシンが意図しないノードに移動する e. トラブル発生・容量がたりない 36
37. トラブル発生・容量がたりない • トラブル発生・容量がたりない ◦ 外部ストレージはAzureStackHCIのホストから マウントできない ◦ 容量追加が必要な場合はノードを追加して対処する。 37