Slide 1

Slide 1 text

オンプレ&Azureハイブリッド仮想基盤 Azure Stack HCI構築と 既存基盤からの仮想マシン移行 グリー株式会社 開発本部 情報システム部 ITマネジメントグループ IT基盤チーム 新澤 千明

Slide 2

Slide 2 text

目次 1. 導入編 a. 利用目的と構成 b. どうしてAzureStackHCIにしたのか 2. 構築編 a. 構築と移行の流れ b. まずオンプレHyper-v基盤として動かそう c. OSを新しいバージョンで入れなおそう d. ネットワークアダプタのドライバ探し e. ディスクのファームはiDRACから入れる f. Network ATC の設定大変でした g. コマンドはサーバに直接ログオンして実行する 3. 運用編 a. 記憶域のサイジングについて b. 仮想マシンを転送しよう c. WACで全て管理できると思っていた d. 仮想マシンが意図しないノードに移動する e. トラブル発生・容量がたりない 2

Slide 3

Slide 3 text

1. 導入編 a. 利用目的と構成 b. どうしてAzureStackHCIにしたのか 2. 構築編 a. 構築と移行の流れ b. まずオンプレHyper-v基盤として動かそう c. OSを新しいバージョンで入れなおそう d. ネットワークアダプタのドライバ探し e. ディスクのファームはiDRACから入れる f. Network ATC の設定大変でした g. コマンドはサーバに直接ログオンして実行する 3. 運用編 a. 記憶域のサイジングについて b. 仮想マシンを転送しよう c. WACで全て管理できると思っていた d. 仮想マシンが意図しないノードに移動する e. トラブル発生・容量がたりない 3

Slide 4

Slide 4 text

● 構成 ○ WindowsServerの仮想マシンを格納する仮想基盤として利用する ○ 全社で利用する各種サーバに利用 利用目的と構成 4 DC AzureStackHCI格納VM ActiveDirectory他認証系 DNS DHCP 基幹系システム ファイルストレージ 他アプリケーションサーバ など100VM弱

Slide 5

Slide 5 text

1. 導入編 a. 利用目的と構成 b. どうしてAzureStackHCIにしたのか 2. 構築編 a. 構築と移行の流れ b. まずオンプレHyper-v基盤として動かそう c. OSを新しいバージョンで入れなおそう d. ネットワークアダプタのドライバ探し e. ディスクのファームはiDRACから入れる f. Network ATC の設定大変でした g. コマンドはサーバに直接ログオンして実行する 3. 運用編 a. 記憶域のサイジングについて b. 仮想マシンを転送しよう c. WACで全て管理できると思っていた d. 仮想マシンが意図しないノードに移動する e. トラブル発生・容量がたりない 5

Slide 6

Slide 6 text

どうしてAzureStackHCIにしたのか ● HCI入れ替えの経緯 ○ 既存のHyper-V ClusterがEOLになってリプレイスが必要に ○ Azureとオンプレの統合管理に夢を見た ○ 将来の機能追加でAzureとオンプレ間仮想マシン移動で柔軟な運用ができると聞いた ○ そもそもなぜオンプレにしたのか ■ スケールアウト・スケールアップしないサーバなら オンプレのほうがコストメリットがある ■ 障害発生時の切り分けが容易なことが多い

Slide 7

Slide 7 text

1. 導入編 a. 利用目的と構成 b. どうしてAzureStackHCIにしたのか 2. 構築編 a. 構築と移行の流れ b. まずオンプレHyper-v基盤として動かそう c. OSを新しいバージョンで入れなおそう d. ネットワークアダプタのドライバ探し e. ディスクのファームはiDRACから入れる f. Network ATC の設定大変でした g. コマンドはサーバに直接ログオンして実行する 3. 運用編 a. 記憶域のサイジングについて b. 仮想マシンを転送しよう c. WACで全て管理できると思っていた d. 仮想マシンが意図しないノードに移動する e. トラブル発生・容量がたりない 7

Slide 8

Slide 8 text

構築と移行の流れ ● WACのウィザードでAzureStackHCIを構築する ○ OSを入れなおす ○ 管理用ネットワークアダプタのドライバを入れる ○ NetworkATCを設定する ○ ディスクのドライバを iDRACから入れる ○ 中略 ● 既存環境から仮想マシンを移行する ○ バックアップアプライアンスで転送する ○ Exportコマンドで転送する ● うごく! 8

Slide 9

Slide 9 text

1. 導入編 a. 利用目的と構成 b. どうしてAzureStackHCIにしたのか 2. 構築編 a. 構築と移行の流れ b. まずオンプレHyper-v基盤として動かそう c. OSを新しいバージョンで入れなおそう d. ネットワークアダプタのドライバ探し e. ディスクのファームはiDRACから入れる f. Network ATC の設定大変でした g. コマンドはサーバに直接ログオンして実行する 3. 運用編 a. 記憶域のサイジングについて b. 仮想マシンを転送しよう c. WACで全て管理できると思っていた d. 仮想マシンが意図しないノードに移動する e. トラブル発生・容量がたりない 9

Slide 10

Slide 10 text

まずオンプレHyper-v基盤として動かそう ● 構成 ○ DELL AX-7525 * 3NodeCluster ○ DELL S5248F-ON * 2 ○ S2D 実効21.1TB(3Way Mirror) All NVMe Storage pool 10

Slide 11

Slide 11 text

1. 導入編 a. 利用目的と構成 b. どうしてAzureStackHCIにしたのか 2. 構築編 a. 構築と移行の流れ b. まずオンプレHyper-v基盤として動かそう c. OSを新しいバージョンで入れなおそう d. ネットワークアダプタのドライバ探し e. ディスクのファームはiDRACから入れる f. Network ATC の設定大変でした g. コマンドはサーバに直接ログオンして実行する 3. 運用編 a. 記憶域のサイジングについて b. 仮想マシンを転送しよう c. WACで全て管理できると思っていた d. 仮想マシンが意図しないノードに移動する e. トラブル発生・容量がたりない 11

Slide 12

Slide 12 text

● 1ノードだけ挙動がおかしかった。WMIが起動していない。 ● WMIを起動しなおすだけならすぐに終わるが、他に挙動がおかしいところがあるか わからなかった。 ● 次のバージョンがすでに公開されているし、OSを入れなおしてしまおう。 ● Learnの情報を参考にする。 https://learn.microsoft.com/en-us/azure-stack/hci/deploy/create-cl uster OSを新しいバージョンで入れなおそう 12

Slide 13

Slide 13 text

● OSはMS公式からダウンロードする。DELL独自のカスタマイズイメージはない。 ● AX-7525のダウンロードサイトにNICのドライバがない。 OSを新しいバージョンで入れなおそう 13

Slide 14

Slide 14 text

1. 導入編 a. 利用目的と構成 b. どうしてAzureStackHCIにしたのか 2. 構築編 a. 構築と移行の流れ b. まずオンプレHyper-v基盤として動かそう c. OSを新しいバージョンで入れなおそう d. ネットワークアダプタのドライバ探し e. ディスクのファームはiDRACから入れる f. Network ATC の設定大変でした g. コマンドはサーバに直接ログオンして実行する 3. 運用編 a. 記憶域のサイジングについて b. 仮想マシンを転送しよう c. WACで全て管理できると思っていた d. 仮想マシンが意図しないノードに移動する e. トラブル発生・容量がたりない 14

Slide 15

Slide 15 text

ネットワークアダプタのドライバ探し ● WACでの構築中、NetworkATCを設定するときにドライバを入れておく必要があ る。 ● AzureStackHCI用のAX-7525とPowerEdge R7525はハードウェア構成が同 じ。 ○ PowerEdge R7525用のダウンロードサイトで落とす。 ○ WindowsServer 2022用のドライバを使う。 15

Slide 16

Slide 16 text

1. 導入編 a. 利用目的と構成 b. どうしてAzureStackHCIにしたのか 2. 構築編 a. 構築と移行の流れ b. まずオンプレHyper-v基盤として動かそう c. OSを新しいバージョンで入れなおそう d. ネットワークアダプタのドライバ探し e. ディスクのファームはiDRACから入れる f. Network ATC の設定大変でした g. コマンドはサーバに直接ログオンして実行する 3. 運用編 a. 記憶域のサイジングについて b. 仮想マシンを転送しよう c. WACで全て管理できると思っていた d. 仮想マシンが意図しないノードに移動する e. トラブル発生・容量がたりない 16

Slide 17

Slide 17 text

ディスクのファームはiDRACから入れる ● NVMeのファームは、ディスクが動いていると入らない ○ iDRACからインストールしよう ○ Integrated Dell Remote Access Controller(iDRAC)Webインターフェイスを使用してファー ムウェアをリモートでアップデートする方法 17

Slide 18

Slide 18 text

1. 導入編 a. 利用目的と構成 b. どうしてAzureStackHCIにしたのか 2. 構築編 a. 構築と移行の流れ b. まずオンプレHyper-v基盤として動かそう c. OSを新しいバージョンで入れなおそう d. ネットワークアダプタのドライバ探し e. ディスクのファームはiDRACから入れる f. Network ATC の設定大変でした g. コマンドはサーバに直接ログオンして実行する 3. 運用編 a. 記憶域のサイジングについて b. 仮想マシンを転送しよう c. WACで全て管理できると思っていた d. 仮想マシンが意図しないノードに移動する e. トラブル発生・容量がたりない 18

Slide 19

Slide 19 text

Network ATC の設定大変でした ● うっかりMTUの設定をミスる。 ○ 9014にすべきところを1514にしてしまう。 ○ ドキュメントが見つからない。 ○ コマンドを叩いて調べた。 19

Slide 20

Slide 20 text

1. 導入編 a. 利用目的と構成 b. どうしてAzureStackHCIにしたのか 2. 構築編 a. 構築と移行の流れ b. まずオンプレHyper-v基盤として動かそう c. OSを新しいバージョンで入れなおそう d. ネットワークアダプタのドライバ探し e. ディスクのファームはiDRACから入れる f. Network ATC の設定大変でした g. コマンドはサーバに直接ログオンして実行する 3. 運用編 a. 記憶域のサイジングについて b. 仮想マシンを転送しよう c. WACで全て管理できると思っていた d. 仮想マシンが意図しないノードに移動する e. トラブル発生・容量がたりない 20

Slide 21

Slide 21 text

コマンドはサーバに直接ログオンして実行する ● ローカルPCのPowerShellからEnter-PSSessionで入って実行するとコケるのが ある。 ○ AzureStackHCIの各ノードに直接ログオンして構築すべき。 21

Slide 22

Slide 22 text

1. 導入編 a. 利用目的と構成 b. どうしてAzureStackHCIにしたのか 2. 構築編 a. 構築と移行の流れ b. まずオンプレHyper-v基盤として動かそう c. OSを新しいバージョンで入れなおそう d. ネットワークアダプタのドライバ探し e. ディスクのファームはiDRACから入れる f. Network ATC の設定大変でした g. コマンドはサーバに直接ログオンして実行する 3. 運用編 a. 記憶域のサイジングについて b. 仮想マシンを転送しよう c. WACで全て管理できると思っていた d. 仮想マシンが意図しないノードに移動する e. トラブル発生・容量がたりない 22

Slide 23

Slide 23 text

記憶域のサイジングについて ● 気が付いたら容量がカツカツにならないように、空き容量を確認しよう。 23

Slide 24

Slide 24 text

● Windows Admin CenterのDashboardに警告機能が付いた。 記憶域のサイジングについて 24

Slide 25

Slide 25 text

1. 導入編 a. 利用目的と構成 b. どうしてAzureStackHCIにしたのか 2. 構築編 a. 構築と移行の流れ b. まずオンプレHyper-v基盤として動かそう c. OSを新しいバージョンで入れなおそう d. ネットワークアダプタのドライバ探し e. ディスクのファームはiDRACから入れる f. Network ATC の設定大変でした g. コマンドはサーバに直接ログオンして実行する 3. 運用編 a. 記憶域のサイジングについて b. 仮想マシンを転送しよう c. WACで全て管理できると思っていた d. 仮想マシンが意図しないノードに移動する e. トラブル発生・容量がたりない 25

Slide 26

Slide 26 text

仮想マシンを転送しよう ● AzureMigrate(Private Preview)で仮想マシンを転送しよう ○ プライベートプレビューに招待してもらえた ★日本初★ ○ Azure → Azureのリージョン間転送では仮想マシン転送が数秒。期待できる!と思った。 26

Slide 27

Slide 27 text

仮想マシンを転送しよう ● AzureMigrateを使わなかった理由 ○ 機能が十分ではなかったが、 Private Preview段階だったため仕方ない。 ■ 転送中仮想マシンを止めねばならないが、 15分~30分かかる。 ■ ネットワークアダプタが変わって固定 IPアドレスが消える。 ■ これらは開発が進むにつれ、改善されていくそうです。 27

Slide 28

Slide 28 text

仮想マシンを転送しよう ● AzureMigrateの転送料金 ○ 管理VMがus-centralにある。 ○ データが日本リージョンから us-centralを経由して戻ってくるのでは リージョン間転送量がかさむのではないか、という不安。 ○ 管理VMを経由するのはメタデータのみ。 ○ 仮想マシンのデータはオンプレ toオンプレで転送される。 28

Slide 29

Slide 29 text

仮想マシンを転送しよう ● バックアップアプライアンスを用いて転送した 29

Slide 30

Slide 30 text

仮想マシンを転送しよう ● スナップショットを取れない構成の仮想マシンはexportコマンドを使う 30

Slide 31

Slide 31 text

仮想マシンを転送しよう ● NLBを組んでいる仮想マシンは転送経路上のスイッチにNLB許容する 31

Slide 32

Slide 32 text

1. 導入編 a. 利用目的と構成 b. どうしてAzureStackHCIにしたのか 2. 構築編 a. 構築と移行の流れ b. まずオンプレHyper-v基盤として動かそう c. OSを新しいバージョンで入れなおそう d. ネットワークアダプタのドライバ探し e. ディスクのファームはiDRACから入れる f. Network ATC の設定大変でした g. コマンドはサーバに直接ログオンして実行する 3. 運用編 a. 記憶域のサイジングについて b. 仮想マシンを転送しよう c. WACで全て管理できると思っていた d. 仮想マシンが意図しないノードに移動する e. トラブル発生・容量がたりない 32

Slide 33

Slide 33 text

WACで全て管理できると思っていた ● WACで全て管理できると思っていた ○ ユーザーごとに仮想マシン管理権限を付与できない ○ 障害でWACから表示が消えた仮想マシンを復旧させるときは、 結局Hyper-vManagerやFailoverClusterManagerを使った。 33

Slide 34

Slide 34 text

1. 導入編 a. 利用目的と構成 b. どうしてAzureStackHCIにしたのか 2. 構築編 a. 構築と移行の流れ b. まずオンプレHyper-v基盤として動かそう c. OSを新しいバージョンで入れなおそう d. ネットワークアダプタのドライバ探し e. ディスクのファームはiDRACから入れる f. Network ATC の設定大変でした g. コマンドはサーバに直接ログオンして実行する 3. 運用編 a. 記憶域のサイジングについて b. 仮想マシンを転送しよう c. WACで全て管理できると思っていた d. 仮想マシンが意図しないノードに移動する e. トラブル発生・容量がたりない 34

Slide 35

Slide 35 text

仮想マシンが意図しないノードに移動する ● 以前のWACでは意図したノードに仮想マシンを転送できなかった。 ○ どのホストを選んでも、内部的に Recommendedなホストに強制移動される ○ WACの機能が拡充されるとともに、 GUIで指定した移動先ホストに転送されるようになった 35

Slide 36

Slide 36 text

1. 導入編 a. 利用目的と構成 b. どうしてAzureStackHCIにしたのか 2. 構築編 a. 構築と移行の流れ b. まずオンプレHyper-v基盤として動かそう c. OSを新しいバージョンで入れなおそう d. ネットワークアダプタのドライバ探し e. ディスクのファームはiDRACから入れる f. Network ATC の設定大変でした g. コマンドはサーバに直接ログオンして実行する 3. 運用編 a. 記憶域のサイジングについて b. 仮想マシンを転送しよう c. WACで全て管理できると思っていた d. 仮想マシンが意図しないノードに移動する e. トラブル発生・容量がたりない 36

Slide 37

Slide 37 text

トラブル発生・容量がたりない ● トラブル発生・容量がたりない ○ 外部ストレージはAzureStackHCIのホストから マウントできない ○ 容量追加が必要な場合はノードを追加して対処する。 37

Slide 38

Slide 38 text

38