なれる！Azure Stack Operator

1. なれる！Azure Stack Hub Operator 2108 Update
2. 自己紹介 ◼ 松本雄介 • SIer 勤務 • Azure と Azure Stack Hub のプリセールス・設計・構築・技術評価に従事 • IaaS とハイブリッドネットワークが得意分野 • Azure Stack Hub integrated system を導入して、4年ほど運用中
3. アジェンダ ◼ Azure Stack Hub Operatorとは ◼ Azure Stack Hub の運用 • キャパシティ管理 • 監視 • 障害対応 • バックアップ • パッチ適用・アップデート
4. 本セッションのゴール ◼ Azure Stack Hub Operator という役割を知る ◼ Azure Stack Hub Operator の仕事を知る
5. 注意事項 ◼ 前提条件 • Dell Technologies Integrated System for Microsoft Azure Stack Hub 14G • 2022/04時点での実装・情報・運用経験 • IaaSまでの話。PaaSの運用は対象外 ◼ その他 • 本セッションは個人的なものであり、所属組織の立場や意見を代表するものではあ りません
6. Azure Stack Hub Operator とは
7. そもそも Azure Stack Hub とは ◼ Azure Stack Hub とは • 誤：Hyper-V ベースの仮想基盤 • 正：アプライアンス型 Azure
8. そもそも Azure Stack Hub とは ◼ Azure Stack Hub とは • 誤：Hyper-V ベースの仮想基盤 • 正：アプライアンス型 Azure ◼ Azure Stack Hub の運用方法 • 誤：Windows Server として運用する • 正：アプライアンスのように運用する
9. Azure Stackの構成要素 ファシリティ（電源・ラック・インターネット回線など） BMC Switch ToR Switch Host Node HLH Local Disk Local Disk Local Disk HW
10. Azure Stack Hub の構成要素 ファシリティ（電源・ラック・インターネット回線など） BMC Switch ToR Switch Host Node HLH Local Disk Local Disk Win 2019 Local Disk Hyper-V Win 2019 HW運用管理ソフト HW
11. Azure Stack Hub の構成要素 ファシリティ（電源・ラック・インターネット回線など） BMC Switch ToR Switch Host Node HLH Local Disk Local Disk Failover Cluster Win 2019 Windows Server 2019 S2D, Virtual Disk, ReFS, SoFS Local Disk Hyper-V Hyper-V Win 2019 HW運用管理ソフト HW Windows
12. Azure Stack Hub の構成要素 ファシリティ（電源・ラック・インターネット回線など） BMC Switch ToR Switch Host Node HLH Local Disk Local Disk Failover Cluster Win 2019 Windows Server 2019 S2D, Virtual Disk, ReFS, SoFS Local Disk Hyper-V Infrastructure Role Instance Hyper-V Win 2019 HW運用管理ソフト AD ERCS HW Windows Azure Stack Hub 固有
13. Azure Stack Hub の構成要素 ファシリティ（電源・ラック・インターネット回線など） BMC Switch ToR Switch Host Node HLH Local Disk Local Disk Failover Cluster Win 2019 Windows Server 2019 S2D, Virtual Disk, ReFS, SoFS Local Disk Hyper-V Infrastructure Role Instance Infrastructure Role xx Resource providers Azure Resource Manager UX（Portal, Template, PowerShell, CLI etc) Hyper-V Win 2019 HW運用管理ソフト AD ERCS HW Windows Azure Stack Hub 固有
14. Azure Stack Hub の構成要素 ファシリティ（電源・ラック・インターネット回線など） BMC Switch ToR Switch Host Node HLH Local Disk Local Disk Failover Cluster Win 2019 Windows Server 2019 S2D, Virtual Disk, ReFS, SoFS Local Disk Hyper-V Infrastructure Role Instance Infrastructure Role xx Resource providers Azure Resource Manager Hyper-V Win 2019 HW運用管理ソフト AD ERCS HW Windows Azure Stack Hub 固有 UX（Portal, Template, PowerShell, CLI etc) Internals are internal. アプライアンス＝運用担当は内部構造にアクセスできない
15. Azure Stack Hub の操作方法 ファシリティ（電源・ラック・インターネット回線など） BMC Switch ToR Switch Host Node HLH Local Disk Local Disk Failover Cluster Win 2019 Windows Server 2019 S2D, Virtual Disk, ReFS, SoFS Local Disk Hyper-V Infrastructure Role Instance Infrastructure Role xx Resource providers Azure Resource Manager Hyper-V Win 2019 HW運用管理ソフト AD ERCS HW Windows Azure Stack Hub 固有 UX（Portal, Template, PowerShell, CLI etc) Internals are internal. アプライアンス＝運用担当は内部構造にアクセスできない
16. Azure Stack Hub の操作方法 ◼ 過去の Windows Server ベースの仮想基盤とは全く違う
17. 新しい役割 - Azure Stack Hub Operator - https://azure.microsoft.com/en-us/blog/why-your-team-needs-an-azure-stack-operator/ あなたが運用する
18. Azure Stack Hub Operatorの仕事 ◼ Azure Stack Hub というパブリッククラウドを運用管理する 1. キャパシティ管理 2. 監視 3. 障害対応 4. バックアップ 5. パッチ適用・アップデート https://azure.microsoft.com/en-us/blog/operating-azure-stack/
19. Azure Stack Hub 運用その１ キャパシティ管理
20. その１：キャパシティ管理 ◼ Microsoft は Azure のキャパシティを管理している • パブリッククラウドのリソースは有限 • 万人に無限のリソースを使わせてはならない • 利用者の使えるリソースに制限をかける MSDNサブスクリプションに対する制限の例
21. その１：キャパシティ管理 ◼ Azure Stack Hub のリソースも有限 • Host Node のリソースには限りがある • 利用者に無限のリソースを使わせてはならない • 利用者の使えるリソースに制限をかける
22. その１：キャパシティ管理 ◼ 制限をかける：Quota、Plan、Offer、User Subscription • Quota：リソースプロバイダごとの制限 • Plan：複数の制限をまとめる • Offer：利用者向けに Plan をまとめる • User Subscription：ユーザと Offer を紐づける https://docs.microsoft.com/ja-jp/azure/azure-stack/azure-stack-plan-offer-quota-overview
23. その１：キャパシティ管理 ◼ Quota • リソースプロバイダごとに制限を決める Compute Network Storage https://docs.microsoft.com/ja-jp/azure/azure-stack/azure-stack-quota-types
24. その１：キャパシティ管理 ◼ Plan • リソースプロバイダごとに作成した制限を一つにまとめる
25. その１：キャパシティ管理 ◼ Offer • 利用者向けに Plan をまとめる • 誰でも使える “Public Offer” と、Azure Stack Hub Operator が利用者を指定す る “Private Offer” がある
26. その１：キャパシティ管理 ◼ Azure の PAYG サブスクリプションは Public Offer
27. その１：キャパシティ管理 ◼ User Subscription • Azure Active Directory のユーザを Offer と紐づける • 紐づけた AAD のユーザでユーザ向けポータルにログインすると、サブスクリ プションがある
28. その１：キャパシティ管理 ◼ もし Host Node のリソースを使いきったら？ • 既存の Azure Stack Hub にサーバを追加する • 16台の上限までは同一構成の Host Node を追加できる https://azure.microsoft.com/ja-jp/roadmap/ability-to-incrementally-add-capacity-to-azure-stack/ https://azure.microsoft.com/en-us/roadmap/azure-stack-integrated-systems-support-for-multiple-scale-units/
29. その１：キャパシティ管理 ◼ もし 16台まで増設したら？ • 新しい Azure Stack Hub 一式を買う。ただし、既存の Azure Stack Hub とは別 環境になってしまう https://azure.microsoft.com/ja-jp/roadmap/ability-to-incrementally-add-capacity-to-azure-stack/ https://azure.microsoft.com/en-us/roadmap/azure-stack-integrated-systems-support-for-multiple-scale-units/
30. Azure Stack Hub 運用その２ 監視
31. Azure Stack Hub というアプリケーションが監視する範囲 ファシリティ（電源・ラック・インターネット回線など） BMC Switch ToR Switch Host Node HLH Local Disk Local Disk Failover Cluster Win 2019 Windows Server 2019 S2D, Virtual Disk, ReFS, SoFS Local Disk Hyper-V Infrastructure Role Instance Infrastructure Role xx Resource providers Azure Resource Manager UX（Portal, Template, PowerShell, CLI etc) Hyper-V Win 2019 HW運用管理ソフト AD ERCS HW Windows Azure Stack Hub 固有
32. OEM ベンダのソフトウェアが監視する範囲 ファシリティ（電源・ラック・インターネット回線など） BMC Switch ToR Switch Host Node HLH Local Disk Local Disk Failover Cluster Win 2019 Windows Server 2019 S2D, Virtual Disk, ReFS, SoFS Local Disk Hyper-V Infrastructure Role Instance Infrastructure Role xx Resource providers Azure Resource Manager UX（Portal, Template, PowerShell, CLI etc) Hyper-V Win 2019 HW運用管理ソフト AD ERCS HW Windows Azure Stack Hub 固有
33. Azure Stack Hub というアプリケーションが監視する範囲 ファシリティ（電源・ラック・インターネット回線など） BMC Switch ToR Switch Host Node HLH Local Disk Local Disk Failover Cluster Win 2019 Windows Server 2019 S2D, Virtual Disk, ReFS, SoFS Local Disk Hyper-V Infrastructure Role Instance Infrastructure Role xx Resource providers Azure Resource Manager UX（Portal, Template, PowerShell, CLI etc) Hyper-V Win 2019 HW運用管理ソフト AD ERCS HW Windows Azure Stack Hub 固有
34. その２：監視 ◼ Azure Stack Hub というアプリケーションが自分自身を監視する • Health Resource Provider が、各コンポーネントのイベントとメトリクス、ロ グをチェックしている • 参考：https://sec.ch9.ms/sessions/ignite/2016/BRK3115.pptx P24 ◼ エージェント型監視は無理 • Internals are internal. • サーバ内部にアクセスできないので、エージェントをインストールできない
35. その２：監視 ◼ 監視結果は API で公開される • Alerts、Region Health、Resource Healths、Resource Provider State • 外部に通知する機能（メールやTrapなど）はない • 監視結果をポータルで見られる。けど、24/365目視監視は・・・
36. その２：監視 ◼ 外部から API を叩いて監視する仕組みが別途必要 • 一般公開されているものは3つ • SCOM Management Pack • Nagios • Log Analytics • Microsoft は SCOM MP を継続的にメンテ中 • Zabbix はまだない模様？ SCOM MP
37. OEM ベンダのソフトウェアが監視する範囲 ファシリティ（電源・ラック・インターネット回線など） BMC Switch ToR Switch Host Node HLH Local Disk Local Disk Failover Cluster Win 2019 Windows Server 2019 S2D, Virtual Disk, ReFS, SoFS Local Disk Hyper-V Infrastructure Role Instance Infrastructure Role xx Resource providers Azure Resource Manager UX（Portal, Template, PowerShell, CLI etc) Hyper-V Win 2019 HW運用管理ソフト AD ERCS HW Windows Azure Stack Hub 固有
38. その２：監視 ◼ OEM ベンダのソフトウェアがハードウェアを監視する • ハードウェアベンダのツールでサーバ・NW 機器を監視する • 従来オンプレ運用と同じ世界 ◼ 他の監視サーバを使ってもよい • HLH はシングル。監視がシングル？ • 従来のオンプレ運用と同じ世界＝使い慣れた監視サーバで監視
39. Azure Stack Hub 運用その３ 障害対応
40. その３：障害対応 ◼ アラートメッセージの修復方法に従う • アラートメッセージに修復方法（REMEDIATION）が書いてある • 基本的には「ログ取ってサポートに送れ」 • なぜなら、Internals are internal だから • 原則、自分で直せません
41. その３：障害対応 ◼ Internal な部分のトラブルは Microsoft と一緒に直す 1. ログを取得してアップロードする 2. Azure ポータルからサポートリクエストをあげる 3. 原因を特定したサポート担当と一緒に直す ◼ ハードウェアなトラブルは OEM に解析・対応してもらう • 基本的には、いわゆるハードウェア保守対応と同じ
42. その３：障害対応 ◼ Azure Stack Hub ポータルからログを取得してアップロード ボタン一つで必要なログの収集・アップロードが完了
43. その３：障害対応 ◼ Azure Portal からサポートリクエスト Cloud ID というユニークな識別子が必要。管理者向けポータルから確認
44. デモ：ログ取り
45. その３：障害対応 ◼ サポート担当と一緒に直す • Internals are internal. 内部を自由に操作できるのは Microsoft のみ • サポート担当と画面共有したうえで、リモートでサポート担当に指示してもら いながら自分で操作する
46. その３：障害対応 ◼ サポート担当と一緒に直す • 普段のERCSはPowerShellが制限されている（Privileged EndPoint） • Internals are internal • 全てのコマンドが実行できると、利用者に内部構造をいじられる • Just Enough Administratorを利用して、利用できるコマンドを制限している https://docs.microsoft.com/lt-lt/azure/azure-stack/azure-stack-privileged-endpoint
47. デモ：Privileged EndPoint
48. その３：障害対応 ◼ ERCS の真の力を開放する • 制限されたコマンドだけでは復旧作業ができない • “Get-SupportSessionToken ”を実行して Token を生成する • 生成されたTokenを Teams のチャットでサポート担当に渡す
49. その３：障害対応 ◼ ERCS の真の力を開放する • サポート担当が制限解除の Token をくれる • “Unlock-SupportSession” の引数に Token を入力する。 • ERCS が真の姿を現す。通常の PowerShell を使って Microsoft と復旧作業
50. その３：障害対応 ◼ サポート担当に直してもらう • Remote Support ※プレビュー • Diagnostics または DiagnosticsRepair の権限をサポートに委任 • サポートが特定のコマンドのみをリモートから実施して、Azure Stack Hub を診断・修復 https://docs.microsoft.com/en-us/azure-stack/operator/remote-support?view=azs-2108
51. その３：障害対応 ◼ 自己診断：Test-AzureStack • コマンド1つで Azure Stack Hub の状況を診断できる • 一連の項目を網羅的に自己診断 • 診断結果を視覚的にわかりやすく表示 • FAIL がでたらピンチ https://docs.microsoft.com/ja-jp/azure/azure-stack/azure-stack-diagnostic-test#running-the-validation-tool-and- accessing-results
52. その３：障害対応 ◼ 診断に失敗しても Test-AzureStack • 診断に失敗すると、-Repair オプションを利用した修復をお勧めされる • -Repair すると、修復してくれる • 意図せず停止した Infrastructure Role Instance を起動してくれた図
53. その３：障害対応 ◼ 自己診断：Azure Stack Validation Summary • Test-AzureStack の詳細がまとまった HTML ファイル • 何を自己診断しているのか、 何が失敗したのかが分かる • ポータルからは見ることのできない 低レイヤな情報が満載。 ちょっと楽しい https://docs.microsoft.com/ja-jp/azure/azure-stack/azure-stack-diagnostic-test#running-the-validation-tool-and- accessing-results
54. Azure Stack Hub 運用その４ バックアップ
55. その４：バックアップ ◼ Azure Stack Hub の全損に備えてバックアップを取る • バックアップファイルの保存先は Azure Stack Hub 外部のファイルサーバ • バックアップファイルのサイズは約20G • スケジュールバックアップと世代管理が可能 • 証明書でバックアップファイルを暗号化。自己証明書でもよい https://docs.microsoft.com/en-us/azure/azure-stack/azure-stack-backup-enable-backup-console
56. その４：バックアップ ◼ バックアップの対象 • バックアップには Azure Stack Hub の構成情報のみが保存される • Azure Stack Hub 上の Azure で作ったリソースやデータは、Azure Stack Hub のバックアップに含まれない • Azure Stack Hub 上の Azure で作ったリソースとデータを保護する責任は利 用者にある
57. ◼ バックアップの対象 • バックアップの範囲を利用者に説明すること • ユーザ側はサブスクリプション、RBAC、KeyVaultだけが戻る • 上記以外は全滅の模様 その４：バックアップ https://docs.microsoft.com/en-us/azure/azure-stack/azure-stack-backup-recover-data#data-in-backups
58. Azure Stack Hub 運用その５ パッチ適用・アップデート
59. その５：パッチ適用・アップデート ファシリティ（電源・ラック・インターネット回線など） BMC Switch ToR Switch Host Node HLH Local Disk Local Disk Failover Cluster Win 2019 Windows Server 2019 S2D, Virtual Disk, ReFS, SoFS Local Disk Hyper-V Infrastructure Role Instance Infrastructure Role xx Resource providers Azure Resource Manager UX（Portal, Template, PowerShell, CLI etc) Hyper-V Win 2019 HW運用管理ソフト AD ERCS HW Windows Azure Stack Hub 固有 ①Microsoft 提供 Azure Stack Hub Update
60. その５：パッチ適用・アップデート ファシリティ（電源・ラック・インターネット回線など） BMC Switch ToR Switch Host Node HLH Local Disk Local Disk Failover Cluster Win 2019 Windows Server 2019 S2D, Virtual Disk, ReFS, SoFS Local Disk Hyper-V Infrastructure Role Instance Infrastructure Role xx Resource providers Azure Resource Manager UX（Portal, Template, PowerShell, CLI etc) Hyper-V Win 2019 HW運用管理ソフト AD ERCS HW Windows Azure Stack Hub 固有 ②OEM ベンダ提供 Azure Stack Hub Update
61. その５：パッチ適用・アップデート ファシリティ（電源・ラック・インターネット回線など） BMC Switch ToR Switch Host Node HLH Local Disk Local Disk Failover Cluster Win 2019 Windows Server 2019 S2D, Virtual Disk, ReFS, SoFS Local Disk Hyper-V Infrastructure Role Instance Infrastructure Role xx Resource providers Azure Resource Manager UX（Portal, Template, PowerShell, CLI etc) Hyper-V Win 2019 HW運用管理ソフト AD ERCS HW Windows Azure Stack Hub 固有 ③OEM ベンダ提供 Hardware/Software Update
62. その５：パッチ適用・アップデート ファシリティ（電源・ラック・インターネット回線など） BMC Switch ToR Switch Host Node HLH Local Disk Local Disk Failover Cluster Win 2019 Windows Server 2019 S2D, Virtual Disk, ReFS, SoFS Local Disk Hyper-V Infrastructure Role Instance Infrastructure Role xx Resource providers Azure Resource Manager UX（Portal, Template, PowerShell, CLI etc) Hyper-V Win 2019 HW運用管理ソフト AD ERCS HW Windows Azure Stack Hub 固有 ①Microsoft 提供 Azure Stack Hub Update
63. その５：パッチ適用・アップデート ◼ 年に数回、アップデートがリリースされる • Windows Update の更新プログラム（該当するKBだけ） • Azure Stack Hub というアプリケーションの更新パッケージ ◼ サポートされるのは２つ前のバージョンまで • 2022年4月現在、2108、2102、2008はサポートあり、2005はサポート切れ • アップデートするしかない • 累積アップデートがないので、順番に適用する https://docs.microsoft.com/ja-jp/azure/azure-stack/azure-stack-servicing-policy#keep-your-system- under-support
64. その５：パッチ適用・アップデート ◼ 不定期で Hotfix がリリースされるる • Azure Stack Hub というアプリケーションの修正パッケージ • 不具合が改修されているから当てるべき。Microsoft は90日以内の適用を推奨 • 当てなくてもサポートには影響なし。ただし、アップデートを適用するには最 新の Hotfix をあてる必要あり • Hotfix がリリースされているアップデートを適用する場合、アップデートと最 新の Hotfix が同時にインストールされる https://docs.microsoft.com/ja-jp/azure/azure-stack/azure-stack-servicing-policy#keep-your-system- under-support
65. その５：パッチ適用・アップデート ◼ 新しい環境を作り直す • 今の環境にパッチを適用するのではなく、今の環境をパッチ適用済みの新しい 環境に入れ替える方式 • https://aimless.jp/blog/archives/2018-12-16-updating-azurestack/
66. その５：パッチ適用・アップデート ◼ アップデート作業は簡単 • Azure Stack Hub 自身がアップデートと Hotfix の有無をチェック • ボタンをぽちっとな。終わるまで待つ • アップデート開始時に、Azure Stack Hub 自身が必要なファイルをダウンロー ドする
67. その５：パッチ適用・アップデート ◼ アップデート作業は全自動 • 大量のステップを自動的に順番に • 複数台のコンポーネントは1台ずつアップデートされる • 利用者が作成した Virtual Machine はライブマイグレーションされる • 作業は楽。だたし、待ち時間が異様に長い • リリースノートで想定所要時間がアナウンスされる • 4台構成に 2102 Update を適用したら15時間くらいかかった
68. その５：パッチ適用・アップデート ◼ アップデートに失敗したら • アップデート中に異常が起きると、そのステップで一旦停止 • サポートと協力して問題を解決 • 問題を解決できたらアップデートを“Resume”する。一時停止したステップか ら再開 • 切り戻しなしの片道切符
69. その５：パッチ適用・アップデート ファシリティ（電源・ラック・インターネット回線など） BMC Switch ToR Switch Host Node HLH Local Disk Local Disk Failover Cluster Win 2019 Windows Server 2019 S2D, Virtual Disk, ReFS, SoFS Local Disk Hyper-V Infrastructure Role Instance Infrastructure Role xx Resource providers Azure Resource Manager UX（Portal, Template, PowerShell, CLI etc) Hyper-V Win 2019 HW運用管理ソフト AD ERCS HW Windows Azure Stack Hub 固有 ②OEM ベンダ提供 Azure Stack Hub Update
70. その５：パッチ適用・アップデート ◼ OEM ベンダ提供 Azure Stack Hub Update • OEMベンダのサポートページでアップデート用のパッケージが配信される • パッケージをダウンロードして、Azure Stack Hub 上のストレージアカウント にアップロードすると Update の画面に出てくるので、ボタンをぽちっとな。 終わるまで待つ • Host Node のドライバだけでなく、BMC と連携して Host Node のファーム ウェアも更新する • Host Node のイメージを作り直すので、それなりに時間がかかる
71. その５：パッチ適用・アップデート ファシリティ（電源・ラック・インターネット回線など） BMC Switch ToR Switch Host Node HLH Local Disk Local Disk Failover Cluster Win 2019 Windows Server 2019 S2D, Virtual Disk, ReFS, SoFS Local Disk Hyper-V Infrastructure Role Instance Infrastructure Role xx Resource providers Azure Resource Manager UX（Portal, Template, PowerShell, CLI etc) Hyper-V Win 2019 HW運用管理ソフト AD ERCS HW Windows Azure Stack Hub 固有 ③OEM ベンダ提供 Hardware/Software Update
72. その５：パッチ適用・アップデート ◼ OEM ベンダ提供 Hardware/Software Update • OEMベンダの仕組みに従って対応。ベンダごとに手順が違う • HLH のドライバとファームウェアを更新する • HLH と HW 運用管理 VM に Windows Updateを適用する • HW運用管理ソフトウェアを更新する • スイッチのファームウェアを更新する • Azure Stack Hub Updateと同じように、簡単な手順でアップデートを実施でき るOEMベンダがおすすめ
73. まとめ
74. まとめ ◼ Azure Stack Hub Operatorとは ◼ Azure Stack Hub の運用 • キャパシティ管理 • 監視 • 障害対応 • バックアップ • パッチ適用・アップデート
75. Ask the speakers ◼ Azure Stack Hub のQAセッションに参加します ◼ お気軽にご質問ください！