なれる！Azure Stack Operator

by kongou-ae

Slide 1

Slide 1 text

なれる！Azure Stack Hub Operator 2108 Update

Slide 2

Slide 2 text

自己紹介 ◼ 松本雄介 • SIer 勤務 • Azure と Azure Stack Hub のプリセールス・設計・構築・技術評価に従事 • IaaS とハイブリッドネットワークが得意分野 • Azure Stack Hub integrated system を導入して、4年ほど運用中

Slide 3

Slide 3 text

アジェンダ ◼ Azure Stack Hub Operatorとは ◼ Azure Stack Hub の運用 • キャパシティ管理 • 監視 • 障害対応 • バックアップ • パッチ適用・アップデート

Slide 4

Slide 4 text

本セッションのゴール ◼ Azure Stack Hub Operator という役割を知る ◼ Azure Stack Hub Operator の仕事を知る

Slide 5

Slide 5 text

注意事項 ◼ 前提条件 • Dell Technologies Integrated System for Microsoft Azure Stack Hub 14G • 2022/04時点での実装・情報・運用経験 • IaaSまでの話。PaaSの運用は対象外 ◼ その他 • 本セッションは個人的なものであり、所属組織の立場や意見を代表するものではありません

Slide 6

Slide 6 text

Azure Stack Hub Operator とは

Slide 7

Slide 7 text

そもそも Azure Stack Hub とは ◼ Azure Stack Hub とは • 誤：Hyper-V ベースの仮想基盤 • 正：アプライアンス型 Azure

Slide 8

Slide 8 text

そもそも Azure Stack Hub とは ◼ Azure Stack Hub とは • 誤：Hyper-V ベースの仮想基盤 • 正：アプライアンス型 Azure ◼ Azure Stack Hub の運用方法 • 誤：Windows Server として運用する • 正：アプライアンスのように運用する

Slide 9

Slide 9 text

Azure Stackの構成要素ファシリティ（電源・ラック・インターネット回線など） BMC Switch ToR Switch Host Node HLH Local Disk Local Disk Local Disk HW

Slide 10

Slide 10 text

Azure Stack Hub の構成要素ファシリティ（電源・ラック・インターネット回線など） BMC Switch ToR Switch Host Node HLH Local Disk Local Disk Win 2019 Local Disk Hyper-V Win 2019 HW運用管理ソフト HW

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Azure Stack Hub の構成要素ファシリティ（電源・ラック・インターネット回線など） BMC Switch ToR Switch Host Node HLH Local Disk Local Disk Failover Cluster Win 2019 Windows Server 2019 S2D, Virtual Disk, ReFS, SoFS Local Disk Hyper-V Infrastructure Role Instance Infrastructure Role xx Resource providers Azure Resource Manager UX（Portal, Template, PowerShell, CLI etc) Hyper-V Win 2019 HW運用管理ソフト AD ERCS HW Windows Azure Stack Hub 固有

Slide 14

Slide 14 text

Azure Stack Hub の構成要素ファシリティ（電源・ラック・インターネット回線など） BMC Switch ToR Switch Host Node HLH Local Disk Local Disk Failover Cluster Win 2019 Windows Server 2019 S2D, Virtual Disk, ReFS, SoFS Local Disk Hyper-V Infrastructure Role Instance Infrastructure Role xx Resource providers Azure Resource Manager Hyper-V Win 2019 HW運用管理ソフト AD ERCS HW Windows Azure Stack Hub 固有 UX（Portal, Template, PowerShell, CLI etc) Internals are internal. アプライアンス＝運用担当は内部構造にアクセスできない

Slide 15

Slide 15 text

Azure Stack Hub の操作方法ファシリティ（電源・ラック・インターネット回線など） BMC Switch ToR Switch Host Node HLH Local Disk Local Disk Failover Cluster Win 2019 Windows Server 2019 S2D, Virtual Disk, ReFS, SoFS Local Disk Hyper-V Infrastructure Role Instance Infrastructure Role xx Resource providers Azure Resource Manager Hyper-V Win 2019 HW運用管理ソフト AD ERCS HW Windows Azure Stack Hub 固有 UX（Portal, Template, PowerShell, CLI etc) Internals are internal. アプライアンス＝運用担当は内部構造にアクセスできない

Slide 16

Slide 16 text

Azure Stack Hub の操作方法 ◼ 過去の Windows Server ベースの仮想基盤とは全く違う

Slide 17

Slide 17 text

新しい役割 - Azure Stack Hub Operator - https://azure.microsoft.com/en-us/blog/why-your-team-needs-an-azure-stack-operator/ あなたが運用する

Slide 18

Slide 18 text

Azure Stack Hub Operatorの仕事 ◼ Azure Stack Hub というパブリッククラウドを運用管理する 1. キャパシティ管理 2. 監視 3. 障害対応 4. バックアップ 5. パッチ適用・アップデート https://azure.microsoft.com/en-us/blog/operating-azure-stack/

Slide 19

Slide 19 text

Azure Stack Hub 運用その１キャパシティ管理

Slide 20

Slide 20 text

その１：キャパシティ管理 ◼ Microsoft は Azure のキャパシティを管理している • パブリッククラウドのリソースは有限 • 万人に無限のリソースを使わせてはならない • 利用者の使えるリソースに制限をかける MSDNサブスクリプションに対する制限の例

Slide 21

Slide 21 text

その１：キャパシティ管理 ◼ Azure Stack Hub のリソースも有限 • Host Node のリソースには限りがある • 利用者に無限のリソースを使わせてはならない • 利用者の使えるリソースに制限をかける

Slide 22

Slide 22 text

その１：キャパシティ管理 ◼ 制限をかける：Quota、Plan、Offer、User Subscription • Quota：リソースプロバイダごとの制限 • Plan：複数の制限をまとめる • Offer：利用者向けに Plan をまとめる • User Subscription：ユーザと Offer を紐づける https://docs.microsoft.com/ja-jp/azure/azure-stack/azure-stack-plan-offer-quota-overview

Slide 23

Slide 23 text

その１：キャパシティ管理 ◼ Quota • リソースプロバイダごとに制限を決める Compute Network Storage https://docs.microsoft.com/ja-jp/azure/azure-stack/azure-stack-quota-types

Slide 24

Slide 24 text

その１：キャパシティ管理 ◼ Plan • リソースプロバイダごとに作成した制限を一つにまとめる

Slide 25

Slide 25 text

その１：キャパシティ管理 ◼ Offer • 利用者向けに Plan をまとめる • 誰でも使える “Public Offer” と、Azure Stack Hub Operator が利用者を指定する “Private Offer” がある

Slide 26

Slide 26 text

その１：キャパシティ管理 ◼ Azure の PAYG サブスクリプションは Public Offer

Slide 27

Slide 27 text

その１：キャパシティ管理 ◼ User Subscription • Azure Active Directory のユーザを Offer と紐づける • 紐づけた AAD のユーザでユーザ向けポータルにログインすると、サブスクリプションがある

Slide 28

Slide 28 text

その１：キャパシティ管理 ◼ もし Host Node のリソースを使いきったら？ • 既存の Azure Stack Hub にサーバを追加する • 16台の上限までは同一構成の Host Node を追加できる https://azure.microsoft.com/ja-jp/roadmap/ability-to-incrementally-add-capacity-to-azure-stack/ https://azure.microsoft.com/en-us/roadmap/azure-stack-integrated-systems-support-for-multiple-scale-units/

Slide 29

Slide 29 text

その１：キャパシティ管理 ◼ もし 16台まで増設したら？ • 新しい Azure Stack Hub 一式を買う。ただし、既存の Azure Stack Hub とは別環境になってしまう https://azure.microsoft.com/ja-jp/roadmap/ability-to-incrementally-add-capacity-to-azure-stack/ https://azure.microsoft.com/en-us/roadmap/azure-stack-integrated-systems-support-for-multiple-scale-units/

Slide 30

Slide 30 text

Azure Stack Hub 運用その２監視

Slide 31

Slide 31 text

Azure Stack Hub というアプリケーションが監視する範囲ファシリティ（電源・ラック・インターネット回線など） BMC Switch ToR Switch Host Node HLH Local Disk Local Disk Failover Cluster Win 2019 Windows Server 2019 S2D, Virtual Disk, ReFS, SoFS Local Disk Hyper-V Infrastructure Role Instance Infrastructure Role xx Resource providers Azure Resource Manager UX（Portal, Template, PowerShell, CLI etc) Hyper-V Win 2019 HW運用管理ソフト AD ERCS HW Windows Azure Stack Hub 固有

Slide 32

Slide 32 text

OEM ベンダのソフトウェアが監視する範囲ファシリティ（電源・ラック・インターネット回線など） BMC Switch ToR Switch Host Node HLH Local Disk Local Disk Failover Cluster Win 2019 Windows Server 2019 S2D, Virtual Disk, ReFS, SoFS Local Disk Hyper-V Infrastructure Role Instance Infrastructure Role xx Resource providers Azure Resource Manager UX（Portal, Template, PowerShell, CLI etc) Hyper-V Win 2019 HW運用管理ソフト AD ERCS HW Windows Azure Stack Hub 固有

Slide 33

Slide 33 text

Slide 34

Slide 34 text

その２：監視 ◼ Azure Stack Hub というアプリケーションが自分自身を監視する • Health Resource Provider が、各コンポーネントのイベントとメトリクス、ログをチェックしている • 参考：https://sec.ch9.ms/sessions/ignite/2016/BRK3115.pptx P24 ◼ エージェント型監視は無理 • Internals are internal. • サーバ内部にアクセスできないので、エージェントをインストールできない

Slide 35

Slide 35 text

その２：監視 ◼ 監視結果は API で公開される • Alerts、Region Health、Resource Healths、Resource Provider State • 外部に通知する機能（メールやTrapなど）はない • 監視結果をポータルで見られる。けど、24/365目視監視は・・・

Slide 36

Slide 36 text

その２：監視 ◼ 外部から API を叩いて監視する仕組みが別途必要 • 一般公開されているものは3つ • SCOM Management Pack • Nagios • Log Analytics • Microsoft は SCOM MP を継続的にメンテ中 • Zabbix はまだない模様？ SCOM MP

Slide 37

Slide 37 text

Slide 38

Slide 38 text

その２：監視 ◼ OEM ベンダのソフトウェアがハードウェアを監視する • ハードウェアベンダのツールでサーバ・NW 機器を監視する • 従来オンプレ運用と同じ世界 ◼ 他の監視サーバを使ってもよい • HLH はシングル。監視がシングル？ • 従来のオンプレ運用と同じ世界＝使い慣れた監視サーバで監視

Slide 39

Slide 39 text

Azure Stack Hub 運用その３障害対応

Slide 40

Slide 40 text

その３：障害対応 ◼ アラートメッセージの修復方法に従う • アラートメッセージに修復方法（REMEDIATION）が書いてある • 基本的には「ログ取ってサポートに送れ」 • なぜなら、Internals are internal だから • 原則、自分で直せません

Slide 41

Slide 41 text

その３：障害対応 ◼ Internal な部分のトラブルは Microsoft と一緒に直す 1. ログを取得してアップロードする 2. Azure ポータルからサポートリクエストをあげる 3. 原因を特定したサポート担当と一緒に直す ◼ ハードウェアなトラブルは OEM に解析・対応してもらう • 基本的には、いわゆるハードウェア保守対応と同じ

Slide 42

Slide 42 text

その３：障害対応 ◼ Azure Stack Hub ポータルからログを取得してアップロードボタン一つで必要なログの収集・アップロードが完了

Slide 43

Slide 43 text

その３：障害対応 ◼ Azure Portal からサポートリクエスト Cloud ID というユニークな識別子が必要。管理者向けポータルから確認

Slide 44

Slide 44 text

デモ：ログ取り

Slide 45

Slide 45 text

その３：障害対応 ◼ サポート担当と一緒に直す • Internals are internal. 内部を自由に操作できるのは Microsoft のみ • サポート担当と画面共有したうえで、リモートでサポート担当に指示してもらいながら自分で操作する

Slide 46

Slide 46 text

その３：障害対応 ◼ サポート担当と一緒に直す • 普段のERCSはPowerShellが制限されている（Privileged EndPoint） • Internals are internal • 全てのコマンドが実行できると、利用者に内部構造をいじられる • Just Enough Administratorを利用して、利用できるコマンドを制限している https://docs.microsoft.com/lt-lt/azure/azure-stack/azure-stack-privileged-endpoint

Slide 47

Slide 47 text

デモ：Privileged EndPoint

Slide 48

Slide 48 text

その３：障害対応 ◼ ERCS の真の力を開放する • 制限されたコマンドだけでは復旧作業ができない • “Get-SupportSessionToken ”を実行して Token を生成する • 生成されたTokenを Teams のチャットでサポート担当に渡す

Slide 49

Slide 49 text

その３：障害対応 ◼ ERCS の真の力を開放する • サポート担当が制限解除の Token をくれる • “Unlock-SupportSession” の引数に Token を入力する。 • ERCS が真の姿を現す。通常の PowerShell を使って Microsoft と復旧作業

Slide 50

Slide 50 text

その３：障害対応 ◼ サポート担当に直してもらう • Remote Support ※プレビュー • Diagnostics または DiagnosticsRepair の権限をサポートに委任 • サポートが特定のコマンドのみをリモートから実施して、Azure Stack Hub を診断・修復 https://docs.microsoft.com/en-us/azure-stack/operator/remote-support?view=azs-2108

Slide 51

Slide 51 text

その３：障害対応 ◼ 自己診断：Test-AzureStack • コマンド1つで Azure Stack Hub の状況を診断できる • 一連の項目を網羅的に自己診断 • 診断結果を視覚的にわかりやすく表示 • FAIL がでたらピンチ https://docs.microsoft.com/ja-jp/azure/azure-stack/azure-stack-diagnostic-test#running-the-validation-tool-and- accessing-results

Slide 52

Slide 52 text

その３：障害対応 ◼ 診断に失敗しても Test-AzureStack • 診断に失敗すると、-Repair オプションを利用した修復をお勧めされる • -Repair すると、修復してくれる • 意図せず停止した Infrastructure Role Instance を起動してくれた図

Slide 53

Slide 53 text

その３：障害対応 ◼ 自己診断：Azure Stack Validation Summary • Test-AzureStack の詳細がまとまった HTML ファイル • 何を自己診断しているのか、何が失敗したのかが分かる • ポータルからは見ることのできない低レイヤな情報が満載。ちょっと楽しい https://docs.microsoft.com/ja-jp/azure/azure-stack/azure-stack-diagnostic-test#running-the-validation-tool-and- accessing-results

Slide 54

Slide 54 text

Azure Stack Hub 運用その４バックアップ

Slide 55

Slide 55 text

その４：バックアップ ◼ Azure Stack Hub の全損に備えてバックアップを取る • バックアップファイルの保存先は Azure Stack Hub 外部のファイルサーバ • バックアップファイルのサイズは約20G • スケジュールバックアップと世代管理が可能 • 証明書でバックアップファイルを暗号化。自己証明書でもよい https://docs.microsoft.com/en-us/azure/azure-stack/azure-stack-backup-enable-backup-console

Slide 56

Slide 56 text

その４：バックアップ ◼ バックアップの対象 • バックアップには Azure Stack Hub の構成情報のみが保存される • Azure Stack Hub 上の Azure で作ったリソースやデータは、Azure Stack Hub のバックアップに含まれない • Azure Stack Hub 上の Azure で作ったリソースとデータを保護する責任は利用者にある

Slide 57

Slide 57 text

◼ バックアップの対象 • バックアップの範囲を利用者に説明すること • ユーザ側はサブスクリプション、RBAC、KeyVaultだけが戻る • 上記以外は全滅の模様その４：バックアップ https://docs.microsoft.com/en-us/azure/azure-stack/azure-stack-backup-recover-data#data-in-backups

Slide 58

Slide 58 text

Azure Stack Hub 運用その５パッチ適用・アップデート

Slide 59

Slide 59 text

その５：パッチ適用・アップデートファシリティ（電源・ラック・インターネット回線など） BMC Switch ToR Switch Host Node HLH Local Disk Local Disk Failover Cluster Win 2019 Windows Server 2019 S2D, Virtual Disk, ReFS, SoFS Local Disk Hyper-V Infrastructure Role Instance Infrastructure Role xx Resource providers Azure Resource Manager UX（Portal, Template, PowerShell, CLI etc) Hyper-V Win 2019 HW運用管理ソフト AD ERCS HW Windows Azure Stack Hub 固有 ①Microsoft 提供 Azure Stack Hub Update

Slide 60

Slide 60 text

Slide 61

Slide 61 text

Slide 62

Slide 62 text

Slide 63

Slide 63 text

その５：パッチ適用・アップデート ◼ 年に数回、アップデートがリリースされる • Windows Update の更新プログラム（該当するKBだけ） • Azure Stack Hub というアプリケーションの更新パッケージ ◼ サポートされるのは２つ前のバージョンまで • 2022年4月現在、2108、2102、2008はサポートあり、2005はサポート切れ • アップデートするしかない • 累積アップデートがないので、順番に適用する https://docs.microsoft.com/ja-jp/azure/azure-stack/azure-stack-servicing-policy#keep-your-system- under-support

Slide 64

Slide 64 text

その５：パッチ適用・アップデート ◼ 不定期で Hotfix がリリースされるる • Azure Stack Hub というアプリケーションの修正パッケージ • 不具合が改修されているから当てるべき。Microsoft は90日以内の適用を推奨 • 当てなくてもサポートには影響なし。ただし、アップデートを適用するには最新の Hotfix をあてる必要あり • Hotfix がリリースされているアップデートを適用する場合、アップデートと最新の Hotfix が同時にインストールされる https://docs.microsoft.com/ja-jp/azure/azure-stack/azure-stack-servicing-policy#keep-your-system- under-support

Slide 65

Slide 65 text

その５：パッチ適用・アップデート ◼ 新しい環境を作り直す • 今の環境にパッチを適用するのではなく、今の環境をパッチ適用済みの新しい環境に入れ替える方式 • https://aimless.jp/blog/archives/2018-12-16-updating-azurestack/

Slide 66

Slide 66 text

その５：パッチ適用・アップデート ◼ アップデート作業は簡単 • Azure Stack Hub 自身がアップデートと Hotfix の有無をチェック • ボタンをぽちっとな。終わるまで待つ • アップデート開始時に、Azure Stack Hub 自身が必要なファイルをダウンロードする

Slide 67

Slide 67 text

その５：パッチ適用・アップデート ◼ アップデート作業は全自動 • 大量のステップを自動的に順番に • 複数台のコンポーネントは1台ずつアップデートされる • 利用者が作成した Virtual Machine はライブマイグレーションされる • 作業は楽。だたし、待ち時間が異様に長い • リリースノートで想定所要時間がアナウンスされる • 4台構成に 2102 Update を適用したら15時間くらいかかった

Slide 68

Slide 68 text

その５：パッチ適用・アップデート ◼ アップデートに失敗したら • アップデート中に異常が起きると、そのステップで一旦停止 • サポートと協力して問題を解決 • 問題を解決できたらアップデートを“Resume”する。一時停止したステップから再開 • 切り戻しなしの片道切符

Slide 69

Slide 69 text

Slide 70

Slide 70 text

その５：パッチ適用・アップデート ◼ OEM ベンダ提供 Azure Stack Hub Update • OEMベンダのサポートページでアップデート用のパッケージが配信される • パッケージをダウンロードして、Azure Stack Hub 上のストレージアカウントにアップロードすると Update の画面に出てくるので、ボタンをぽちっとな。終わるまで待つ • Host Node のドライバだけでなく、BMC と連携して Host Node のファームウェアも更新する • Host Node のイメージを作り直すので、それなりに時間がかかる

Slide 71

Slide 71 text

Slide 72

Slide 72 text

その５：パッチ適用・アップデート ◼ OEM ベンダ提供 Hardware/Software Update • OEMベンダの仕組みに従って対応。ベンダごとに手順が違う • HLH のドライバとファームウェアを更新する • HLH と HW 運用管理 VM に Windows Updateを適用する • HW運用管理ソフトウェアを更新する • スイッチのファームウェアを更新する • Azure Stack Hub Updateと同じように、簡単な手順でアップデートを実施できるOEMベンダがおすすめ

Slide 73

Slide 73 text

まとめ

Slide 74

Slide 74 text

まとめ ◼ Azure Stack Hub Operatorとは ◼ Azure Stack Hub の運用 • キャパシティ管理 • 監視 • 障害対応 • バックアップ • パッチ適用・アップデート

Slide 75

Slide 75 text

Ask the speakers ◼ Azure Stack Hub のQAセッションに参加します ◼ お気軽にご質問ください！