Upgrade to Pro — share decks privately, control downloads, hide ads and more …

なれる!Azure Stack Operator

kongou-ae
October 24, 2018

なれる!Azure Stack Operator

kongou-ae

October 24, 2018
Tweet

More Decks by kongou-ae

Other Decks in Technology

Transcript

  1. 自己紹介 ◼ 松本雄介 • SIer 勤務 • Azure と Azure

    Stack Hub のプリセールス・設計・構築・技術評価に従事 • IaaS とハイブリッドネットワークが得意分野 • Azure Stack Hub integrated system を導入して、4年ほど運用中
  2. アジェンダ ◼ Azure Stack Hub Operatorとは ◼ Azure Stack Hub

    の運用 • キャパシティ管理 • 監視 • 障害対応 • バックアップ • パッチ適用・アップデート
  3. 注意事項 ◼ 前提条件 • Dell Technologies Integrated System for Microsoft

    Azure Stack Hub 14G • 2022/04時点での実装・情報・運用経験 • IaaSまでの話。PaaSの運用は対象外 ◼ その他 • 本セッションは個人的なものであり、所属組織の立場や意見を代表するものではあ りません
  4. そもそも Azure Stack Hub とは ◼ Azure Stack Hub とは

    • 誤:Hyper-V ベースの仮想基盤 • 正:アプライアンス型 Azure
  5. そもそも Azure Stack Hub とは ◼ Azure Stack Hub とは

    • 誤:Hyper-V ベースの仮想基盤 • 正:アプライアンス型 Azure ◼ Azure Stack Hub の運用方法 • 誤:Windows Server として運用する • 正:アプライアンスのように運用する
  6. Azure Stack Hub の構成要素 ファシリティ(電源・ラック・インターネット回線など) BMC Switch ToR Switch Host

    Node HLH Local Disk Local Disk Win 2019 Local Disk Hyper-V Win 2019 HW運用管理ソフト HW
  7. Azure Stack Hub の構成要素 ファシリティ(電源・ラック・インターネット回線など) BMC Switch ToR Switch Host

    Node HLH Local Disk Local Disk Failover Cluster Win 2019 Windows Server 2019 S2D, Virtual Disk, ReFS, SoFS Local Disk Hyper-V Hyper-V Win 2019 HW運用管理ソフト HW Windows
  8. Azure Stack Hub の構成要素 ファシリティ(電源・ラック・インターネット回線など) BMC Switch ToR Switch Host

    Node HLH Local Disk Local Disk Failover Cluster Win 2019 Windows Server 2019 S2D, Virtual Disk, ReFS, SoFS Local Disk Hyper-V Infrastructure Role Instance Hyper-V Win 2019 HW運用管理ソフト AD ERCS HW Windows Azure Stack Hub 固有
  9. Azure Stack Hub の構成要素 ファシリティ(電源・ラック・インターネット回線など) BMC Switch ToR Switch Host

    Node HLH Local Disk Local Disk Failover Cluster Win 2019 Windows Server 2019 S2D, Virtual Disk, ReFS, SoFS Local Disk Hyper-V Infrastructure Role Instance Infrastructure Role xx Resource providers Azure Resource Manager UX(Portal, Template, PowerShell, CLI etc) Hyper-V Win 2019 HW運用管理ソフト AD ERCS HW Windows Azure Stack Hub 固有
  10. Azure Stack Hub の構成要素 ファシリティ(電源・ラック・インターネット回線など) BMC Switch ToR Switch Host

    Node HLH Local Disk Local Disk Failover Cluster Win 2019 Windows Server 2019 S2D, Virtual Disk, ReFS, SoFS Local Disk Hyper-V Infrastructure Role Instance Infrastructure Role xx Resource providers Azure Resource Manager Hyper-V Win 2019 HW運用管理ソフト AD ERCS HW Windows Azure Stack Hub 固有 UX(Portal, Template, PowerShell, CLI etc) Internals are internal. アプライアンス=運用担当は内部構造にアクセスできない
  11. Azure Stack Hub の操作方法 ファシリティ(電源・ラック・インターネット回線など) BMC Switch ToR Switch Host

    Node HLH Local Disk Local Disk Failover Cluster Win 2019 Windows Server 2019 S2D, Virtual Disk, ReFS, SoFS Local Disk Hyper-V Infrastructure Role Instance Infrastructure Role xx Resource providers Azure Resource Manager Hyper-V Win 2019 HW運用管理ソフト AD ERCS HW Windows Azure Stack Hub 固有 UX(Portal, Template, PowerShell, CLI etc) Internals are internal. アプライアンス=運用担当は内部構造にアクセスできない
  12. Azure Stack Hub Operatorの仕事 ◼ Azure Stack Hub というパブリッククラウドを運用管理する 1.

    キャパシティ管理 2. 監視 3. 障害対応 4. バックアップ 5. パッチ適用・アップデート https://azure.microsoft.com/en-us/blog/operating-azure-stack/
  13. その1:キャパシティ管理 ◼ Azure Stack Hub のリソースも有限 • Host Node のリソースには限りがある

    • 利用者に無限のリソースを使わせてはならない • 利用者の使えるリソースに制限をかける
  14. その1:キャパシティ管理 ◼ 制限をかける:Quota、Plan、Offer、User Subscription • Quota:リソースプロバイダごとの制限 • Plan:複数の制限をまとめる • Offer:利用者向けに

    Plan をまとめる • User Subscription:ユーザと Offer を紐づける https://docs.microsoft.com/ja-jp/azure/azure-stack/azure-stack-plan-offer-quota-overview
  15. その1:キャパシティ管理 ◼ Offer • 利用者向けに Plan をまとめる • 誰でも使える “Public

    Offer” と、Azure Stack Hub Operator が利用者を指定す る “Private Offer” がある
  16. その1:キャパシティ管理 ◼ User Subscription • Azure Active Directory のユーザを Offer

    と紐づける • 紐づけた AAD のユーザでユーザ向けポータルにログインすると、サブスクリ プションがある
  17. その1:キャパシティ管理 ◼ もし Host Node のリソースを使いきったら? • 既存の Azure Stack

    Hub にサーバを追加する • 16台の上限までは同一構成の Host Node を追加できる https://azure.microsoft.com/ja-jp/roadmap/ability-to-incrementally-add-capacity-to-azure-stack/ https://azure.microsoft.com/en-us/roadmap/azure-stack-integrated-systems-support-for-multiple-scale-units/
  18. その1:キャパシティ管理 ◼ もし 16台まで増設したら? • 新しい Azure Stack Hub 一式を買う。ただし、既存の

    Azure Stack Hub とは別 環境になってしまう https://azure.microsoft.com/ja-jp/roadmap/ability-to-incrementally-add-capacity-to-azure-stack/ https://azure.microsoft.com/en-us/roadmap/azure-stack-integrated-systems-support-for-multiple-scale-units/
  19. Azure Stack Hub というアプリケーションが監視する範囲 ファシリティ(電源・ラック・インターネット回線など) BMC Switch ToR Switch Host

    Node HLH Local Disk Local Disk Failover Cluster Win 2019 Windows Server 2019 S2D, Virtual Disk, ReFS, SoFS Local Disk Hyper-V Infrastructure Role Instance Infrastructure Role xx Resource providers Azure Resource Manager UX(Portal, Template, PowerShell, CLI etc) Hyper-V Win 2019 HW運用管理ソフト AD ERCS HW Windows Azure Stack Hub 固有
  20. OEM ベンダのソフトウェアが監視する範囲 ファシリティ(電源・ラック・インターネット回線など) BMC Switch ToR Switch Host Node HLH

    Local Disk Local Disk Failover Cluster Win 2019 Windows Server 2019 S2D, Virtual Disk, ReFS, SoFS Local Disk Hyper-V Infrastructure Role Instance Infrastructure Role xx Resource providers Azure Resource Manager UX(Portal, Template, PowerShell, CLI etc) Hyper-V Win 2019 HW運用管理ソフト AD ERCS HW Windows Azure Stack Hub 固有
  21. Azure Stack Hub というアプリケーションが監視する範囲 ファシリティ(電源・ラック・インターネット回線など) BMC Switch ToR Switch Host

    Node HLH Local Disk Local Disk Failover Cluster Win 2019 Windows Server 2019 S2D, Virtual Disk, ReFS, SoFS Local Disk Hyper-V Infrastructure Role Instance Infrastructure Role xx Resource providers Azure Resource Manager UX(Portal, Template, PowerShell, CLI etc) Hyper-V Win 2019 HW運用管理ソフト AD ERCS HW Windows Azure Stack Hub 固有
  22. その2:監視 ◼ Azure Stack Hub というアプリケーションが自分自身を監視する • Health Resource Provider

    が、各コンポーネントのイベントとメトリクス、ロ グをチェックしている • 参考:https://sec.ch9.ms/sessions/ignite/2016/BRK3115.pptx P24 ◼ エージェント型監視は無理 • Internals are internal. • サーバ内部にアクセスできないので、エージェントをインストールできない
  23. その2:監視 ◼ 監視結果は API で公開される • Alerts、Region Health、Resource Healths、Resource Provider

    State • 外部に通知する機能(メールやTrapなど)はない • 監視結果をポータルで見られる。けど、24/365目視監視は・・・
  24. その2:監視 ◼ 外部から API を叩いて監視する仕組みが別途必要 • 一般公開されているものは3つ • SCOM Management

    Pack • Nagios • Log Analytics • Microsoft は SCOM MP を継続的にメンテ中 • Zabbix はまだない模様? SCOM MP
  25. OEM ベンダのソフトウェアが監視する範囲 ファシリティ(電源・ラック・インターネット回線など) BMC Switch ToR Switch Host Node HLH

    Local Disk Local Disk Failover Cluster Win 2019 Windows Server 2019 S2D, Virtual Disk, ReFS, SoFS Local Disk Hyper-V Infrastructure Role Instance Infrastructure Role xx Resource providers Azure Resource Manager UX(Portal, Template, PowerShell, CLI etc) Hyper-V Win 2019 HW運用管理ソフト AD ERCS HW Windows Azure Stack Hub 固有
  26. その2:監視 ◼ OEM ベンダのソフトウェアがハードウェアを監視する • ハードウェアベンダのツールでサーバ・NW 機器を監視する • 従来オンプレ運用と同じ世界 ◼

    他の監視サーバを使ってもよい • HLH はシングル。監視がシングル? • 従来のオンプレ運用と同じ世界=使い慣れた監視サーバで監視
  27. その3:障害対応 ◼ Internal な部分のトラブルは Microsoft と一緒に直す 1. ログを取得してアップロードする 2. Azure

    ポータルからサポートリクエストをあげる 3. 原因を特定したサポート担当と一緒に直す ◼ ハードウェアなトラブルは OEM に解析・対応してもらう • 基本的には、いわゆるハードウェア保守対応と同じ
  28. その3:障害対応 ◼ サポート担当と一緒に直す • Internals are internal. 内部を自由に操作できるのは Microsoft のみ

    • サポート担当と画面共有したうえで、リモートでサポート担当に指示してもら いながら自分で操作する
  29. その3:障害対応 ◼ サポート担当と一緒に直す • 普段のERCSはPowerShellが制限されている(Privileged EndPoint) • Internals are internal

    • 全てのコマンドが実行できると、利用者に内部構造をいじられる • Just Enough Administratorを利用して、利用できるコマンドを制限している https://docs.microsoft.com/lt-lt/azure/azure-stack/azure-stack-privileged-endpoint
  30. その3:障害対応 ◼ ERCS の真の力を開放する • サポート担当が制限解除の Token をくれる • “Unlock-SupportSession”

    の引数に Token を入力する。 • ERCS が真の姿を現す。通常の PowerShell を使って Microsoft と復旧作業
  31. その3:障害対応 ◼ サポート担当に直してもらう • Remote Support ※プレビュー • Diagnostics または

    DiagnosticsRepair の権限をサポートに委任 • サポートが特定のコマンドのみをリモートから実施して、Azure Stack Hub を診断・修復 https://docs.microsoft.com/en-us/azure-stack/operator/remote-support?view=azs-2108
  32. その3:障害対応 ◼ 自己診断:Test-AzureStack • コマンド1つで Azure Stack Hub の状況を診断できる •

    一連の項目を網羅的に自己診断 • 診断結果を視覚的にわかりやすく表示 • FAIL がでたらピンチ https://docs.microsoft.com/ja-jp/azure/azure-stack/azure-stack-diagnostic-test#running-the-validation-tool-and- accessing-results
  33. その3:障害対応 ◼ 自己診断:Azure Stack Validation Summary • Test-AzureStack の詳細がまとまった HTML

    ファイル • 何を自己診断しているのか、 何が失敗したのかが分かる • ポータルからは見ることのできない 低レイヤな情報が満載。 ちょっと楽しい https://docs.microsoft.com/ja-jp/azure/azure-stack/azure-stack-diagnostic-test#running-the-validation-tool-and- accessing-results
  34. その4:バックアップ ◼ Azure Stack Hub の全損に備えてバックアップを取る • バックアップファイルの保存先は Azure Stack

    Hub 外部のファイルサーバ • バックアップファイルのサイズは約20G • スケジュールバックアップと世代管理が可能 • 証明書でバックアップファイルを暗号化。自己証明書でもよい https://docs.microsoft.com/en-us/azure/azure-stack/azure-stack-backup-enable-backup-console
  35. その4:バックアップ ◼ バックアップの対象 • バックアップには Azure Stack Hub の構成情報のみが保存される •

    Azure Stack Hub 上の Azure で作ったリソースやデータは、Azure Stack Hub のバックアップに含まれない • Azure Stack Hub 上の Azure で作ったリソースとデータを保護する責任は利 用者にある
  36. その5:パッチ適用・アップデート ファシリティ(電源・ラック・インターネット回線など) BMC Switch ToR Switch Host Node HLH Local

    Disk Local Disk Failover Cluster Win 2019 Windows Server 2019 S2D, Virtual Disk, ReFS, SoFS Local Disk Hyper-V Infrastructure Role Instance Infrastructure Role xx Resource providers Azure Resource Manager UX(Portal, Template, PowerShell, CLI etc) Hyper-V Win 2019 HW運用管理ソフト AD ERCS HW Windows Azure Stack Hub 固有 ①Microsoft 提供 Azure Stack Hub Update
  37. その5:パッチ適用・アップデート ファシリティ(電源・ラック・インターネット回線など) BMC Switch ToR Switch Host Node HLH Local

    Disk Local Disk Failover Cluster Win 2019 Windows Server 2019 S2D, Virtual Disk, ReFS, SoFS Local Disk Hyper-V Infrastructure Role Instance Infrastructure Role xx Resource providers Azure Resource Manager UX(Portal, Template, PowerShell, CLI etc) Hyper-V Win 2019 HW運用管理ソフト AD ERCS HW Windows Azure Stack Hub 固有 ②OEM ベンダ提供 Azure Stack Hub Update
  38. その5:パッチ適用・アップデート ファシリティ(電源・ラック・インターネット回線など) BMC Switch ToR Switch Host Node HLH Local

    Disk Local Disk Failover Cluster Win 2019 Windows Server 2019 S2D, Virtual Disk, ReFS, SoFS Local Disk Hyper-V Infrastructure Role Instance Infrastructure Role xx Resource providers Azure Resource Manager UX(Portal, Template, PowerShell, CLI etc) Hyper-V Win 2019 HW運用管理ソフト AD ERCS HW Windows Azure Stack Hub 固有 ③OEM ベンダ提供 Hardware/Software Update
  39. その5:パッチ適用・アップデート ファシリティ(電源・ラック・インターネット回線など) BMC Switch ToR Switch Host Node HLH Local

    Disk Local Disk Failover Cluster Win 2019 Windows Server 2019 S2D, Virtual Disk, ReFS, SoFS Local Disk Hyper-V Infrastructure Role Instance Infrastructure Role xx Resource providers Azure Resource Manager UX(Portal, Template, PowerShell, CLI etc) Hyper-V Win 2019 HW運用管理ソフト AD ERCS HW Windows Azure Stack Hub 固有 ①Microsoft 提供 Azure Stack Hub Update
  40. その5:パッチ適用・アップデート ◼ 年に数回、アップデートがリリースされる • Windows Update の更新プログラム(該当するKBだけ) • Azure Stack

    Hub というアプリケーションの更新パッケージ ◼ サポートされるのは2つ前のバージョンまで • 2022年4月現在、2108、2102、2008はサポートあり、2005はサポート切れ • アップデートするしかない • 累積アップデートがないので、順番に適用する https://docs.microsoft.com/ja-jp/azure/azure-stack/azure-stack-servicing-policy#keep-your-system- under-support
  41. その5:パッチ適用・アップデート ◼ 不定期で Hotfix がリリースされるる • Azure Stack Hub というアプリケーションの修正パッケージ

    • 不具合が改修されているから当てるべき。Microsoft は90日以内の適用を推奨 • 当てなくてもサポートには影響なし。ただし、アップデートを適用するには最 新の Hotfix をあてる必要あり • Hotfix がリリースされているアップデートを適用する場合、アップデートと最 新の Hotfix が同時にインストールされる https://docs.microsoft.com/ja-jp/azure/azure-stack/azure-stack-servicing-policy#keep-your-system- under-support
  42. その5:パッチ適用・アップデート ◼ アップデート作業は簡単 • Azure Stack Hub 自身がアップデートと Hotfix の有無をチェック

    • ボタンをぽちっとな。終わるまで待つ • アップデート開始時に、Azure Stack Hub 自身が必要なファイルをダウンロー ドする
  43. その5:パッチ適用・アップデート ◼ アップデート作業は全自動 • 大量のステップを自動的に順番に • 複数台のコンポーネントは1台ずつアップデートされる • 利用者が作成した Virtual

    Machine はライブマイグレーションされる • 作業は楽。だたし、待ち時間が異様に長い • リリースノートで想定所要時間がアナウンスされる • 4台構成に 2102 Update を適用したら15時間くらいかかった
  44. その5:パッチ適用・アップデート ファシリティ(電源・ラック・インターネット回線など) BMC Switch ToR Switch Host Node HLH Local

    Disk Local Disk Failover Cluster Win 2019 Windows Server 2019 S2D, Virtual Disk, ReFS, SoFS Local Disk Hyper-V Infrastructure Role Instance Infrastructure Role xx Resource providers Azure Resource Manager UX(Portal, Template, PowerShell, CLI etc) Hyper-V Win 2019 HW運用管理ソフト AD ERCS HW Windows Azure Stack Hub 固有 ②OEM ベンダ提供 Azure Stack Hub Update
  45. その5:パッチ適用・アップデート ◼ OEM ベンダ提供 Azure Stack Hub Update • OEMベンダのサポートページでアップデート用のパッケージが配信される

    • パッケージをダウンロードして、Azure Stack Hub 上のストレージアカウント にアップロードすると Update の画面に出てくるので、ボタンをぽちっとな。 終わるまで待つ • Host Node のドライバだけでなく、BMC と連携して Host Node のファーム ウェアも更新する • Host Node のイメージを作り直すので、それなりに時間がかかる
  46. その5:パッチ適用・アップデート ファシリティ(電源・ラック・インターネット回線など) BMC Switch ToR Switch Host Node HLH Local

    Disk Local Disk Failover Cluster Win 2019 Windows Server 2019 S2D, Virtual Disk, ReFS, SoFS Local Disk Hyper-V Infrastructure Role Instance Infrastructure Role xx Resource providers Azure Resource Manager UX(Portal, Template, PowerShell, CLI etc) Hyper-V Win 2019 HW運用管理ソフト AD ERCS HW Windows Azure Stack Hub 固有 ③OEM ベンダ提供 Hardware/Software Update
  47. その5:パッチ適用・アップデート ◼ OEM ベンダ提供 Hardware/Software Update • OEMベンダの仕組みに従って対応。ベンダごとに手順が違う • HLH

    のドライバとファームウェアを更新する • HLH と HW 運用管理 VM に Windows Updateを適用する • HW運用管理ソフトウェアを更新する • スイッチのファームウェアを更新する • Azure Stack Hub Updateと同じように、簡単な手順でアップデートを実施でき るOEMベンダがおすすめ
  48. まとめ ◼ Azure Stack Hub Operatorとは ◼ Azure Stack Hub

    の運用 • キャパシティ管理 • 監視 • 障害対応 • バックアップ • パッチ適用・アップデート