Upgrade to Pro — share decks privately, control downloads, hide ads and more …

新たな可能性を解き放つROSA Hosted Control Plane

Osamu Mizoguchi
March 29, 2024
340

新たな可能性を解き放つROSA Hosted Control Plane

Osamu Mizoguchi

March 29, 2024
Tweet

Transcript

  1. 2 Red Hat OpenShift Service on AWS (ROSA) とは? AWS上のフルマネージドOpenShift

    サービス セキュリティ・ サポート 連携 作業時間の大幅短縮! OpenShift の運用を専門家にお任せ 監視・ログ アップグレード OSからランタイムまで Red Hat に よる一貫したセキュリティ・サポート 利用量に応じた柔軟な課金 99.95% SLA 自動化機能開発 トラブル解決 標準準拠 従量課金 アプリケーション開発ににフォーカス クラウドサービスとの連携 インフラリソースからサブス クリプションまで容易にス ケール 運用は お任せ
  2. Hosted Control Plane とは? Management クラスター Cluster #1 Cluster #2

    Cluster #3 Cluster #4 Cluster #5 Worker Node Worker Node Worker Node Worker Node Worker Node 複数のOpenShiftクラスターをデプロイする際の新しいアーキテクチャ ✔ 中央の Management クラスターが利用者のクラスターの Control Plane 機能を集約して管理 ✔ Worker Node のみを利用者に払い出して利用
  3. 4
 https://www.ibm.com/cloud/blog/announcements/why-ibm-cloud-i s-the-cloud-to-run-openshift-4-3 • IBM の OpenShift の Managed サービス

    である RHOIC (Red Hat OpenShift on IBM Cloud) を提供するために開発された マルチテナントソリューションの一つ • 複数の利用者の Control Plane Node を 効率良く、安全に管理するために発案され たものが元になっている • (self-managed) OpenShift 4.14 や ROSA (Red Hat OpenShift on AWS) 4.14 から組み込まれる ”HyperShift Toolkit” として呼ばれてました
  4. Control Plane Worker Node アプリケーション 従来の ROSA Cluster (Classic) の構成

    Control Plane、Infra Node, Worker Node が存在し、利用者はそれらのノードにアク セス可能 利用者の AWS アカウント Infra Node 監視・ログ など開発・ 運用支援 etcd controller apiserver VPC
  5. etcd controller apiserver Worker Node アプリケーション HCP の構成 ①:Control Plane

    と Worker Nodeが分離 LB for 6443 Control PlaneをRed Hat の AWSアカウント上に構築し、利用者のAWSアカウントではワーカー ノードのみを配置 Private Link VPC End Point Service Red Hat の AWS アカウント 利用者の AWS アカウント Control Plane Availability zone (x3)
  6. 7 Classic ROSA / HCP ROSA 見え方の違い $ oc get

    nodes NAME STATUS ROLES AGE VERSION ip-10-0-0-80.us-east-2.compute.internal Ready worker 17m v1.26.7+0ef5eae ip-10-0-2-231.us-east-2.compute.internal Ready worker 12m v1.26.7+0ef5eae $ $ oc get nodes NAME STATUS ROLES AGE VERSION osd-cluster-cf4n4-infra-b-hwf5d.c.openenv-qwsjs.internal Ready infra,worker 7h57m v1.23.5+3afdacb osd-cluster-cf4n4-infra-b-v4t2d.c.openenv-qwsjs.internal Ready infra,worker 7h57m v1.23.5+3afdacb osd-cluster-cf4n4-master-0.c.openenv-qwsjs.internal Ready master 8h v1.23.5+3afdacb osd-cluster-cf4n4-master-1.c.openenv-qwsjs.internal Ready master 8h v1.23.5+3afdacb osd-cluster-cf4n4-master-2.c.openenv-qwsjs.internal Ready master 8h v1.23.5+3afdacb osd-cluster-cf4n4-worker-b-2td86.c.openenv-qwsjs.internal Ready worker 8h v1.23.5+3afdacb osd-cluster-cf4n4-worker-b-txjnd.c.openenv-qwsjs.internal Ready worker 8h v1.23.5+3afdacb $ Classic ROSA HCP ROSA
  7. 8 etcd
 kube-scheduler 
 kube-apiserver
 local
 local
 local
 etcd kube-scheduler

    kube-apiserver local local local Container Registry Ingress (Router Pods) Prometheus (Openshift Monitoring Container Registry Ingress (Router Pods) Prometheus (Openshift Monitoring Classic ROSA HCP ROSA 構成②: インフラノードの一部機能はワーカーノードに配置 開発・運用 支援 Worker Node Control Plane
  8. 9 Resource Requests Limits -------- -------- ------ cpu 805m (23%)

    200m (5%) memory 4668Mi (32%) 300Mi (2%) Resource Requests Limits -------- -------- ------ cpu 682m (19%) 0 (0%) memory 5161Mi (35%) 0 (0%) Container Registry Ingress (Router Pods) Prometheus (Openshift Monitoring Resource Requests Limits -------- -------- ------ cpu 392m (11%) 0 (0%) memory 3648Mi (25%) 0 (0%) infra component をホストする Worker Node に関しては、偏りはある が、最大で CPU: 400 m core Memory: 1.5 GByte 程度の request 値が、2つの Worker Node に上積みされている infra 用 workload が無いノード infra 用 workload が有る ノード infra 用 workload が有る ノード User Workload が使えるリソース 量から、この程度を引き算しておく ※Woker Node 用 EC2の最小は 4vCPU / 16GB Memory HCP infra workload footprint Worker Node Control Plane etcd controller apiserver
  9. 10 Control Plane Pod for #1 Cluster #1 ワーカーノード Cluster

    #2 ワーカーノード Cluster #3 ワーカーノード 構成③ コントロールプレーンを集約して管理 Control Plane Pod for #2 Control Plane Pod for #3 複数のOpenShiftクラスターの Control Planeを中央で集約して管理 etcd controller apiserver Management Cluster Control Plane Worker Node 上図は、オンプレミスOpenShift HCP版の資料を参考に作成したイメージです。 https://access.redhat.com/documentation/en-us/openshift_container_platform/4.14/html-single/hosted_control_planes/index
  10. 1) コスト削減 (Classic ROSA 比) Classic ROSA で必要だった Controlplane EC2

    Node の削減 2) クラスタデプロイ の高速化 Classic ROSA : 40 分~ / HCP ROSA : 15分~ 3) 操作ミスによるControl Plane 破壊の防止 Controlplane を、Network 的に分離 ユーザーから隠蔽 4) 柔軟なアップグレード運用 複数バージョンの Worker Node を混在可能に Hosted Control Plane (HCP) によるメリット
  11. 12   ① コスト削減 Classic ROSA (Multi-AZ) 最小構成時に見積もりが必要なコンポーネント HCP ROSA (Multi-AZ)

    最小構成時に見積もりが必要なコンポーネント Cluster Fee Master EC2 Worker EC2 Infra EC2 ROSA subs Master EC2 Master EC2 Infra EC2 Cluster Fee Worker EC2 ROSA subs Worker EC2 ROSA subs Worker EC2 ROSA subs Worker EC2 ROSA subs $262/年 $2,191/年 ※図形のサイズは実際のコストを正確には反映していません。 EC2のコストはインスタンス、リージョンによって大きく変わるため概算です。 EC2以外にもNAT Gateway や ELBのコスト等が発生します。 $ 2,600/年 (m5.xlarge + EBS 300 PAYG) $2,600/年(m5.xlarge + EBS 300 PAYG) $1,500/年 (4vCPU PAYG) $1,500/年 (4vCPU PAYG) r5.xlarge r5.xlarge m5.2xlarge m5.2xlarge m5.2xlarge m5.xlarge m5.xlarge m5.xlarge m5.xlarge m5.xlarge
  12. ② クラスタデプロイ時間を短縮 14 ROSA HCP 最小構成の場合 40分~ 15分~ ROSA Classic

    最小構成の場合 Management Cluster ROSA Cluster Control Plane Control Plane Control Plane HW OS OpenShift etcd api server etc.. Control Plane Compute Node Control Plane for ROSA Cluster HW OpenShift OS クラスターごとにマ シンイメージのデプ ロイや設定、コンテ ナのデプロイ等が発 生するため、作成に 時間がかかる Podのデプロイのみ でControl Planeの 作成が完了するた め、起動時間を大幅 に短縮可能 • 開発者へ環境を払い出し • アップグレード時間の短縮 → 開発、運用面での効率化
  13. ③ 操作ミスによるControl Plane 破壊の防止 15 ROSA Cluster Control PlaneのNodeやPodが閲覧・削除できてしまう Control

    PlaneのNodeやPodが表示されない Control Plane kube-apiserver etcd etc… ROSA Classic ROSA with Hosted Control Plane Management Cluster Compute Node Control Plane Pod for ROSA Cluster 利用ユーザー • Control Planeに対する操作ミスの防止 • Control Planeがネットワーク的に分離され、 SREより信頼性を担保
  14. ※ 現時点で、3バージョンまで古いマイナーバージョンをサポート machinepool #1 4.12 control plane 4.12 machinepool #2

    4.12 machinepool #1 4.14 machinepool #2 control plane machinepool #1 4.14 machinepool #2 control plane machinepool #1 4.14 4.14 machinepool #2 4.14 control plane 各ROSA バージョンがサポート期間である限り、 サポートされる 16 ④ 柔軟なアップグレード運用 複数のワーカーノードのバージョンの混在をサポート Controlplane は先 にアップグレード
  15. Control PlaneとWorker Nodeは 同じスケジュールでバージョンアップ Control PlaneとWorker Nodeを 個別のスケジュールでバージョンアップ Control Plane

    Worker Node スケジュール 設定 90 min Control Plane Compute Node Pool-A Compute Node Pool-B 個別に スケジュール設定 15 min 15 min 15 min 大きなメンテナンスウィンドウ を確保する必要がある ユーザー 利用ユーザー ④ 柔軟なアップグレード運用 17 ROSA Classic ROSA HCP 柔軟なスケジュール設定で、限られたメンテナンスウィンドウでバージョンアップ アプリケーションの特性などに合わせて柔軟にアップ グレードのスケジューリング
  16. 19 主なマイルストーン 2023/12/4 GA (地域限定) 2024/1/29 東京リージョン (ap-northeast-1) 3/9 ソウルリージョン

    (ap-northeast-2) 3/28時点 関連製品の HCPサポート ACM, ACS, Insights Advisor, Insights Vulnerability, JBoss EAP, OCP Logging Stack (Cluster Logging Operator), OpenShift GitOps, OpenShift Pipelines (注2) Coming Soon 大阪リージョン (ap-northeast-3) Coming Soon 標準準拠対応 (ISO, SOC, PCI DSS) ※ 4月以降の予定は変更される可能性がございますのでご了承ください。 ※ その他、ROSA関連製品も順次HCPをサポートを行っていく予定です。 北米などの状況として は、本番環境への導 入は標準準拠対応後 で現在は、開発・テス ト中
  17. Red Hat OpenShift Service on AWS (ROSA) hands-on experience 20

    Red Hat OpenShift Service on AWS (ROSA) hands-on experience “hands-on experience” の特徴 • 実際のROSA HCP環境を使用してのハンズオンを提供します • 申し込み後、即時にハンズオン環境が払い出されます • 1つのRed Hat アカウントあたり、8時間×3回まで申し込みいただけます ご用意いただくもの • 申し込みいただく方のRed Hat ID をご用意ください • インターネットアクセス可能なPC環境(Webブラウザーを使用) 注意事項 • ROSA環境は、Red Hat が所有する環境となります • 機密性の高い情報資産の取扱いにはご注意ください https://red.ht/498N6ql お申し込みはこちらから セルフサービスでお試しいただけます
  18. linkedin.com/company/red-hat youtube.com/user/RedHatVideos facebook.com/redhatinc twitter.com/RedHat 21 Red Hat is the world’s

    leading provider of enterprise open source software solutions. Award-winning support, training, and consulting services make Red Hat a trusted adviser to the Fortune 500. Thank you