GKE Enterprise 徹底解説 Google Cloud / 内間 和季 アプリケーション モダナイゼーション スペシャリスト

自己紹介

自己紹介 内間 和季 Google Cloud (@kkuchima) Application Modernization Specialist, Customer Engineer 好きな Google Cloud プロダクト： ● Google Kubernetes Engine (GKE) ● Cloud Run

01 03 02 GKE Enterprise 機能紹介 まとめ GKE Enterprise 概要

GKE Enterprise 概要

2021 年の 40% 未満から 大幅な増加 ガートナー リサーチ 企業におけるコンテナと Kubernetes の利用が拡大している > 90 % の企業が 2027 年までに 本番サービスをコンテナで稼働させる 2021 年の 20% 未満から 大幅な増加 ガートナー リサーチ > 65 % の商用オフザシェルフベンダーが 2027 年までにコ ンテナでソフトウェアを提供する予定 Source: Gartner Report, “CTOs’ Guide To Containers and Kubernetes – Answering the Top 10 FAQs”, 31 May 2022. GARTNER is a registered trademark and service mark of Gartner, Inc. and/or its affiliates in the U.S. and internationally and is used herein with permission. All rights reserved.

Kubernetes 導入における課題 Kubernetes 導入の複雑さは規模が大きくなるにつれて増大 する デプロイ 計画 拡大 マルチクラスタ マルチクラウド K8s アドオン 最適化 ワークロードのデプロイと 実行のための包括的なセ キュリティ クラスタベースの構成で はなくチームベースの プロビジョニングが必要 セキュリティやコンプライ アンスの準拠状況が分か りにくく制御が難しい K8s のアドオンを 維持するための 高い運用コスト 大規模な一貫性と自動化 された構成管理の欠如 復元力のあるアプリケーショ ンとサービスを クラスター全体に展開、 調整、運用するのが難しい

マルチクラスタ構成のユースケース マルチクラスタ構成にする理由は様々 ● 環境（開発や本番など）の観点から分割 ● スケーラビリティ（構成上限）の観点から分割 ● 用途ごとにクラスタを分割（ステートフル用クラスタ、管理ツール用クラスタなど） ● 災害対策や遅延低減のために複数リージョンにクラスタを配置 ● クラスタレベルでの Blue / Green アップグレードのために複数クラスタを配置、など

GKE Enterprise エンタープライズ グレードのセキュリティや運用要件を実現するための 新たな GKE の Edition より早い速度で 複数チーム管理で スケールを簡単に より低リスクで エンタープライズ ワーク ロードをあらゆる場所でセ キュアに稼働 より低コストで マネージド環境による TCO 最適化

GKE Enterprise 全体像 On-Premises Google Distributed Cloud Google Cloud Other Clouds 統合管理 API / UI API やコンソール UI を介して、フリート / チーム全体のワークロードとクラスタを管理 運用 可観測性 ロギングとモニタリング セキュリティ ワークロードとプラットフォームの セキュリティ ガバナンス GitOps 構成の自動化 ポリシー制御 フリート管理とチーム管理 マルチクラスタの自動化とチームベースのクラスタ管理 サービスネットワーキング サービスメッシュ 高度なトラフィック制御 Kubernetes コントロールプレーンおよびプラットフォーム API インフラストラクチャの統合とクラスタのライフサイクル管理 ● 自動化されたクラスタライフサイクル管理 ● Pod とクラスタの自動スケーリング ● Autopilot モード ● AI/ML ワークロード向けの GPU/TPU ● コストの洞察と最適化 ● 自動化された移行ツール ● 15,000ノードのスケーラビリティ など... AWS Azure

GKE エディションの概要 GKE Standard Edition 提供機能（概要） ● Google のベストプラクティスが組み込まれたマネージドの Kubernetes クラ スタ ● Autopilot モード (Node も Google 管理) ● 高度な自動アップグレード、自動スケール ● クラスタ管理ダッシュボード ● セキュリティ ダッシュボード GKE Enterprise Edition ● GKE Standard のすべての機能 + ● マルチクラスタのフリート・チーム管理 ● より柔軟なアップグレード制御と可観測性の向上 ● 構成管理の自動化 ● 高度なセキュリティ機能 ● 高度なネットワーク機能

機能 GKE Standard GKE Enterprise 自動アップグレード・自動スケール ✓ ✓ Autopilot モード ✓ ✓ クラスタ管理ダッシュボード ✓ ✓ Security Posture ダッシュボード : ワークロードの構成脆弱性、ワークロードの OS パッケージ脆弱性 ✓ ✓ GKE on Bare Metal / VMware, GKE on AWS, GKE on Azure, Attached clusters X ✓ フリート機能管理 X ✓ Connect Gateway X ✓ GitOps ベースの構成管理 X ✓ マネージド OPA Gatekeeper X ✓ Binary Authorization X* ✓ マネージドサービスメッシュ X* ✓ マルチクラスタ Gateway / Ingress X* ✓ 複数チーム管理 X ✓ Security Posture ダッシュボード : 高度な脆弱性分析情報、脅威検出 X ✓ コンプライアンスダッシュボード X ✓ 高度なネットワーク : 複数 NIC サポート, FQDN ネットワーク ポリシー, Node 間通信の暗号化 X ✓ オブザーバビリティの向上 X* ✓ 延長サポート X* ✓ * GKE Standard Edition には含まれていないが、個別の SKU で利用可能 GKE Standard Edition と Enterprise Edition の機能比較表

機能 GKE Standard GKE Enterprise 自動アップグレード・自動スケール ✓ ✓ Autopilot モード ✓ ✓ クラスタ管理ダッシュボード ✓ ✓ Security Posture ダッシュボード : ワークロードの構成脆弱性、ワークロードの OS パッケージ脆弱性 ✓ ✓ GKE on Bare Metal / VMware, GKE on AWS, GKE on Azure, Attached clusters X ✓ フリート機能管理 X ✓ Connect Gateway X ✓ GitOps ベースの構成管理 X ✓ マネージド OPA Gatekeeper X ✓ Binary Authorization X* ✓ マネージドサービスメッシュ X* ✓ マルチクラスタ Gateway / Ingress X* ✓ 複数チーム管理 X ✓ Security Posture ダッシュボード : 高度な脆弱性分析情報、脅威検出 X ✓ コンプライアンスダッシュボード X ✓ 高度なネットワーク : 複数 NIC サポート, FQDN ネットワーク ポリシー, Node 間通信の暗号化 X ✓ オブザーバビリティの向上 X* ✓ 延長サポート X* ✓ * GKE Standard Edition には含まれていないが、個別の SKU で利用可能 GKE Standard Edition と Enterprise Edition の機能比較表 GKE Enterprise として新たに追加された機能

GKE Enterprise 機能紹介

GKE Enterprise 全体像 On-Premises Google Distributed Cloud Google Cloud Other Clouds 統合管理 API / UI API やコンソール UI を介して、フリート / チーム全体のワークロードとクラスタを管理 運用 可観測性 ロギングとモニタリング セキュリティ ワークロードとプラットフォームの セキュリティ ガバナンス GitOps 構成の自動化 ポリシー制御 フリート管理とチーム管理 マルチクラスタの自動化とチームベースのクラスタ管理 サービスネットワーキング サービスメッシュ 高度なトラフィック制御 Kubernetes コントロールプレーンおよびプラットフォーム API インフラストラクチャの統合とクラスタのライフサイクル管理 ● 自動化されたクラスタライフサイクル管理 ● Pod とクラスタの自動スケーリング ● Autopilot モード ● AI/ML ワークロード向けの GPU/TPU ● コストの洞察と最適化 ● 自動化された移行ツール ● 15,000ノードのスケーラビリティ など... AWS Azure

Google Kubernetes Engine (GKE) Kubernetes をより簡単かつ安全に使うための機能 を提供するマネージドサービス コントロール プレーンの 構築 & 管理 可用性・信頼性 エンジニアリング パッチ管理 & アップグレード セキュリティ & ネットワーク 各種設定 アプリケーション プラットフォーム モニタリング スケーリング DIY Kubernetes ワーカーノード 構築 & 管理 Standard モード 設定の柔軟性を兼ね備えた マネージド Kubernetes Autopilot モード より運用負荷が軽減されるよう 最適化されたマネージド Kubernetes セキュリティ & ネットワーク 各種設定 ワーカーノード 構築 & 運用 Google Kubernetes Engine (GKE) モダンなアプリケー ションプラットフォー ム Modern application platform

GKE Enterprise 全体像 On-Premises Google Distributed Cloud Google Cloud Other Clouds 統合管理 API / UI API やコンソール UI を介して、フリート / チーム全体のワークロードとクラスタを管理 運用 可観測性 ロギングとモニタリング セキュリティ ワークロードとプラットフォームの セキュリティ ガバナンス GitOps 構成の自動化 ポリシー制御 フリート管理とチーム管理 マルチクラスタの自動化とチームベースのクラスタ管理 サービスネットワーキング サービスメッシュ 高度なトラフィック制御 Kubernetes コントロールプレーンおよびプラットフォーム API インフラストラクチャの統合とクラスタのライフサイクル管理 ● 自動化されたクラスタライフサイクル管理 ● Pod とクラスタの自動スケーリング ● Autopilot モード ● AI/ML ワークロード向けの GPU/TPU ● コストの洞察と最適化 ● 自動化された移行ツール ● 15,000ノードのスケーラビリティ など... AWS Azure

ハイブリッド・マルチクラウド上の GKE クラスタ GKE クラスタ ハイブリッド・マルチクラウドで実行される GKE クラスタの提供とライフサイクルの一元管理 Cluster APIs (GKE, マルチクラウド , オンプレミス ) UI からクラスタを作成 kubectl create Cluster terraform apply gcloud container clusters create gcloud container aws clusters create gcloud container azure clusters create gcloud container baremetal clusters create gcloud container vmware clusters create GKE on Bare Metal / VMware GKE on AWS GKE on Azure On-prem Cloud コンソール Gcloud CLI Terraform Provider Kubernetes Resource Model AWS Azure

GKE Enterprise 全体像 On-Premises Google Distributed Cloud Google Cloud Other Clouds 統合管理 API / UI API やコンソール UI を介して、フリート / チーム全体のワークロードとクラスタを管理 運用 可観測性 ロギングとモニタリング セキュリティ ワークロードとプラットフォームの セキュリティ ガバナンス GitOps 構成の自動化 ポリシー制御 フリート管理とチーム管理 マルチクラスタの自動化とチームベースのクラスタ管理 サービスネットワーキング サービスメッシュ 高度なトラフィック制御 Kubernetes コントロールプレーンおよびプラットフォーム API インフラストラクチャの統合とクラスタのライフサイクル管理 ● 自動化されたクラスタライフサイクル管理 ● Pod とクラスタの自動スケーリング ● Autopilot モード ● AI/ML ワークロード向けの GPU/TPU ● コストの洞察と最適化 ● 自動化された移行ツール ● 15,000ノードのスケーラビリティ など... AWS Azure

利用者が求めているもの 企業は複数のクラスタを管理している ● 通常: 10+ クラスタ ● 一部の企業: 100+ クラスタ クラスタは多くのプロジェクトに分散している可能 性がある ● 通常: 10+ projects ● 一部の企業: 100+ projects 一部のクラスタは多くのチームによって 使用されている ● Namespaces → K8s テナンシー いくつかのチームは複数のクラスタを 使用している ● マルチリージョン & マルチサイト デプロイ 複数のクラスタを 1 か所から管 理 プロジェクトをまたいだ グルーピング クラスタではなくチームで 構成を定義する 利用パターン GKE フリートと複数チーム管理のコンセプト GKE のコンセプト フリート チーム

本番 Project- 2 開発 Project 開発用フリート GKE クラスタ - 1 本番 Project - 1 本番用フリート GKE クラスタ - 2 GKE クラスタ - 3 フリートは GKE クラスタをグルーピング した管理単位 フリート単位でのワークロード管理や運用 をすることが可能 別プロジェクト上のフリートへの登録や、異なる 環境（ハイブリッド・マルチクラウド）上の GKE / Attached クラスタを所属させることもできる フリート

フリートを使用したマルチクラスタ運用の効率化 フリートダッシュボード ● すべての環境にわたる Kubernetes クラスタ をフリート全体で可視化 ● セキュリティ、GitOps ベースの構成管理ス テータス、ポリシー違反の懸念事項をフリート 全体で可視化する ● Google Cloud Observability と統合して詳 細な分析とアラートを実現 フリート機能管理 ● GKE Enterprise 機能の利用ステータスを一 元管理

チーム管理 API による複数クラスタの管理 ● クラスタを跨いだ Namespace 作成 ● チームベースの RBAC 制御 ● チーム単位のログバケット作成・ログ転送設定 ● チーム単位の自動アップグレード順序定義 チーム管理

● 複数クラスタを跨いだ Namespace 作成と K8s RBAC を一括設定 ● 新規クラスタ作成時や新規メンバーのオン ボーディングを容易に ● ユーザー単位だけではなく、 Google グループ単位 での設定も可能 複数クラスタを跨いだ Namespace 作成と RBAC 設定

Fleet Logging Google Cloud Project - Shared Services (GKE) GKE cluster - 1 GKE cluster - n ns: *systems* (example)X ConfigSync Pod Prometheus Pod … Pod Fleet Project Storage Bucket - fleet-o11y-scope-team-1 IAM Bindings: Members - Charlie, Al Role - logging.viewAccessor Namespace 単位での ログシンク Storage Bucket - fleet-o11y-scope-team-n IAM Bindings: Members - Charlie, Alice Role - logging.viewAccessor Storage Bucket - default IAM Bindings: Members - Charlie Role - logging.viewAccessor scope: team-1 ns: team-1-app-1 Pod APP-1 Pod APP-1 scope: team-n ns: team-n-app-1 Pod APP-1 Pod APP-1 ns: team-2-app-n Pod APP-n Pod APP-n spec: fleetobservability: loggingConfig: defaultConfig: mode: COPY fleetScopeLogsConfig: mode: MOVE Charlie Platform 管理者 Alice Team n app 運用者 Alex Team 1 app 運用者 Namespace/チームスコープ単位 のログバケットの作成と転送設定 を自動的に構成する

GKE Enterprise 全体像 On-Premises Google Distributed Cloud Google Cloud Other Clouds 統合管理 API / UI API やコンソール UI を介して、フリート / チーム全体のワークロードとクラスタを管理 運用 可観測性 ロギングとモニタリング セキュリティ ワークロードとプラットフォームの セキュリティ ガバナンス GitOps 構成の自動化 ポリシー制御 フリート管理とチーム管理 マルチクラスタの自動化とチームベースのクラスタ管理 サービスネットワーキング サービスメッシュ 高度なトラフィック制御 Kubernetes コントロールプレーンおよびプラットフォーム API インフラストラクチャの統合とクラスタのライフサイクル管理 ● 自動化されたクラスタライフサイクル管理 ● Pod とクラスタの自動スケーリング ● Autopilot モード ● AI/ML ワークロード向けの GPU/TPU ● コストの洞察と最適化 ● 自動化された移行ツール ● 15,000ノードのスケーラビリティ など... AWS Azure

GKE Enterprise で自動的に有効化されるメトリクス ● GKE Enterprise が有効化された新規クラスタで は、GKE Standard Edition ではオプション（追加 料金発生）のメトリクスを 追加料金無し で取得可能 ○ Control Plane メトリクス ○ Kube State メトリクス ○ cAdvisor / Kubelet メトリクス

Control Plane メトリクス GKE Control Plane のメトリクスを有効化することにより、API サーバのレイテンシや エラーレートなど Control Plane への負荷のモニタリングが可能 - API サーバ - レイテンシ: apiserver_request_duration_seconds - トラフィック/ エラーレート: apiserver_request_total - 飽和度: apiserver_current_inflight_requests, apiserver_storage_objects - スケジューラ - レイテンシ: scheduler_schedule_attempts_total - リソース: scheduler_preemption_attempts_total

Kube State メトリクス ● 以下のような不健全な状態のワークロードを可 視化することができる ○ Node にスケジュールできない ○ CrashLoopBackOff 状態になっている ○ Readiness Check に失敗した ○ HPA のスケール上限に達している

デモ: GKE Enterprise メトリクス

Rollout Sequencing クラスタ間のアップグレード順序を制御する機能 アップグレードするクラスタを環境毎にグルーピングし依存関係を持たせることで 段階的な自動アップグレードをすることが可能に（例：開発環境 →ステージング環境→本番環境） GKE Enterprise のチーム管理を有効にすることにより、 チーム（クラスタ単位）で順序制御が可能 に

GKE 延長サポート ● GKE ver 1.27 以上の特定のマイナー バージョンに対して、最大 24 ヶ月のサポート ● 新設される Extended リリースチャネルへの登録により延長サポートを利用可能に ● 標準サポート期間終了後の "プレミアム クラスタ管理料金" が発生 ○ ($0.50/クラスタ/時間) 延長期間料金 + ($0.10 / クラスタ / 時間) クラスタ管理料金 ■ 延長サポート料金は GKE Enterprise に含まれている ○ 延長期間料金は標準サポート期間終了後に発生 通常リリースチャンネルで 新しいマイナーバージョンが利用可能 標準サポートの終了 延長サポートの終了 標準サポート (~14 ヶ月) 延長サポート (~10 ヶ月) 標準サポート期間中のクラスタ管理料金 延長期間中の追加クラスタ料金 Extended リリースチャネルでの 24 か月のサポート

GKE Enterprise 全体像 On-Premises Google Distributed Cloud Google Cloud Other Clouds 統合管理 API / UI API やコンソール UI を介して、フリート / チーム全体のワークロードとクラスタを管理 運用 可観測性 ロギングとモニタリング セキュリティ ワークロードとプラットフォームの セキュリティ ガバナンス GitOps 構成の自動化 ポリシー制御 フリート管理とチーム管理 マルチクラスタの自動化とチームベースのクラスタ管理 サービスネットワーキング サービスメッシュ 高度なトラフィック制御 Kubernetes コントロールプレーンおよびプラットフォーム API インフラストラクチャの統合とクラスタのライフサイクル管理 ● 自動化されたクラスタライフサイクル管理 ● Pod とクラスタの自動スケーリング ● Autopilot モード ● AI/ML ワークロード向けの GPU/TPU ● コストの洞察と最適化 ● 自動化された移行ツール ● 15,000ノードのスケーラビリティ など... AWS Azure

Multi-cluster Gateway Multi-cluster Gateway は Application Load Balancer をベースにしたサービス (同様の機能として Multi-cluster Ingress も存在する) ● リージョンを跨いだクラスタ間での HTTP / HTTPS ロードバランシングが可能 ● バックエンドの状態をみつつ、最寄りのクラスタにトラフィックを転送 ● Multi-cluster Ingress との違い ○ 高度なトラフィック制御をサポート ■ ヘッダーベース ルーティングや重み付けベースのトラフィック分割、など ○ Internal Application Load Balancer をサポート

リージョンを跨いだクラスタ間での負荷分散を実現 Google Cloud Project asia-northeast1 asia-northeast2 Google Backbone Internet 34.120.166.218 GKE #1 GKE #2 東京 大阪 34.120.166.218 External Application Load Balancer

Multi-cluster Gateway のユースケース 本番 トラフィック gke2 gke1 テスト用 トラフィック GET / HTTP/1.1 host: foo.com:80 GET / HTTP/1.1 host: foo.com:80 env: canary ヘッダベース ルーティング 本番トラフィック を別クラスタに ミラーリング トラフィック ミラーリング トラフィック分割 1 % gke2 gke1 gke2 gke1 99 % 少量トラフィック のみ別クラスタに流す

Customer Managed In-Transit Encryption ユーザー管理の暗号鍵を使用して、 GKE ノード間の Pod 通信で転送中のデータを暗号化 Dataplane V2 有効化されたクラスタで利用可能 本機能が有効化されているクラスタと無効化されているク ラスタ間の通信は失敗する点に注意 暗号鍵はノードのメモリ上で保管されるため、メモリ上の鍵 自体も暗号化したい場合は Confidential Nodes との併用 も検討 GKE Fleet gke-1 GKE Confidential Node cilium_wg0 anetd GKE Confidential Node cilium_wg0 anetd Encrypted pod-to-pod traffic Non-encrypted pod-to-pod traffic GKE Confidential Node cilium_wg0 anetd gke-2 GKE Confidential Node cilium_wg0 anetd

Network Function Optimizer (NFO) - Multi Networking GKE 上の Pod で複数 NIC (Network) 構成をサポート ハイパフォーマンス ネットワークが必要なケース （AI/ML ワークロードや CNF など）やネットワーク 分離が必要なケース等で活用 K8s Cluster Node VPC-A Pod CNF eth0 eth2 VPC-C High performance VPC-B eth1

FQDN Network Policy FQDN による Network Policy を設定可能に （ワイルドカードもサポート） DNS による名前解決結果を基にポリシーを適用 apiVersion: networking.gke.io/v1alpha1 kind: FQDNNetworkPolicy metadata: name: allow-out-fqdnnp spec: podSelector: matchLabels: app: curl-client egress: - matches: - pattern: "*.yourdomain.com" - name: "www.google.com" ports: - protocol: "TCP" port: 443 Pod anetd Policy Enforcement DNS Proxy kube-dns IP アドレス情報 の更新 Node

Cloud Service Mesh (CSM) ● Google が提供するフルマネージドの サービスメッシュ ○ GKE だけでなくGCE や Cloud Run でも 利用可能に ● サービスメッシュの Control Plane や Data Plane を Google が管理することにより、 サー ビスメッシュの運用負荷を軽減 ● Istio / Kubernetes Gateway / Google API (gcloud / Terraform) での制御をサポート CSM Data plane xDS API CSM Control plane CSM Mesh Services Google Managed CA Service Service and Security Dashboards Other (e.g. Policy Controller, IAP, Cloud Armor, Apigee) Google APIs Istio/Gateway APIs Istio/Gateway APIs Sidecar Mode Ambient Mode gRPC Proxyless Google hosted and managed (on Google Cloud) In-cluster and Google managed (off Google Cloud) CSM アーキテクチャ

CSM が提供する主な機能 トラフィック制御 ● トラフィック スプリット ● トラフィック ミラーリング ● リトライ ● フォルト インジェクション オブザーバビリティ ● パフォーマンス、エラーレート の計測 ● システム間連携の可視化 ● SLO / SLI の定義、運用 セキュリティ ● サービス間の通信暗号化 ● 認証 / 認可の仕組み

GKE Enterprise 全体像 On-Premises Google Distributed Cloud Google Cloud Other Clouds 統合管理 API / UI API やコンソール UI を介して、フリート / チーム全体のワークロードとクラスタを管理 運用 可観測性 ロギングとモニタリング セキュリティ ワークロードとプラットフォームの セキュリティ ガバナンス GitOps 構成の自動化 ポリシー制御 フリート管理とチーム管理 マルチクラスタの自動化とチームベースのクラスタ管理 サービスネットワーキング サービスメッシュ 高度なトラフィック制御 Kubernetes コントロールプレーンおよびプラットフォーム API インフラストラクチャの統合とクラスタのライフサイクル管理 ● 自動化されたクラスタライフサイクル管理 ● Pod とクラスタの自動スケーリング ● Autopilot モード ● AI/ML ワークロード向けの GPU/TPU ● コストの洞察と最適化 ● 自動化された移行ツール ● 15,000ノードのスケーラビリティ など... AWS Azure

GKE 上のワークロードを継続的にスキャンし、 K8s 構 成やワークロードの脆弱性を報告 発見された懸念事項は Cloud Console ダッシュボード や Cloud Logging のログエントリーから確認可能 GKE のエディションにより利用可能な機能が異なる Security Posture ダッシュボード 機能 GKE Standard GKE Enterprise ワークロードの構成 (K8s マニフェスト) 脆弱性スキャン ✓ ✓ ワークロードの OS パッケージ脆弱性スキャン ✓ ✓ ワークロードの言語パッケージ脆弱性スキャン X ✓ ワークロードの (監査ログを基にした) 脅威検知 X ✓

Container Analysis - 継続的脆弱性スキャン ● Common Vulnerabilities and Exposures（CVE）データを取得し、コ ンテナ イメージの脆弱性の重大度（ 5 段階）を判定 ● リポジトリへのイメージ Push 時やオンデマンドでの脆弱性スキャン をサポート ● GKE 上のワークロードの継続的スキャンもサポート し、デプロイ 後に発見された脆弱性 や CI/CD やリポジトリを経由しないコンテ ナイメージの脆弱性 も検知 ○ OS パッケージ スキャン ○ 言語パッケージ スキャン (GKE Enterprise)

GKE Threat Detection ● GKE Audit Log を基に、GKE クラスタ上の脅 威 (K8s API を利用した不審な操作 )を 検出 ○ cluster-admin RBAC の変更 ○ 特権コンテナまたは権限昇格可能な Pod の作成、など ● 複数クラスタ環境に継続的にスキャンを実行 しアクティブな脅威を迅速に検出

デモ: Security Posture ダッシュボード

Binary Authorization 信頼できるコンテナ イメージのみ が GKE クラスタにデプ ロイされることを保証する 以下の条件に当てはまるコンテナ イメージのみデプロイを 許可するよう制御が可能に ● イメージに対する認証者 (Attestors) による証明書 (Attestation) が存在する ● またはイメージ名が許可リストにマッチする

my-project Binary Authorization の利用例 脆弱性スキャンが実行されたイメージのみデプロイを許可 Artifact Registry Binary Authorization CI / CD Pipeline ビルド テスト 脆弱性スキャン 静的解析 品質チェック ソースコードに脆弱性があれば NG デプロイ 証明書の検証 Cloud Key Management 証明書の作成 デフォルト ルール：証明書を要 求 GKE クラスタ

GKE Enterprise 全体像 On-Premises Google Distributed Cloud Google Cloud Other Clouds 統合管理 API / UI API やコンソール UI を介して、フリート / チーム全体のワークロードとクラスタを管理 運用 可観測性 ロギングとモニタリング セキュリティ ワークロードとプラットフォームの セキュリティ ガバナンス GitOps 構成の自動化 ポリシー制御 フリート管理とチーム管理 マルチクラスタの自動化とチームベースのクラスタ管理 サービスネットワーキング サービスメッシュ 高度なトラフィック制御 Kubernetes コントロールプレーンおよびプラットフォーム API インフラストラクチャの統合とクラスタのライフサイクル管理 ● 自動化されたクラスタライフサイクル管理 ● Pod とクラスタの自動スケーリング ● Autopilot モード ● AI/ML ワークロード向けの GPU/TPU ● コストの洞察と最適化 ● 自動化された移行ツール ● 15,000ノードのスケーラビリティ など... AWS Azure

GKE Compliance ● GKE クラスタの業界ベンチマークや セキュリティ スタンダードの遵守状況を継 続的にモニタリング するダッシュボードを提 供 ● 複数クラスタのコンプライアンス状況をダッ シュボードで一元的に管理 ● 対象クラスタのコンプライアンス レポートを自動的に生成

Config Sync による大規模な構成管理 GitOps での構成管理 Git repository ① 変更 ② 各クラスタは対象リポジトリを 　 定期的に確認、 　 実環境と設定に差分が発生したら、 　 その変更を自らのクラスタに反映 　　 スケールする 大規模な複数クラスタでも 運用負荷は高まらず 一貫し一元的な管理が可能 k8s クラスタ運用者 セキュリティ担当者

Config Sync ダッシュボード すべてのリソースの ステータス カテゴリ別の 主な懸念事項 学習、ドキュメント、 補助情報 ダッシュボードから 直接インストール UI から利用可能な構成パッケージの インストール ワークフロー

● マネージド版 Open Policy Agent (OPA) Gatekeeper ● Constraints を用いてクラスタのコンプライアンスを強化 ● Kubernetes や Istio のベスト プラクティスに沿った 事前定義ポ リシーを提供 ● 簡単なインストール / アップグレード ● Cloud Console や Cloud Monitoring との統合 Policy Controller

Policy Journey Authoring デプロイ前に config の差 分を確認 Admission ポリシーに準拠 していない変更を API でブロック Audit リアルタイムに コンプライアンス違 反のアラート サービス 管理者 プラットフォーム管 理者 Policy Blueprints Google が作成した制約や、 カスタム制約がガードレールになる

Policy Controller のデフォルト ポリシー ライブラリ ● 95+ 制約テンプレート ライブラリが Policy Controller のデフォルトでインストール ● ライブラリは Policy Controller チームにより継続的にメンテナンス され、拡張される 認証を不要とするサービスへの アクセス許可を認めない Pod による特権付きコンテナ の実行を防ぐ クライアント / サービス間での 相互 TLS 通信を強制 コスト管理のために必要な タグが必須とする制限 きめ細かいサービス認可管理 がなされていることを要求 クラスタやサービスへの アクセスログ有効化を必須に 制約テンプレート ライブラリ | Policy Controller https://cloud.google.com/kubernetes-engine/enterprise/policy-controller/docs/latest/reference/constraint-template-library

Policy Controller による制約の適用例 特定のコンテナリポジトリ上のイメージのみ デプロイを許可する (K8sAllowedRepos) parameters で指定された文字列から始まるリポジ トリ上のイメージのみデプロイを許可することで、不 正なイメージのデプロイを防ぐ authorized-repo Artifact Registry GKE クラスタ Unauthorized Repository

Policy Controller による制約の適用例 サイドカーが injection されないことにより、 Istio / CSM のセキュリティポリシーがバイパスされるこ とを防ぐ - K8sRequiredLabels - 特定の Namespace にサイドカー injection ラベルを設定する - AsmSidecarInjection - メッシュ内の Pod が Istio プロキシ サイ ドカーの挿入をバイパスすることを禁止 する -------- -------- -------- apiVersion: v1 kind: Pod metadata: annotations: sidecar.istio.io/inject: "false" name: no-sidecar-pod Service A Envoy mesh-ns GKE Cluster no-sidecar Service B Envoy mTLS Authorization Policy istio-injection: enabled -------- -------- -------- [AsmSidecarInjection] parameters: strictnessLevel: High [K8sRequiredLabels] parameters: labels: - allowedRegex: enabled key: istio-injection

まとめ

GKE Enterprise 無料トライアル 2024.07 現在、 GKE Enterprise を 90 日間無料でお試し可能 です GKE コンソール上から有効化できるため、ご興 味ある方はぜひお試しください！

まとめ GKE Enterprise はエンタープライズグレードのセキュリティや運用要件 を実現するための新たな Edition 複雑な Kubernetes 環境をシンプルに管理 するための機能や、可観測性や運用性を向上 させるための機能を提供 今なら 90 日間トライアルも提供中なので、興味ある方はぜひお試しください！

Thank you. Proprietary + Confidential