Share
Embed
Helm を利用した Kubernetes as a Service の実現
Helm を利用して Kubernetes の上に Kubernetes のマスターコンポーネントをデプロイします。
O. Yuanying
April 19, 2018
Transcript
58 slides
-
OTSUKA, Motohiro / Yuanying NEC Solution Innovators, Ltd Japan Container
Days v18.04 を利用した Kubernetes as a Service の実現 -
Agenda 1. 私 2. Motivation 3. Kubernetes 4. Helm 5.
Kubernetes as a Service 6. Kubernetes as a Service 実現案 7. デモ 8. まとめ -
Who am I ? • OTSUKA, Motohiro / Yuanying ◦
NEC ソリューションイノベータ ▪ OSS コミュニティ対応チーム所属 ◦ OpenStack コミュニティ ▪ OpenStack Magnum 元コアレビューア • (2014/12/31-2017/03/31) ◦ 言語 ▪ Ruby (2007 - ) ▪ Python (2014 - ) ▪ Go (2017 - ) ◦ 趣味 ▪ ロードバイク (2009 - ) ▪ トライアスロン (2010 - ) -
Currently I’m interested in... お家 Kubernetes クラスター • Master Node
◦ HW: MinnowBoard Turbot x 3 ◦ Component ▪ etcd, kube-api, kube-controller-manager, kube-scheduler • Worker / Storage Node ◦ HW: ECS Liva Z x 3 ◦ Component ▪ CoreDNS, Flannel ▪ Gluster -
なぜパブリッククラウドのそれを使わずに、 Kubernetes as a Service (KaaS) を実現する必要がある のか。 社内のプライベートクラウドで自由に Kubernetes
クラスターが欲しい、け どそれを管理したくない。 パブリッククラウドを運営してます、けどまだ KaaS はラインナップしていません。 OpenStack Magnum の開発者でした、け どうちの会社の人が使ってくれません、リベ ンジしたい。 -
What is Kubernetes? • コンテナオーケストレーションツール ◦ Google の内部システム Borg にインスパイアされている。
◦ 2014 年にオープンソース化。 ◦ クラウドネイティブアプリケーションのための運用・管理基盤 。 ▪ アプリケーションのデプロイ、アップデート、プロセス監視、自動復旧、ロードバランシングなど の機能がデフォルトで組み込まれている。 アプリケーションのデプロイという意味で は、どちらかというと Ansible, Chef, Puppet が競合ソフトウェア? -
Services • Pod へのロードバランシング • サービスディスカバリ ◦ ex: DNS record,
frontend.svc.default.cluster.local Services selector: app: frontend Pod frontend app Pod frontend app 8080 -
Deployments • ReplicaSets の世代管理 ◦ ローリングアップデート ◦ ロールバック Deployment replicas:
2 selector: app: nginx ReplicaSet Template ReplicaSet v1 Pod nginx v1.12 Pod nginx 1.12 ReplicaSet v2 Pod nginx v1.13 Pod nginx 1.13 -
Manifest apiVersion: apps/v1beta2 kind: Deployment metadata: name: nginx-deployment labels: app:
nginx spec: replicas: 3 selector: matchLabels: app: nginx template: metadata: labels: app: nginx spec: containers: - name: nginx image: nginx:1.7.9 ports: - containerPort: 80 v 上記の管理リソースは全 て `manifest` によって宣 言的に定義される。 -
Architecture 制御系 • etcd • kube-apiserver • kube-controller-manager • kube-scheduler
実行系 • kubelet • kube-proxy • network plugin (CNI) -
Before Helm apiVersion: apps/v1beta2 kind: Deployment metadata: name: nginx-deployment labels:
app: nginx spec: replicas: 3 selector: matchLabels: app: nginx template: metadata: labels: ... apiVersion: apps/v1beta2 kind: Deployment metadata: name: nginx-deployment labels: app: nginx spec: replicas: 3 selector: matchLabels: app: nginx template: metadata: labels: ... apiVersion: apps/v1beta2 kind: Deployment metadata: name: nginx-deployment labels: app: nginx spec: replicas: 3 selector: matchLabels: app: nginx template: metadata: labels: ... apiVersion: apps/v1beta2 kind: Deployment metadata: name: nginx-deployment labels: app: nginx spec: replicas: 3 selector: matchLabels: app: nginx template: metadata: labels: ... gitlab manifests apiVersion: apps/v1beta2 kind: Deployment metadata: name: nginx-deployment labels: app: nginx spec: replicas: 3 selector: matchLabels: app: nginx template: metadata: labels: ... apiVersion: apps/v1beta2 kind: Deployment metadata: name: nginx-deployment labels: app: nginx spec: replicas: 3 selector: matchLabels: app: nginx template: metadata: labels: ... apiVersion: apps/v1beta2 kind: Deployment metadata: name: nginx-deployment labels: app: nginx spec: replicas: 3 selector: matchLabels: app: nginx template: metadata: labels: ... apiVersion: apps/v1beta2 kind: Deployment metadata: name: nginx-deployment labels: app: nginx spec: replicas: 3 selector: matchLabels: app: nginx template: metadata: labels: ... redmine manifests apiVersion: apps/v1beta2 kind: Deployment metadata: name: nginx-deployment labels: app: nginx spec: replicas: 3 selector: matchLabels: app: nginx template: metadata: labels: ... apiVersion: apps/v1beta2 kind: Deployment metadata: name: nginx-deployment labels: app: nginx spec: replicas: 3 selector: matchLabels: app: nginx template: metadata: labels: ... apiVersion: apps/v1beta2 kind: Deployment metadata: name: nginx-deployment labels: app: nginx spec: replicas: 3 selector: matchLabels: app: nginx template: metadata: labels: ... apiVersion: apps/v1beta2 kind: Deployment metadata: name: nginx-deployment labels: app: nginx spec: replicas: 3 selector: matchLabels: app: nginx template: metadata: labels: ... mysql manifests Write manifests... And deploy -
https://kubeapps.com • drupal • etcd • gilab • grafana •
hadoop • jenkins • mariadb • mediawiki • mysql • owncloud • postgresql • redis • selenium • wordples • ... -
What is Kubernetes as a Service? (1) • Kubernetes クラスターをクラウドのユーザ個々に提供する仕組み。
Kubernetes クラスター共有モデル Kubernetes as a Service モデル オススメ!! -
Master kube-apiserver kube-cm etcd kube-scheduler Master kube-apiserver kube-cm etcd kube-scheduler
Master kube-apiserver kube-cm etcd kube-scheduler Node kubelet Node kubelet Node kubelet Node kubelet Node kubelet Node kubelet Node kubelet Node kubelet コントロールプレーン ノード -
Node kubelet Node kubelet Node kubelet Node kubelet Node kubelet
Node kubelet Node kubelet Node kubelet コントロールプレーン ノード KaaS により 提供 -
What is Kubernetes as a Service? (2) マスタコンポーネント (コントロールプレー ン)
はクラウドが用意し、 ノード はユーザが用意する。 -
パブリッククラウド比較 (2018/03時点) GKE AKS EKS k8s version 1.9 1.8 (latest)
アップグレード 自動 自動 自動 可用性 Zone/Regional - Regional ワーカノードの スケーラビリティ 異種ノード混在 オートスケール 同一ノードのみ 異種ノード混在 ストレージ Block Block/Filesystem ? 追加機能 GPUサポート ネットワークポリシー GPUサポート サービスカタログ ? 価格 コントロールプレーンの管 理費は含まれない コントロールプレーンの管 理費は含まれない ? -
とにかく KaaS を実現する際の課題 • コントロールプレーンのデプロイを自動化する手段が必要。 • リソース利用効率の向上が必要。 ◦ ユーザごとにコントロールプレーンを用意するにも関わらず、主要なパブリッククラウドではコントロー ルプレーンの管理費は無料。
◦ 可用性を確保するためにはコントロールプレーンは 3 冗長欲しい。 ◦ ユーザに提供するコントロールプレーン 1 系ごとに VM を用意するのは効率が悪い。 • 管理、運用の自動化が必要。 ◦ コントロールプレーンの管理はクラウドプロバイダ側でやる必要がある。 ▪ アップグレード、監視、障害復旧。 -
とにかく KaaS を実現する際の課題 (主にコントロールプレーン) • コントロールプレーンのデプロイを自動化する手段が必要。 • リソース利用効率の向上が必要。 ◦ ユーザごとにコントロールプレーンを用意するにも関わらず、主要なパブリッククラウドではコントロー
ルプレーンの管理費は無料。 ◦ 可用性を確保するためにはコントロールプレーンは 3 冗長欲しい。 ◦ ユーザに提供するコントロールプレーン 1 系ごとに VM を用意するのは効率が悪い。 • 管理、運用の自動化が必要。 ◦ コントロールプレーンの管理はクラウドプロバイダ側でやる必要がある。 ▪ アップグレード、監視、障害復旧。 デプロイ自動化? リソース利用効率の向上、、、 コンテナ? アップグレード、監視、自動復旧、 ??? -
Kubernetes で Helm を使って、 Kubernetes をデプロイすれば良いのでは?? Deploy • ローリングアップグレード、ロールバック •
スケーリング管理 • 設定管理 • ロードバランシング -
etcd etcd Node kubelet Node kubelet Node kubelet Node kubelet
KaaS 用 k8s cluster namespace: tenantA kube-apiserver kube-scheduler kube-apiserver kube-cm Node kubelet Node kubelet tenant A namespace: tenantB kube-apiserver kube-scheduler kube-apiserver kube-cm Node kubelet Node kubelet tenant B フルマネージド ユーザに提供する Kubernetes のコントロールプ レーンをコンテナ化、KaaS 用 k8s cluster で管理 セルフサービス ユーザは自ら用意した VM/Node をクラウドサービス が用意したコントロールプレー ンに繋げることにより、 Kubernetes クラスターを構 成。 -
デモ手順 1. KaaS 用 Kubernetes 確認 2. テナント用 Kubernetesコ ントロールプレーン作成
3. テナントVMをコントロール プレーンに接続、確認 4. テナント Kubernetes に nginx をデプロイ -
デモ手順 1. KaaS 用 Kubernetes 確認 2. テナント用 Kubernetesコ ントロールプレーン作成
3. テナントVMをコントロール プレーンに接続、確認 4. テナント Kubernetes に nginx をデプロイ -
Node kubelet Node kubelet tenant A ユーザは kubelet / kubeadm
がインストールされた VM を起 動しているが、Kubernetes ク ラスターとしてまだ動作していな い状態。 Node kubelet Node kubelet Node kubelet Node kubelet KaaS 用 k8s cluster Node kubelet Node kubelet サービスプロバイダ用の Kubernetes はすでに構築さ れているものとする。 -
デモ手順 1. KaaS 用 Kubernetes 確認 2. テナント用 Kubernetesコ ントロールプレーン作成
3. テナントVMをコントロール プレーンに接続、確認 4. テナント Kubernetes に nginx をデプロイ -
etcd namespace: tenantA kube-apiserver kube-scheduler kube-apiserver kube-cm Node kubelet Node
kubelet tenant A Helm によりネームスペース上 に Kubernetes コントロールプ レーンがデプロイされる。 Node kubelet Node kubelet Node kubelet Node kubelet KaaS 用 k8s cluster Node kubelet Node kubelet -
デモ手順 1. KaaS 用 Kubernetes 確認 2. テナント用 Kubernetesコ ントロールプレーン作成
3. テナントVMをコントロール プレーンに接続、確認 4. テナント Kubernetes に nginx をデプロイ -
etcd namespace: tenantA kube-apiserver kube-scheduler kube-apiserver kube-cm Node kubelet Node
kubelet tenant A Kubernetes クラスターを構成 するためには、ノードをコント ロールプレーンに接続する必要 がある。 Node kubelet Node kubelet Node kubelet Node kubelet KaaS 用 k8s cluster Node kubelet Node kubelet -
デモ手順 1. KaaS 用 Kubernetes 確認 2. テナント用 Kubernetesコ ントロールプレーン作成
3. テナントVMをコントロール プレーンに接続、確認 4. テナント Kubernetes に nginx をデプロイ -
etcd namespace: tenantA kube-apiserver kube-scheduler kube-apiserver kube-cm Node kubelet Node
kubelet tenant A nginx 提供されたコントロールプレーンの API に対してリクエス トを送ることで、ノード上にコンテナが作成することを確認 する。 Node kubelet Node kubelet Node kubelet Node kubelet KaaS 用 k8s cluster Node kubelet Node kubelet -
Kubernetes as a Service • プライベートクラウドでも KaaS を実現できます。 • ただし!
◦ このセッションでは全く課題について触れてません … 。 ◦ 興味ある方は以下に! ◦ https://github.com/yuanying/kubernetes-chart -
デモ手順 0. KaaS 用 Kubernetes 確認 1. テナント用ネームスペース 作成 2.
テナント用 Kubernetesコ ントロールプレーン作成 3. テナントVMをコントロール プレーンに接続、確認 4. テナント Kubernetes に nginx をデプロイ -
namespace: tenantA Node kubelet Node kubelet tenant A ネームスペース作成 Node
kubelet Node kubelet Node kubelet Node kubelet KaaS 用 k8s cluster Node kubelet Node kubelet -
What is Kubernetes as a Service? (2) フルマネージド 各種マスターコンポーネントはクラウドにより管理されてお り、ユーザは
kubernetes の API のみが提供される。 マスターコンポーネントが動作するマシンにはユーザは触 れることができない。 ex) マスターのアップグレードはクラウド側の責務 セルフサービス クラスタを構成するノードはユーザの管理下となる (最近 では一部例外あり)。 ユーザが自分で用意した VM をクラスタに組み込むことが 可能なサービスもある。 ex) ノードのアップグレードはユーザ側の責務、ただしクラ ウドによるサポートがある