Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Helm を利用した Kubernetes as a Service の実現
Search
O. Yuanying
April 19, 2018
Technology
4
5.9k
Helm を利用した Kubernetes as a Service の実現
Helm を利用して Kubernetes の上に Kubernetes のマスターコンポーネントをデプロイします。
O. Yuanying
April 19, 2018
Tweet
Share
More Decks by O. Yuanying
See All by O. Yuanying
Kubernetes CNI Migration
yuanying
0
340
k8s@home#1
yuanying
1
2.8k
kube-prometheusを気軽にKustomize
yuanying
5
3k
Z氏はKubernetesクラスタを手中に収めることができたのか
yuanying
5
3.2k
プライベートクラウドにおける Kubernetes デプロイパターン
yuanying
2
1.5k
Other Decks in Technology
See All in Technology
Claude CodeでKiroの仕様駆動開発を実現させるには...
gotalab555
3
880
S3 Glacier のデータを Athena からクエリしようとしたらどうなるのか/try-to-query-s3-glacier-from-athena
emiki
0
180
Oracle Cloud Infrastructure:2025年7月度サービス・アップデート
oracle4engineer
PRO
1
110
大規模イベントに向けた ABEMA アーキテクチャの遍歴 ~ Platform Strategy 詳細解説 ~
nagapad
0
190
私とAWSとの関わりの歩み~意志あるところに道は開けるかも?~
nagisa53
1
160
オブザーバビリティプラットフォーム開発におけるオブザーバビリティとの向き合い / Hatena Engineer Seminar #34 オブザーバビリティの実現と運用編
arthur1
0
340
Rubyの国のPerlMonger
anatofuz
3
730
AI人生苦節10年で会得したAIがやること_人間がやること.pdf
shibuiwilliam
1
270
みんなのSRE 〜チーム全員でのSRE活動にするための4つの取り組み〜
kakehashi
PRO
2
140
LLMをツールからプラットフォームへ〜Ai Workforceの戦略〜 #BetAIDay
layerx
PRO
1
850
Agent Development Kitで始める生成 AI エージェント実践開発
danishi
0
120
【Λ(らむだ)】最近のアプデ情報 / RPALT20250729
lambda
0
230
Featured
See All Featured
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
332
22k
Testing 201, or: Great Expectations
jmmastey
45
7.6k
A designer walks into a library…
pauljervisheath
207
24k
Build your cross-platform service in a week with App Engine
jlugia
231
18k
Optimising Largest Contentful Paint
csswizardry
37
3.4k
Building an army of robots
kneath
306
45k
Bootstrapping a Software Product
garrettdimon
PRO
307
110k
The Pragmatic Product Professional
lauravandoore
36
6.8k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
31
1.3k
Done Done
chrislema
185
16k
Put a Button on it: Removing Barriers to Going Fast.
kastner
60
3.9k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
Transcript
OTSUKA, Motohiro / Yuanying NEC Solution Innovators, Ltd Japan Container
Days v18.04 を利用した Kubernetes as a Service の実現
この資料について 掲載内容は私自身の見解であり、 必ずしも所属する企業や組織の立場、戦略、意見 を代表するものではありません。
Agenda 1. 私 2. Motivation 3. Kubernetes 4. Helm 5.
Kubernetes as a Service 6. Kubernetes as a Service 実現案 7. デモ 8. まとめ
私
Who am I ? • OTSUKA, Motohiro / Yuanying ◦
NEC ソリューションイノベータ ▪ OSS コミュニティ対応チーム所属 ◦ OpenStack コミュニティ ▪ OpenStack Magnum 元コアレビューア • (2014/12/31-2017/03/31) ◦ 言語 ▪ Ruby (2007 - ) ▪ Python (2014 - ) ▪ Go (2017 - ) ◦ 趣味 ▪ ロードバイク (2009 - ) ▪ トライアスロン (2010 - )
Currently I’m interested in... お家 Kubernetes クラスター • Master Node
◦ HW: MinnowBoard Turbot x 3 ◦ Component ▪ etcd, kube-api, kube-controller-manager, kube-scheduler • Worker / Storage Node ◦ HW: ECS Liva Z x 3 ◦ Component ▪ CoreDNS, Flannel ▪ Gluster
Motivation
なぜパブリッククラウドのそれを使わずに、 Kubernetes as a Service (KaaS) を実現する必要がある のか。 社内のプライベートクラウドで自由に Kubernetes
クラスターが欲しい、け どそれを管理したくない。 パブリッククラウドを運営してます、けどまだ KaaS はラインナップしていません。 OpenStack Magnum の開発者でした、け どうちの会社の人が使ってくれません、リベ ンジしたい。
Kubernetes
What is Kubernetes? • コンテナオーケストレーションツール ◦ Google の内部システム Borg にインスパイアされている。
◦ 2014 年にオープンソース化。 ◦ クラウドネイティブアプリケーションのための運用・管理基盤 。 ▪ アプリケーションのデプロイ、アップデート、プロセス監視、自動復旧、ロードバランシングなど の機能がデフォルトで組み込まれている。 アプリケーションのデプロイという意味で は、どちらかというと Ansible, Chef, Puppet が競合ソフトウェア?
例えば、 ロードバランシング
Services • Pod へのロードバランシング • サービスディスカバリ ◦ ex: DNS record,
frontend.svc.default.cluster.local Services selector: app: frontend Pod frontend app Pod frontend app 8080
例えば、 ローリングアップデート
Deployments • ReplicaSets の世代管理 ◦ ローリングアップデート ◦ ロールバック Deployment replicas:
2 selector: app: nginx ReplicaSet Template ReplicaSet v1 Pod nginx v1.12 Pod nginx 1.12 ReplicaSet v2 Pod nginx v1.13 Pod nginx 1.13
Manifest apiVersion: apps/v1beta2 kind: Deployment metadata: name: nginx-deployment labels: app:
nginx spec: replicas: 3 selector: matchLabels: app: nginx template: metadata: labels: app: nginx spec: containers: - name: nginx image: nginx:1.7.9 ports: - containerPort: 80 v 上記の管理リソースは全 て `manifest` によって宣 言的に定義される。
What is Kubernetes? クラウドアプリケーションを構築するための一番最適な方法!
Architecture 制御系 • etcd • kube-apiserver • kube-controller-manager • kube-scheduler
実行系 • kubelet • kube-proxy • network plugin (CNI)
None
Helm とは? Kubernetes における パッケージマネージャ apt, yum… helm!
Before Helm apiVersion: apps/v1beta2 kind: Deployment metadata: name: nginx-deployment labels:
app: nginx spec: replicas: 3 selector: matchLabels: app: nginx template: metadata: labels: ... apiVersion: apps/v1beta2 kind: Deployment metadata: name: nginx-deployment labels: app: nginx spec: replicas: 3 selector: matchLabels: app: nginx template: metadata: labels: ... apiVersion: apps/v1beta2 kind: Deployment metadata: name: nginx-deployment labels: app: nginx spec: replicas: 3 selector: matchLabels: app: nginx template: metadata: labels: ... apiVersion: apps/v1beta2 kind: Deployment metadata: name: nginx-deployment labels: app: nginx spec: replicas: 3 selector: matchLabels: app: nginx template: metadata: labels: ... gitlab manifests apiVersion: apps/v1beta2 kind: Deployment metadata: name: nginx-deployment labels: app: nginx spec: replicas: 3 selector: matchLabels: app: nginx template: metadata: labels: ... apiVersion: apps/v1beta2 kind: Deployment metadata: name: nginx-deployment labels: app: nginx spec: replicas: 3 selector: matchLabels: app: nginx template: metadata: labels: ... apiVersion: apps/v1beta2 kind: Deployment metadata: name: nginx-deployment labels: app: nginx spec: replicas: 3 selector: matchLabels: app: nginx template: metadata: labels: ... apiVersion: apps/v1beta2 kind: Deployment metadata: name: nginx-deployment labels: app: nginx spec: replicas: 3 selector: matchLabels: app: nginx template: metadata: labels: ... redmine manifests apiVersion: apps/v1beta2 kind: Deployment metadata: name: nginx-deployment labels: app: nginx spec: replicas: 3 selector: matchLabels: app: nginx template: metadata: labels: ... apiVersion: apps/v1beta2 kind: Deployment metadata: name: nginx-deployment labels: app: nginx spec: replicas: 3 selector: matchLabels: app: nginx template: metadata: labels: ... apiVersion: apps/v1beta2 kind: Deployment metadata: name: nginx-deployment labels: app: nginx spec: replicas: 3 selector: matchLabels: app: nginx template: metadata: labels: ... apiVersion: apps/v1beta2 kind: Deployment metadata: name: nginx-deployment labels: app: nginx spec: replicas: 3 selector: matchLabels: app: nginx template: metadata: labels: ... mysql manifests Write manifests... And deploy
After Helm Gitlab Chart Redmine Chart MySQL Chart helm create
<chart name>
https://kubeapps.com • drupal • etcd • gilab • grafana •
hadoop • jenkins • mariadb • mediawiki • mysql • owncloud • postgresql • redis • selenium • wordples • ...
Helm とは? Helm でパッケージ化することで、 Kubernetes に簡単にアプリケーションをデプロイ、共有することができる!
Kubernetes as a Service
What is Kubernetes as a Service? (1) • Kubernetes クラスターをクラウドのユーザ個々に提供する仕組み。
Kubernetes クラスター共有モデル Kubernetes as a Service モデル オススメ!!
どんな感じで Kubernetes クラスターはユーザに提供されるの?
Master kube-apiserver kube-cm etcd kube-scheduler Master kube-apiserver kube-cm etcd kube-scheduler
Master kube-apiserver kube-cm etcd kube-scheduler Node kubelet Node kubelet Node kubelet Node kubelet Node kubelet Node kubelet Node kubelet Node kubelet コントロールプレーン ノード
Node kubelet Node kubelet Node kubelet Node kubelet Node kubelet
Node kubelet Node kubelet Node kubelet コントロールプレーン ノード KaaS により 提供
What is Kubernetes as a Service? (2) マスタコンポーネント (コントロールプレー ン)
はクラウドが用意し、 ノード はユーザが用意する。
パブリッククラウド比較 (2018/03時点) GKE AKS EKS k8s version 1.9 1.8 (latest)
アップグレード 自動 自動 自動 可用性 Zone/Regional - Regional ワーカノードの スケーラビリティ 異種ノード混在 オートスケール 同一ノードのみ 異種ノード混在 ストレージ Block Block/Filesystem ? 追加機能 GPUサポート ネットワークポリシー GPUサポート サービスカタログ ? 価格 コントロールプレーンの管 理費は含まれない コントロールプレーンの管 理費は含まれない ?
パブリッククラウドに対抗する、 Kubernetes as a Service を実現するには? ムリ
とにかく KaaS を実現する際の課題 • コントロールプレーンのデプロイを自動化する手段が必要。 • リソース利用効率の向上が必要。 ◦ ユーザごとにコントロールプレーンを用意するにも関わらず、主要なパブリッククラウドではコントロー ルプレーンの管理費は無料。
◦ 可用性を確保するためにはコントロールプレーンは 3 冗長欲しい。 ◦ ユーザに提供するコントロールプレーン 1 系ごとに VM を用意するのは効率が悪い。 • 管理、運用の自動化が必要。 ◦ コントロールプレーンの管理はクラウドプロバイダ側でやる必要がある。 ▪ アップグレード、監視、障害復旧。
Kubernetes as a Service 実現案
とにかく KaaS を実現する際の課題 (主にコントロールプレーン) • コントロールプレーンのデプロイを自動化する手段が必要。 • リソース利用効率の向上が必要。 ◦ ユーザごとにコントロールプレーンを用意するにも関わらず、主要なパブリッククラウドではコントロー
ルプレーンの管理費は無料。 ◦ 可用性を確保するためにはコントロールプレーンは 3 冗長欲しい。 ◦ ユーザに提供するコントロールプレーン 1 系ごとに VM を用意するのは効率が悪い。 • 管理、運用の自動化が必要。 ◦ コントロールプレーンの管理はクラウドプロバイダ側でやる必要がある。 ▪ アップグレード、監視、障害復旧。 デプロイ自動化? リソース利用効率の向上、、、 コンテナ? アップグレード、監視、自動復旧、 ???
これらの機能を持つミドルウェアをどこかで見たような…。
Kubernetes で Helm を使って、 Kubernetes をデプロイすれば良いのでは?? Deploy • ローリングアップグレード、ロールバック •
スケーリング管理 • 設定管理 • ロードバランシング
etcd etcd Node kubelet Node kubelet Node kubelet Node kubelet
KaaS 用 k8s cluster namespace: tenantA kube-apiserver kube-scheduler kube-apiserver kube-cm Node kubelet Node kubelet tenant A namespace: tenantB kube-apiserver kube-scheduler kube-apiserver kube-cm Node kubelet Node kubelet tenant B フルマネージド ユーザに提供する Kubernetes のコントロールプ レーンをコンテナ化、KaaS 用 k8s cluster で管理 セルフサービス ユーザは自ら用意した VM/Node をクラウドサービス が用意したコントロールプレー ンに繋げることにより、 Kubernetes クラスターを構 成。
デモ
青い端末 テナントA 赤い端末 クラウドプロバイダ側
デモ手順 1. KaaS 用 Kubernetes 確認 2. テナント用 Kubernetesコ ントロールプレーン作成
3. テナントVMをコントロール プレーンに接続、確認 4. テナント Kubernetes に nginx をデプロイ
デモ手順 1. KaaS 用 Kubernetes 確認 2. テナント用 Kubernetesコ ントロールプレーン作成
3. テナントVMをコントロール プレーンに接続、確認 4. テナント Kubernetes に nginx をデプロイ
Node kubelet Node kubelet tenant A ユーザは kubelet / kubeadm
がインストールされた VM を起 動しているが、Kubernetes ク ラスターとしてまだ動作していな い状態。 Node kubelet Node kubelet Node kubelet Node kubelet KaaS 用 k8s cluster Node kubelet Node kubelet サービスプロバイダ用の Kubernetes はすでに構築さ れているものとする。
デモ手順 1. KaaS 用 Kubernetes 確認 2. テナント用 Kubernetesコ ントロールプレーン作成
3. テナントVMをコントロール プレーンに接続、確認 4. テナント Kubernetes に nginx をデプロイ
etcd namespace: tenantA kube-apiserver kube-scheduler kube-apiserver kube-cm Node kubelet Node
kubelet tenant A Helm によりネームスペース上 に Kubernetes コントロールプ レーンがデプロイされる。 Node kubelet Node kubelet Node kubelet Node kubelet KaaS 用 k8s cluster Node kubelet Node kubelet
デモ手順 1. KaaS 用 Kubernetes 確認 2. テナント用 Kubernetesコ ントロールプレーン作成
3. テナントVMをコントロール プレーンに接続、確認 4. テナント Kubernetes に nginx をデプロイ
etcd namespace: tenantA kube-apiserver kube-scheduler kube-apiserver kube-cm Node kubelet Node
kubelet tenant A Kubernetes クラスターを構成 するためには、ノードをコント ロールプレーンに接続する必要 がある。 Node kubelet Node kubelet Node kubelet Node kubelet KaaS 用 k8s cluster Node kubelet Node kubelet
デモ手順 1. KaaS 用 Kubernetes 確認 2. テナント用 Kubernetesコ ントロールプレーン作成
3. テナントVMをコントロール プレーンに接続、確認 4. テナント Kubernetes に nginx をデプロイ
etcd namespace: tenantA kube-apiserver kube-scheduler kube-apiserver kube-cm Node kubelet Node
kubelet tenant A nginx 提供されたコントロールプレーンの API に対してリクエス トを送ることで、ノード上にコンテナが作成することを確認 する。 Node kubelet Node kubelet Node kubelet Node kubelet KaaS 用 k8s cluster Node kubelet Node kubelet
まとめ
Kubernetes as a Service • プライベートクラウドでも KaaS を実現できます。 • ただし!
◦ このセッションでは全く課題について触れてません … 。 ◦ 興味ある方は以下に! ◦ https://github.com/yuanying/kubernetes-chart
ご静聴ありがとうございました。
おまけ
デモ手順 0. KaaS 用 Kubernetes 確認 1. テナント用ネームスペース 作成 2.
テナント用 Kubernetesコ ントロールプレーン作成 3. テナントVMをコントロール プレーンに接続、確認 4. テナント Kubernetes に nginx をデプロイ
namespace: tenantA Node kubelet Node kubelet tenant A ネームスペース作成 Node
kubelet Node kubelet Node kubelet Node kubelet KaaS 用 k8s cluster Node kubelet Node kubelet
What is Kubernetes as a Service? (2) フルマネージド 各種マスターコンポーネントはクラウドにより管理されてお り、ユーザは
kubernetes の API のみが提供される。 マスターコンポーネントが動作するマシンにはユーザは触 れることができない。 ex) マスターのアップグレードはクラウド側の責務 セルフサービス クラスタを構成するノードはユーザの管理下となる (最近 では一部例外あり)。 ユーザが自分で用意した VM をクラスタに組み込むことが 可能なサービスもある。 ex) ノードのアップグレードはユーザ側の責務、ただしクラ ウドによるサポートがある
この資料の取り扱いについては、 以下の URL を参照してください。 https://個人の見解.jp
この資料の取り扱いについては、 以下の URL を参照してください。 https://個人の見解.jp
この資料の取り扱いについては、 以下の URL を参照してください。 https://個人の見解.jp