OperatorLifecycleManager 101

そ～いうことね。
完全に理解した

View Slide

View Slide

運用の知見をコード化し、ステートフルアプリケーションの運用を自動化する
アプリ運用における運用の知見をコード化し、
パッケージ化したもの。
アプリケーション運用に必要な以下のような作業
を自動的に行う。
・インストール
・リソーススケーリング
・バックアップ
・アップデート
運用の知見をコード化

View Slide

View Slide

『』
ではあるものの。話の流れ上、
「」
と言う意味で使っているところがあり
ます。
適宜、解釈お願いします。
を解説するために、本資料内で
未実装機能を実装済みのように取り
上げている箇所があります。
あくまで例の場合は、注釈をつけて
います。
本資料ではを例
としてあげています

View Slide

View Slide

を簡単統一的に実装利用するためのフレームワーク
容易にを作成
の詳細を知らなくても
を作成できる。
のインストールアップデート
と依存関係を管理
のリソース
使用量をレポート

View Slide

も管理を行わなければ、技術負債となる
自体のマニフェストを管理してくれる仕組みが

View Slide

View Slide

を利用することで、を自動的に最新
の状態に保つための方式を提供する。
プラットフォームや他のへの依存
関係を解決し、自動で必要なリソースをインストールす
る。
インストールされたとそのサービスを、テナン
トのに展開する。
同じを所有して、競合するがインス
トールされることを防ぐ。
を活用し、マネージドサービスプロバイダのように
管理のインターフェイスを提供する。

View Slide

View Slide

展開先作成
設定
が利用する作成
展開
の作成
$ kubectl create ns
$ kubectl create -f deploy/service_account.yaml –n

$ kubectl create -f deploy/crds/operator_crd.yaml
$ kubectl create -f deploy/operator.yaml -n

$ kubectl create –f
deploy/crds/operator_cr.yaml
とりあえず全部手動でを作る方法

View Slide

展開先作成
設定
展開
の作成
$ kubectl create ns


$ helm repo add jenkins
https://raw.githubusercontent.com/jenkinsci/kubernetes-
operator/master/chart
$ helm install jenkins/jenkins-operator
追加
が化されているもある。

View Slide

$ export olm_release=0.15.1
$ kubectl apply -f https://github.com/operator-framework/operator-
lifecycle-manager/releases/download/${olm_release}/crds.yaml
$ kubectl apply -f https://github.com/operator-framework/operator-
lifecycle-manager/releases/download/${olm_release}/olm.yaml
$ kubectl get crd
NAME
catalogsources.operators.coreos.com
clusterserviceversions.operators.coreos.com
installplans.operators.coreos.com
operatorgroups.operators.coreos.com
subscriptions.operators.coreos.com
$ kubectl get deploy -n olm
NAME READY UP-TO-DATE AVAILABLE AGE
catalog-operator 1/1 1 1 88s
olm-operator 1/1 1 1 88s
packageserver 2/2 2 2 73s
$ kubectl get packagemanifest
NAME CATALOG AGE
federatorai Community Operators 23m
mariadb-operator-app Community Operators 23m
nuodb-operator-bundle Community Operators 23m
cluster-manager Community Operators 23m
tidb-operator Community Operators 23m
kubemq-operator Community Operators 23m
jaeger Community Operators 23m
…

View Slide

【】
単一のバージョンのを形
成するパッケージ。
・を識別するメタ情報
・
・リソースなどが記載された
では、として管理される。
展開先作成
設定
展開
の作成
$ kubectl create ns



View Slide

は、が必要とする、それが管理した
り、依存したりするカスタムリソースなど、
実行に必要な技術情報源の
を展開するための情報が入っている「」

View Slide

ターゲット内のを監視し、で指
定されたリソース要件が満たされていることを確認し、
にしたがって、をデプロ
イする。
クラスタのアプリケーション定義とを維持し、
のを監視し、それに基づいて
を作成する。

View Slide

ターゲット内のを監視し、で指
定されたリソース要件が満たされていることを確認し、
にしたがって、をデプロ
イする。
クラスタのアプリケーション定義とを維持し、
のを監視し、それに基づいて
を作成する。
商品を紹介する販売員
購入商品を届ける配達員

View Slide

Ⅰ Ⅱ Ⅲ Ⅳ
を監視の作成を作成リソースを作成
を定義
判定の利用

View Slide

を
に
届けてください。
【】
との更新元を定義し、パッケージ内の
とバインドしての更新を維持するもの。
Operator
Ⅰ を監視
apiVersion: operators.coreos.com/v1alpha1
kind: Subscription
metadata:
name: argocd-operator
namespace: olm
spec:
channel: alpha
installPlanApproval: Automatic
source: operatorhubio-catalog
sourceNamespace: olm
startingCSV: argocd-operator.v0.0.12

View Slide

Ⅱ の作成
には
とと
が入っています。
こちらでいいですか？
【】
の自動インストール、またはアップグレードするため
に作成されるリソースの計算された一覧。
おねがいします。
$ kubectl -n olm get installplan
NAME CSV APPROVAL APPROVED
install-gbtsx argocd-operator.v0.0.12 Automatic true

View Slide

$ kubectl -n olm get csv
NAME DISPLAY VERSION REPLACES PHASE
argocd-operator.v0.0.12 Argo CD 0.0.12 Succeeded
$ kubectl get crd |grep argo
applications.argoproj.io
appprojects.argoproj.io
argocdexports.argoproj.io
argocds.argoproj.io
Ⅲ を作成
【】
のデプロイを支援するリソース。
を監視

View Slide

Ⅳ リソースを作成
【】
と同じにデプロイされた
のデプロイ制限を行う。
が届けられる。
を確認
あのぉ。
届いたんだけど
$ kubectl -n olm get deployment,pod,sa
NAME READY UP-TO-DATE AVAILABLE AGE
deployment.apps/argocd-operator 1/1 1 1 11m
NAME READY STATUS RESTARTS AGE
pod/argocd-operator-5d59c9c447 1/1 Running 0 11m
NAME SECRETS AGE
serviceaccount/argocd-application-controller 2 11m
serviceaccount/argocd-dex-server 2 11m
serviceaccount/argocd-operator 2 11m
serviceaccount/argocd-redis-ha 2 11m
serviceaccount/argocd-server 2 11m
$ kubectl -n openshift-operator-lifecycle-manager logs pod/olm-
operator-7d9844479b-wlcx5 --tail=10
time="2020-08-16T09:17:30Z" level=info msg="csv in operatorgroup"
csv=argocd-operator.v0.0.12 id=GP0ZJ namespace=olm opgroup=olm-
wxgq8 phase=Succeeded

View Slide

Ⅰ を監視
Ⅱ の作成
Ⅲ を作成

View Slide

View Slide

このあたりの仕組みについて
再掲

View Slide

Ⅰ を監視
Ⅱ の作成
Ⅲ を作成
再掲

View Slide

は、が必要とする、それが管理した
り、依存したりするカスタムリソースなど、
実行に必要な技術情報源の
名前、説明、、、、
などの定義
配置に必要なリソースの定
義、、、など
が管理または依存する
の定義

View Slide

View Slide

kind: ClusterServiceVersion
<…ellipsis…>
spec:
<…ellipsis…>
description: |
## Overview
The Argo CD Operator manages the full lifecycle…
displayName: Argo CD
icon:
- base64data: PD94bWwgdmVyc2lvbj0iMS4w…
mediatype: image/svg+xml
links:
- name: Argo CD Project
url: https://argoproj.github.io/argo-cd/
- name: Operator Documentation
url: https://argocd-operator.readthedocs.io
- name: Operator Source Code
url: https://github.com/argoproj-labs/argocd-operator
maintainers:
- email: [email protected]
name: John McKenzie
maturity: alpha
provider:
name: Argo CD Community
replaces: argocd-operator.v0.0.11
version: 0.0.12
の情報を記載することで、特定のや
ソースコードの情報を提供。

View Slide

などに記載される情報は、のから生成
される。
のリソースを取りまとめるメタデータ
はのごとに存在する

View Slide

の中では、はとという
更新ストリームで編成される。
のリソースを取りまとめるメタデータ
ごとに存在する
内のタグ
リリースされたバージョンを管
理するディレクトリー
を構成することによって、同じでも
安定性だけでなく、異なる構成のを管理
できる。例

View Slide

kind: Subscription
metadata:
namespace: olm
spec:
channel: alpha
installPlanApproval: Automatic
source: operatorhubio-catalog
sourceNamespace: olm
startingCSV: argocd-operator.v0.0.12
status:
installedCSV: argocd-operator.v0.0.13
currentCSV: argocd-operator.v0.0.13
に到達するまでをバージョンずつ更新
が作成されると、そのパッケージの最新
がインストールされる。

View Slide

新しく入れるクラスタは、
新しいバージョンを導入
最新バージョンに到達するまで、全てののバー
ジョンを更新することは、安全ではない。
<…ellipsis…>
spec:
<…ellipsis…>
description: |
## Overview
The Argo CD Operator manages the full
lifecycle…
displayName: Argo CD
icon:
- base64data: PD94bWwgdmVyc2lvbj0iMS4w…
replaces: argocd-operator.v0.0.11
skips:
- argocd-operator.v0.0.12
version: 0.0.13
すでに導入済みのクラス
タへの影響を与えないよ
うに

View Slide

View Slide

<…ellipsis…>
spec:
<…ellipsis…>
install:
spec:
clusterPermissions:
- rules:
- apiGroups:
- '*'
resources:
- ‘*’
…
verbs:
- get
- list
serviceAccountName: argocd-application-controller
deployments:
- name: argocd-operator
spec:
replicas: 1
selector:
matchLabels:
strategy: {}
template:
を実行するために必要なリソースの
定義、などが直接行われる。

View Slide

Ⅰ を監視
Ⅱ の作成
Ⅲ を作成
再掲

View Slide

で定義されたが所属するを特定するこ
とで、メンバー内のに必要なを生成する。
▶ クラスタ管理者がを介してに付与する権限を制
御することが目的
kind: OperatorGroup
apiVersion: operators.coreos.com/v1
metadata:
name: og-single
namespace: argocd
spec:
targetNamespaces:
- argocd
とみなす条件
がと同じにある
がをサポートしている場合
でインストール対象
情報を伝える
基本はつのに対して、つのの指定を行う。

View Slide

でインストール対象
情報を伝える
メンバーに必要なアクセスを生成するた
めの情報をでに提供
env:
- name: WATCH_NAMESPACE
valueFrom:
fieldRef:
fieldPath: 'metadata.annotations[''olm.targetNamespaces'']'
の名前
の
内にあるターゲットの
を介して、のインスタンスに反映される
の配置方法で異なる

View Slide

では、４つのをサポートしている。
「」「」のどちらかをサポートしているが多い。
管理の
などに
をインストールし、ク
ラスタのすべての
を監視します。
がデプロイされてい
る以外の複数の指
定されたのイベン
トを監視します。
る以外の単一の
のイベントを監視
します。
るのイベントだけ
を監視します。
では、すべてが上記の構成をサポートしているわけではない。
たとえば、クラスターレベルで実行するように設計されたに対して、単一のを定義する
を設定すべきではない。

View Slide

を設定したと同じののみを監視する。
kind: OperatorGroup
metadata:
name: og-ownnamespace
namespace: argocd
spec:
targetNamespaces:
- argocd
他のユーザーに影響を与えることなくのアップグ
レードなどを処理できる。
・内に指定されるのみを監視する
・リソースにアクセスするおよびを設定

View Slide

すべてののを監視する。
kind: OperatorGroup
metadata:
name: og-allnamespaces
namespace: olm
リソースの再利用性を促進し、クラスター全体で定義され
たリソースを管理する。
・クラスター内の全てのに指定される
を監視する
・およびを設定

View Slide

installModes:
- supported: true
type: OwnNamespace
で指定したにあったを展開できるようにを構成しておく
はの調整はしてくれない。

View Slide

・
の作成時にが生成され、のメンバーがになった時にが設
定される。
・
・
・
・
・
・
・
をリストで指定することで、に対応したをまとめられる

View Slide

View Slide

Ⅰ を監視
Ⅱ の作成
Ⅲ を作成
再掲

View Slide

<…ellipsis…>
spec:
customresourcedefinitions:
owned:
- kind: Application
name: applications.argoproj.io
version: v1alpha1
displayName: Application
description: An Application is a group…
- kind: AppProject
name: appprojects.argoproj.io
version: v1alpha1
displayName: AppProject
description: An AppProject is a logical…
- kind: ArgoCDExport
name: argocdexports.argoproj.io
version: v1alpha1
displayName: ArgoCDExport
description: ArgoCDExport describes…
- kind: ArgoCD
name: argocds.argoproj.io
version: v1alpha1
displayName: ArgoCD
description: ArgoCD is the representation…
に必要なのリンク、依存関係の管
理を設定する。

View Slide

自体が所有しているの指定
が使用できるには「」と
「」のつのタイプがある。
が必要としている、別が持つ
の指定
を持つは動的にされる

View Slide

metadata:
<…ellipsis…>
spec:
owned:
- kind: ArgoCD
name: argocds.argoproj.io
version: v1alpha1
displayName: ArgoCD
description: ArgoCD is the representation…
<…ellipsis…>
specDescriptors:
- description: 'The container image tag (version) …
displayName: Version
path: version
x-descriptors:
- 'urn:alm:descriptor:com.tectonic.ui:fieldGroup:ArgoCD'
- 'urn:alm:descriptor:com.tectonic.ui:text’
- description: 'The container image …
displayName: Image
path: image
x-descriptors:
- 'urn:alm:descriptor:com.tectonic.ui:fieldGroup:ArgoCD'
- 'urn:alm:descriptor:com.tectonic.ui:text’
- description: 'The number of operation processors…
displayName: 'Operation Processor Count'
path: controller.processors.operation
x-descriptors:
- 'urn:alm:descriptor:com.tectonic.ui:fieldGroup…
- 'urn:alm:descriptor:com.tectonic.ui:number'

View Slide

は、相互に機能しないの共存を防
止する。
・提供できないを必要とするの
インストール
・依存関係のあるに対して、障害を発生さ
せる方法でのの更新
が複数のによって所有される場合、
は、後方互換性の条件を全て満たす場合にアップ
グレードされる。
希望
に更新
えっまぢで
新しいの

View Slide

は、相互に機能しないの共存を防
止する。
・提供できないを必要とするの
インストール
・依存関係のあるに対して、障害を発生さ
せる方法でのの更新
が複数のによって所有される場合、
は、後方互換性の条件を全て満たす場合にアップ
グレードされる。
希望
に更新
えっまぢで
新しいの
バージョンの依存関係とは

View Slide

kind: CustomResourceDefinition
apiVersion: apiextensions.k8s.io/v1beta1
spec:
names:
kind: GitRepo
<…ellipsis…>
versions:
- name: v1alpha1
served: true
storage: true
<…ellipsis…>
spec:
required:
- kind: GitRepo
name: gitrepos.gitproj.io
version: v1alpha1
displayName: GitRepo
description: GitRepo is the representation…
のに新たなを追記
の提供可能可否
のメイン提供

View Slide

spec:
names:
kind: GitRepo
<…ellipsis…>
versions:
- name: v1alpha1
served: true
storage: false
- name: v1beta1
served: true
storage: true
<…ellipsis…>
spec:
required:
- kind: GitRepo
version: v1alpha1
のに新たなを追記
の提供可能可否
のメイン提供
非推奨バージョン
で提供

View Slide

spec:
names:
kind: GitRepo
<…ellipsis…>
versions:
- name: v1alpha1
served: true
storage: false
- name: v1beta1
served: true
storage: true
<…ellipsis…>
spec:
required:
- kind: GitRepo
version: v1beta1
側の利用バージョンを変更する更新時点で、
自身が新規バージョンに対応の
入れ替えする必要がある。
対応

View Slide

spec:
names:
kind: GitRepo
<…ellipsis…>
versions:
- name: v1alpha1
served: false
storage: false
- name: v1beta1
served: true
storage: true
<…ellipsis…>
spec:
required:
- kind: GitRepo
version: v1beta1
をバージョンアップするには以下を満たす必要がある。
・既存として有効化されたバージョンが、新規に存在する。
・検証が新規の検証スキーマに対して行われる場合、の有効にされたバー
ジョンに関連付けられる既存インスタンスまたはカスタムリソースすべてが有効である。
提供廃止
削除可能

View Slide

の作成を含むをブラウザ上で作成可能

View Slide

View Slide

このあたりの仕組みについて
再掲

View Slide

Operator
によってが並べられている？
$ kubectl get packagemanifests
NAME CATALOG AGE
…

View Slide

/argocd-operator
├── 0.0.12
│ ├── Dockerfile
│ ├── manifests
│ │ ├── argocd-operator.v.0.0.12.clusterserviceversion.yaml
│ │ ├── argoproj.io_applications_crd.yaml
│ │ ├── argoproj.io_appprojects_crd.yaml
│ │ ├── argoproj.io_argocdexports_crd.yaml
│ │ └── argoproj.io_argocds_crd.yaml
│ └── metadata
│ ├── annotations.yaml
│ └── dependencies.yaml
└── 0.0.11
├── Dockerfile
├── manifests
│ ├── argocd-operator.v.0.0.11.clusterserviceversion.yaml
│ ├── argoproj.io_applications_crd.yaml
│ ├── argoproj.io_appprojects_crd.yaml
│ ├── argoproj.io_argocdexports_crd.yaml
│ └── argoproj.io_argocds_crd.yaml
└── metadata
├── annotations.yaml
└── dependencies.yaml
/argocd-operator
├── 0.0.12
├── 0.0.11
├── 0.0.9
├── 0.0.8
├── …
└── argocd-operator.package.yaml
は、「」「」ディレクトリ
で構成され、拡張が容易になっている

View Slide

/argocd-operator
├── 0.0.12
└── 0.0.11
├── manifests
└── metadata
に追加する方法についての形式や、
から選択できるなどを定義する
annotations:
mediatype.v1: "registry+v1"
manifests.v1: "manifests/"
metadata.v1: "metadata/"
package.v1: “argocd-operator"
channels.v1: “alpha, beta"
channel.default.v1: “alpha"
利用可能なを指定

View Slide

/argocd-operator
├── 0.0.12
└── 0.0.11
├── manifests
└── metadata
明示的にバージョンの依存関係を指定するこ
とで、利用時にによって検出される。
dependencies:
- type: olm.package
packageName: git-operator
version: >0.21.0
- type: olm.gvk
group: gitproj.io
kind: GitRepo
version: v1alpha1
特定のバージョンを指定

View Slide

/argocd-operator
├── 0.0.12
└── 0.0.11
├── manifests
└── metadata
は、と
に関連付けられたメタデータを格納するコンテ
ナイメージ。は、の特定のバー
ジョンを提示する。
FROM scratch
# We are pushing an operator-registry bundle
# that has both metadata and manifests.
LABEL operators.operatorframework.io.bundle.mediatype.v1=registry+v1
LABEL operators.operatorframework.io.bundle.manifests.v1=manifests/
LABEL operators.operatorframework.io.bundle.metadata.v1=metadata/
LABEL operators.operatorframework.io.bundle.package.v1=test-operator
LABEL operators.operatorframework.io.bundle.channels.v1=beta,stable
LABEL
operators.operatorframework.io.bundle.channel.default.v1=stable
ADD test/*.yaml /manifests
ADD test/metadata/annotations.yaml /metadata/annotations.yaml

View Slide

すべてのバージョンの情
報が含まれるデータベースイメージ。
へのポインター参照先が記載さ
れたデータベースが含まれている。
の実態ではない
$ grpcurl -plaintext localhost:50051 ¥
api.Registry/ListPackages
{
"name": "3scale-community-operator"
}
<…ellipsis…>
{
"name": "argocd-operator"
}
{
"name": "argocd-operator-helm"
}
$ grpcurl -plaintext -d '{"pkgName":"argocd-
operator","channelName":"alpha"}’ ¥
localhost:50051 ¥
api.Registry/GetBundleForChannel
"providedApis": [
{
"group": "argoproj.io",
"version": "v1alpha1",
"kind": "Application",
"plural": "applications"
}
<…ellipsis…>

View Slide

$ kubectl -n olm get pod
NAME READY STATUS
catalog-operator-c8bc7f97c-2fxds 1/1 Running
olm-operator-84cfcdbdb8-qdzwd 1/1 Running
operatorhubio-catalog-7bg4v 1/1 Running
packageserver-7bc5d956c5-pxtz2 1/1 Running
packageserver-7bc5d956c5-rffbv 1/1 Running
を増やしていくことによって、導入でき
るのパッケージ数カタログを増やせる
同一のカタログが入っているを同じクラスタ上
に展開するとを起こす。

View Slide

「」を管理しているプロセス。
が追加されると、情報
を取りに行き、特定の名と
のリストを作る。
NAME READY STATUS
$ kubectl get packagemanifests
NAME CATALOG AGE
…

View Slide

## Create Index Image
$ opm index add ¥
--bundles quay.io//bundle:0.0.1 ¥
--tag quay.io//my-index:1.0.0
$ podman push quay.io//my-
index:1.0.0
## Add Index to a current Image
$ opm index add ¥
--from-index quay.io//my-
index:1.0.0 ¥
の作成は「」という
プロジェクトによって管理されている。
管理者は、コマンド
を利用することで、を作ることができる。

View Slide

## Create Index Image
$ opm index add ¥
$ podman push quay.io//my-
index:1.0.0
## Add Index to a current Image
$ opm index add ¥
--from-index quay.io//my-
index:1.0.0 ¥
の作成は「」という
プロジェクトによって管理されている。
管理者は、コマンド
を利用することで、を作ることができる。
誰がを管理しているのか
NAME READY STATUS
$ kubectl -n olm get deploy
NAME READY UP-TO-DATE
AVAILABLE
catalog-operator 1/1 1
olm-operator 1/1 1
packageserver 2/2 2
「」には、は、存在しない。

View Slide

が、の情報をもとに
を管理し、メタデータのストア先
を指示する。
を作成すると、
のが作成される。
同様に監視を行う
kind: CatalogSource
metadata:
name: operatorhubio-catalog
namespace: olm
spec:
sourceType: grpc
image: quay.io/operator-framework/upstream-
community-operators:latest
displayName: Community Operators
publisher: OperatorHub.io

View Slide

が、の情報をもとに
を管理し、メタデータのストア先
を指示する。
を作成すると、
のが作成される。
同様に監視を行う
を更新することで、新しいパッケージ情
報などが更新される。
利用しているのが新しくなると、動的に更
新される。

View Slide

View Slide

「」はクラスタ内の
の管理
として機能するのプラグイン。
・容易にのインストール、アンイ
ンストール、すでにインストールされた
の一覧を表示が可能
・を経由した、
やなどの概念を
なくした管理が可能

View Slide

View Slide

には、つのがある。
を提供するをポーリングし、
を管理する。
所定アドレスに対するへのアクセスを試し、
そこから情報を取得する。
データを解析して、を提供でき
るを管理する。
kind: CatalogSource
<…ellipsis…>
spec:
address: community-operators.openshift-
marketplace.svc:50051
displayName: Community Operators
インターネット上の
を通じて
情報を取得する
community-operators.openshift-
marketplace.svc:50051

View Slide

は、を管理してい
るリソース。で利用されており、
によってを管
理している。

View Slide

View Slide

の
の認定を受けた
が、サポートしてい
る群
コミュニティで提供されて
いるであり、基本
はプロダクトのコントリ
ビューターによってサポート
されている。
社がミドルウェア
プロダクトを化し
て提供している。
がデフォルトで管理しているには、以下の種類がある。
すべて、を経由して展開される。

View Slide

View Slide

まとめ
も管理を行わなければ、技術負債となる
を使う際は、を使おう

View Slide

著
特別マテリアルダウンロード

View Slide

創る側なのか。活用する側なのか。

View Slide

参考資料

View Slide

徹底解説
「徹底解説」
抜粋版
無料プレゼント
以下より
ダウンロードください。

View Slide

OperatorLifecycleManager 101

OperatorLifecycleManager 101

Shingo.Kitayama

More Decks by Shingo.Kitayama

Other Decks in Technology

Featured

Transcript