Rails on Kubernetes -どうする?〇〇-

freee 株式会社
Rails on Kubernetes
-どうする?〇〇-
2018.12.14
Takeru Ichii

View Slide

View Slide

みなさま

View Slide

View Slide

知ってる人

View Slide

つかったことある人

View Slide

正しく「くーばねぃてす」
って書ける人

View Slide

View Slide

「くーべるねてす」
って覚えてます

View Slide

今日はそんなお話

View Slide

freee 株式会社
Rails on Kubernetes
-どうする?〇〇-
2018.12.14
Takeru Ichii

View Slide

● 2017/10月 freee入社
○ きっかけはガード下
● 副業でプロカメラマンっぽいあれ
● freeeではRailsApp開発やってます
Takeru Ichii
いっちー
freee株式会社エンジニア
12

View Slide

13
おしながき
　06　まとめ
　05　逆引き Rails on Kubernetes どうする？〇〇
　04　Kubernetesで動かすRailsの実例
　03　Kubernetes基礎知識（用語解説）
　02　Kubernetesのメリット・デメリット
　01　Kubernetesとは？

View Slide

01 Kubernetesとは？
14
Section

View Slide

Kubernetesとは？
15
● コンテナ化されたAppのDeploy/Scaling等の管理を自動化
○ 一般に「コンテナオーケストレーションエンジン」
● 類似にDocker Swarm
● 曰く「コンテナオーケストレーションのデファクトスタンダード」
● GCPではGKEがマネージドサービスとして提供されている
○ AWSでは2018/6からEKSが一部リージョンで利用可能
● つまり「ナウなヤングにバカウケな、イケてるコンテナオーケストレーション」

View Slide

Kubernetesができること
16
● Node管理
○ 複数台のマシンの管理
● ローリングアップデート
○ 無停止でのアプリケーション
アップデート
● スケーリング
○ リソース監視による
オートスケール
● 死活監視
○ プロセス死亡時のオートリカバリ
● ロードバランス
○ 複数のプロセスへの
トラフィック振り分け
● and more

View Slide

ざっくりいうと

View Slide

ざっくりver.
これが、
ﾄﾞｯｶｰﾝ!

View Slide

ドッカーンとなって、
ざっくりver.
ﾄﾞｯｶｰﾝ!
ﾄﾞｯｶｰﾝ!
ﾄﾞｯｶｰﾝ!
ﾄﾞｯｶｰﾝ!
ﾄﾞｯｶｰﾝ!

View Slide

めっちゃすごい。
(=ロードバランス・スケーリング)
ざっくりver.
ﾄﾞｯｶｰﾝ!
ﾄﾞｯｶｰﾝ!
ﾄﾞｯｶｰﾝ!
ﾄﾞｯｶｰﾝ!
ﾄﾞｯｶｰﾝ!

View Slide

こわれても、
ざっくりver.

View Slide

とても安心。
(=死活監視・ローリングアップデート)
ざっくりver.

View Slide

ざっくりver.
ってやつです
ドヤッ

View Slide

02 Kubernetesの
メリット・デメリット
28
Section

View Slide

Kubernetesのメリット
29
● Appの要件からインフラに要求してたことがアプリエンジニアでできる
○ Ex:非同期実行基盤をつくりたい（sidekiq, Resque, ...）
■ いままで
● インフラ部隊に実行環境の準備をお願いして、疎通確認やらなんやら
● 「これ実行環境がわるいんちゃう？」「いやアプリの実装やろ」
■ これから
● アプリエンジニアがKubernetesのマニフェストを書くだけでOK
● Kubernetesに標準でついてる強力な機能の享受

View Slide

Kubernetesのデメリット
30
● 学習コスト
○ アプリケーションを動かす概念が違うので、最初は戸惑うかも？
● Kubernetesの運用保守
○ これはマネージドサービスを使えばある程度軽減できる？
○ インフラ部隊はKubernetesの運用保守に専念すれば良いので、
大きな組織ではメリットになりうる？
○ freeeではmumoshuさんをはじめSREチームの力で安定的に稼働してます

View Slide

03 Kubernetes基礎知識
（用語解説）
31
Section

View Slide

Kubernetesワード
32
kubectl

View Slide

Kubernetesワード
33
kubectl
Pod
● 一つ以上の
Containerを有する
アプリケーション実行
の最小単位

View Slide

Kubernetesワード
34
kubectl
Service
● クラスタ内・外からPod
へまでを疎通
させるLBリソース
● イメージとしては
L4 LB

View Slide

Kubernetesワード
35
kubectl
Ingress
● （雑に）外界からService
までをつなぐLBリソース
● イメージとしては
L7 LB

View Slide

Kubernetesワード
36
kubectl
Deployment
● 複数のPodの
ローリングアップデート
やロールバックなどを実
現する

View Slide

Kubernetesワード
37
kubectl
Job
● コンテナを利用して
一度きりの処理を
実行するリソース
● 実行はPodを介して行
われる

View Slide

Kubernetesワード
38
kubectl
Node
● Podを動かすリソースを
提供する
● Clusterを構成する
実マシンを指す
場合もある

View Slide

Kubernetesワード
39
kubectl
Master
● Kubernetesの
APIエンドポイントの
提供
● NodeやPodを
始めとする
リソースの管理

View Slide

04 Kubernetesで動かす
Railsの実例
40
Section

View Slide

41
というサービスで
Kubernetesを使っています

View Slide

顧問先管理freeeのサービス構成(2018/12現在)
42

View Slide

05 逆引き Rails on Kubernetes
どうする？〇〇
43
Section

View Slide

さまざまな疑問
Rails on Kubernetesを行う上で代表的な疑問
44
Build,Deploy,Health Check
● コンテナビルドはどうしている？
● デプロイはどのように行っている？
● DBマイグレーションは？
● デプロイが失敗したときは？
Configration
● マニフェストファイルの種類は？
● 環境変数はどう管理している？
● Token等の情報の管理はどうしている？
Network,Scalability
● Assetsの配信はどうする？
● L7 LBをやりたい場合は？
● 負荷時のAuto Scaleはどうする？

View Slide

45
Configration
Network,Scalability

View Slide

46
コンテナビルド
Pod内で動かすDockerコンテナはCircleCIの一連のJobでビルドしている

View Slide

47
コンテナビルドを高速化するために、いくつかの手法の取り入れ
● レイヤーキャッシング
○ 有料プランであれば docker_layer_caching で有効化可能
● ビルド用イメージの作成と成果物のボリュームマウント
○ Appに必要なlibraryを事前に別コンテナでインストールし、ホストにmount
○ AppコンテナでそれをADDし利用するDockerコンテナのビルド手法
● CircleCI Cache
○ ビルド用イメージで生成した成果物を別のビルドでも使えるようにするためにCircleCI側
で指定の成果物を再利用する

View Slide

48
ビルド用イメージとCircleCI Cacheの併用
vendor/bundle/
node_modules/
Gemfile, Gemfile.lock
package.json,
yarn.lock
ADD
ADD
docker run \
-v vender/bundle:/app/vender/bundle \
-- bundle install --deployment
docker run \
-v node_modules:/app/node_modules \
-- yarn install

View Slide

49
vendor/bundle/
node_modules/
(other files)
ADD

View Slide

50
vendor/bundle/
node_modules/
(other files)
Cache

View Slide

51
vendor/bundle/
node_modules/
Restore
Cache

View Slide

52
vendor/bundle/
node_modules/
Gemfile, Gemfile.lock
package.json,
yarn.lock
ADD
ADD
docker run
Restore
Cache
docker run

View Slide

53
デプロイ・マイグレーション
● デプロイはCircleCIから行う（kind: Deployment）
● DBマイグレーションもCircleCIから実施（kind: Job）
● デプロイ・マイグレーションのWait
○ kubectl get で取得できる情報をパースして判定するsh scriptを自作
● デプロイの成功判定にReadiness/Liveness Probe を利用
○ Readiness Probe
■ 失敗したらLBから外され、成功したら再びLBターゲットに入る
○ Liveness Probe
■ 失敗したら再起動

View Slide

54
マイグレーション
dbmigration.job.yml
apiVersion: batch/v1
kind: Job
metadata:
name: hoge-app-migration-job
spec:
backoffLimit: 3
parallelism: 1
completions: 1
template:
metadata:
labels:
app: hoge-app-migration
spec:
restartPolicy: Never
containers:
- name: hoge-app-migration
image: HOGE_APP_IMAGE_NAME
imagePullPolicy: Always
command: ["bin/rails",
"db:migrate"]
kind: Job
metadata:
spec:
backoffLimit: 3
parallelism: 1
completions: 1
template:
metadata:
labels:

View Slide

55
kind: Job
metadata:
spec:
backoffLimit: 3
parallelism: 1
completions: 1
template:
metadata:
labels:
spec:
containers:
command: ["bin/rails",
"db:migrate"]
spec:
containers:
command: ["bin/rails", "db:migrate"]
dbmigration.job.yml

View Slide

56

View Slide

57
kubectl apply -f \
dbmigration.job.yml

View Slide

58
docker pull

View Slide

59
bin/rails db:migrate

View Slide

60
Migration

View Slide

61
Migration
kubectl get \
job hoge-app-migration-job
deploy/wait_job.sh \
hoge-app-migration-job \
10 \
default

View Slide

62
デプロイ
deploy.yml
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
name: hoge-app
spec:
template:
metadata:
labels:
app: hoge-app
spec:
containers:
- name: hoge-app
ports:
- containerPort: 8080
readinessProbe:
httpGet:
path: /ready
port: 8080
initialDelaySeconds: 10
periodSeconds: 10
failureThreshold: 5
livenessProbe:
httpGet:
path: /live
port: 8080
periodSeconds: 10
failureThreshold: 5
selector:
matchLabels:
app: hoge-app
kind: Deployment
metadata:
name: hoge-app
spec:
template:
metadata:
labels:
app: hoge-app
spec:
containers:

View Slide

63
デプロイ
deploy.yml
kind: Deployment
metadata:
name: hoge-app
spec:
template:
metadata:
labels:
app: hoge-app
spec:
containers:
- name: hoge-app
ports:
readinessProbe:
httpGet:
path: /ready
port: 8080
periodSeconds: 10
failureThreshold: 5
livenessProbe:
httpGet:
path: /live
port: 8080
periodSeconds: 10
failureThreshold: 5
selector:
matchLabels:
app: hoge-app
containers:
- name: hoge-app
ports:

View Slide

64
デプロイ
deploy.yml
kind: Deployment
metadata:
name: hoge-app
spec:
template:
metadata:
labels:
app: hoge-app
spec:
containers:
- name: hoge-app
ports:
readinessProbe:
httpGet:
path: /ready
port: 8080
periodSeconds: 10
failureThreshold: 5
livenessProbe:
httpGet:
path: /live
port: 8080
periodSeconds: 10
failureThreshold: 5
selector:
matchLabels:
app: hoge-app
readinessProbe:
httpGet:
path: /ready
port: 8080
periodSeconds: 10
failureThreshold: 5
livenessProbe:
httpGet:
path: /live
port: 8080
periodSeconds: 10
failureThreshold: 5

View Slide

65
デプロイ
bin/rails s

View Slide

kubectl apply -f \
deploy.yml
66
デプロイ
bin/rails s

View Slide

67
デプロイ
bin/rails s

View Slide

68
デプロイ
docker
pull
bin/rails s

View Slide

69
デプロイ
bin/rails s
bin/rails s

View Slide

70
デプロイ
SELECT 1;
GET /ready
GET /live
bin/rails s
bin/rails s

View Slide

71
デプロイ
bin/rails s

View Slide

72
デプロイ
kubectl get \
deploy hoge-app
deploy/wait_deployment.sh \
hoge-app \
20 \
default
bin/rails s

View Slide

73
Configration
Network,Scalability

View Slide

74
マニフェストファイルの管理
● マニフェストファイルとはKubernetesを設定する
ファイルのこと
● appレポジトリのdeploy/下にすべて配置
● JSONとYAMLが選べる
○ 自分のPJではYAML
● deploy/
○ deploy.yml
○ dbmigration.job.yml
○ service.yml
○ Dockerfile(s)
○ configmaps/
■ production.configmap.yml
■ staging.configmap.yml
○ secrets/
■ production.secret.yml.enc
■ staging.secret.yml.enc
○ kubeconfig/
■ production.kubeconfig.enc
■ staging.kubeconfig.enc

View Slide

75
● deployment/Job(migration)は
全環境（Production/Staging）で統一
● 環境差異がある箇所はsedやyqで
アンカーテキストをCIでデプロイ時に
リプレース
● deploy/
○ deploy.yml
○ service.yml
○ Dockerfile(s)
○ configmaps/
○ secrets/
○ kubeconfig/

View Slide

76
● 環境変数設定はすべてConfigMapや
Secretに記述
○ DeploymentのPodSpecには記載しない
● SecretはSOPSをつかってAWS KMSの
鍵情報による暗号化を実施
○ .enc という拡張子をつけてレポジトリに保
管
○ .gitignoreの設定で間違えて平文を保管
しないようにする必要がある
■ /deploy/secrets/*
!/deploy/secrets/*.enc
● deploy/
○ deploy.yml
○ service.yml
○ Dockerfile(s)
○ configmaps/
○ secrets/
○ kubeconfig/

View Slide

77
● kubeconfigはKubernetesClusterに接続するた
めの鍵情報が入っている
● こちらもSOPSによる暗号化を実施
● deploy/
○ deploy.yml
○ service.yml
○ Dockerfile(s)
○ configmaps/
○ secrets/
○ kubeconfig/

View Slide

78
Configration
Network,Scalability

View Slide

79
L7 LB/Assets配信
● Rails AssetsをKubernetesで配信する2つのアプローチ
○ kind: Ingressをつかって /assets は別のPodで動かすnginxで配信する
○ passenger-rubyによる1PodでAssets配信とrailsServer両方動かす
● 採用したのはpassenger-ruby
○ ある程度設定がなされているので導入が容易
○ ただし、細かいL7 LBをしたい場合に対応できない
○ Assets配信にリソースが取られるのであればIngressアプローチが良い

View Slide

80
L7 LB/Assets配信
/assets/*
/*

View Slide

81
L7 LB/Assets配信
/assets/*
/*

View Slide

82
Auto Scale
● KubernetesにはPodのAutoScaleに標準でHPAが用意されている
○ Horizontal Pod Autoscaler(水平ポッドオートスケーラー)
○ 指定メトリクスになるようにPod数を調節する
○ 例えばCPU平均使用率が50%になるようにPod数を調整するなど
● 垂直オートスケールも存在する（スケールアップ）

View Slide

06 まとめ
83
Section

View Slide

84
まとめ
● インフラ部隊による細かなサポートを必要とせずにアプリケーションエンジニアが柔軟にア
プリケーション構成を変更することができる
● 強力な機能によってトラフィックがおおくてもとても安心
● ナウなヤングにバカウケな、イケてるコンテナオーケストレーション
● 「くーべるねてす」って覚えるとスペルミスしない

View Slide

スモールビジネスを、
世界の主役に。

View Slide

86
（おまけ）Sli.do 質問の回答
● コンテナのログとかはなにを使って収集していますでしょうか？
○ Containerの標準出力をnodeごとにfluentdで集めてS3に配置したり、
Kibanaで見れるようにしたりしてます。
● Kunerness と aws の連携でなにができますか？
それでよかったことはなんでしょうか？
○ PodにIAM RoleつけてセキュアにAWSのマネージドサービス使えたりが
よいと思っています。あとはS3アップロードするみたいな場合に
Network的に高速に利用できるところでしょうか。
EKSが来ればより簡単にAWS上でKubernetesが利用できるので
そういうところは（東京リージョンに来たときに）期待してます！

View Slide

87
● k8sをメンテする担当のインフラ担当者はいますか。
いたとしたら何名ほどいますか?
○ SREチームがメンテ担当ですが、Kubernetes専門の担当者はいないはずです。
今までのインフラもみつつ、Kubernetesも見るという感じの担当者が多いです。人数に関
しては詳しく言えませんが、SREチームは5~とおもっていただければと思います。
● EKS 使ってますか？
○ 現状では使っていません。東京リージョンにまだ来てないからです。
○ ちなみにたびたび紹介していたmumoshuさん曰く
「東京に来たらマッハでEKSに移行したい」って言ってました。

View Slide

88
● データストア（永続化）はやはり主にNASですか？
○ NASと言っても様々な答えがあって、なんとも答えにくいのですが、
AWSで利用している場合には一般的にEBSの利用が考えられます。
○ Kubernetensでは永続化ストレージにPersistentVolumeが利用でき、標準のプラグイン実
装にEBSもあるので、簡単にEBSをつかってストレージを構成・マウントすることができま
す。

View Slide

Rails on Kubernetes -どうする?〇〇-

Rails on Kubernetes -どうする?〇〇-

Takeru Ichii

More Decks by Takeru Ichii

Other Decks in Technology

Featured

Transcript