Activities about Kubernetes operation improvements as an SRE

by Drumato

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

© SAKURA internet Inc. ⾃⼰紹介#経歴期間所属 2019/04-2020/01 GMOペパボ株式会社プラットフォーム事業部学⽣アルバイト 2019/04-2020/03 SecHack365 2019 Trainee 2020/04-2021/04 Cybozu Labs Youth 第10期⽣ 2021/04-2022/03 LINE株式会社 Verda室ネットワーク開発チームアルバイト 2022/04- さくらインターネット株式会社クラウド事業本部 SRE室 2022年新卒

Slide 4

Slide 4 text

Slide 5

Slide 5 text

© SAKURA internet Inc. • SRE室とは • 現在の体制 • SRE室のミッション/ビジョン/バリュー • 社内のKubernetes運⽤状況 • 本プロジェクトの⽬的 • 活動1: SAKURA Kubernetes Cluster Platformの開発 • 仕組み • 運⽤上の⼯夫点 • 活動2: SAKURA Kubernetes Operators Groupの発⾜ • 今後の展望本⽇のお話

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

© SAKURA internet Inc. SRE室とは • 2022/07に設⽴された、⽐較的新しい部署ミッション •クラウドサービスの信頼性を⾼め、お客様/社会に貢献するビジョン •社内にSRE⽂化とその実践を広め、お客様に価値提供するバリュー •決めごとを作るのではなく、⼀緒に” ⼿を動かす” •開発･運⽤チームと綿密にコミュニケーションをとる •You built it, you run it

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

© SAKURA internet Inc. SRE室とは • 基本的には、Google SREのパターンをリスペクトしている • 各プロダクトチームと密に連携し、運⽤改善を横断的に⽀援 • SRE室謹製のツール/基盤を利⽤してもらえるように • 監視ネイティブな⽂化を広めるための活動 • Center of Practiceとしての側⾯も意識 • 各プロダクトチームに運⽤のハンドルは握ってほしい • その上で、ツール/基盤の仕組みを使ってほしい • 現在は上記の世界観を⽬指し、少しずつ連携を強めている段階

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

© SAKURA internet Inc. さくらとKubernetes • 社内のKubernetes運⽤を改善するべく、現状を調査 • 現状1: いくつかのチームがKubernetesを採⽤している • 現状2: 運⽤上深刻な課題がいくつか⾒つかった • 課題1: 知⾒が不⼗分で、トラシューに時間がかかる • 課題2: プラクティスがわからず、意思決定が⾏えない • 課題3: 採⽤チーム間で知⾒共有が⾏われていない

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

© SAKURA internet Inc. 本プロジェクトの⽬的 1. Kubernetesクラスタ運⽤をサポートする • あくまでも｢サポート｣であり、｢代⾏｣ではない • 特にSREネイティブな運⽤を⾏えるようにしたい 2. 社内のKubernetesに関する運⽤知⾒の集約 • 情報共有を⾏う場(ドキュメント/コミュニケーション)の整備 3. 社内のKubernetes関⼼向上 • 技術選定の上でKubernetesが採⽤されない、ということはままある • とはいえ、選択肢となるレベルには、社内に浸透してほしい

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

© SAKURA internet Inc. 社内Kubernetes基盤#概要 • 先述した⽬的を実現するために開発 • プロダクトチームにとってのKubernetesクラスタ運⽤コストを低減 • プロダクトチーム間の認識を⾼める • お互いに運⽤状況が把握しあえるような状況になっていること • それらがプラクティカルに、システムで管理されていること • プロジェクトメンバーは2⼈ • 私: プロジェクト進⾏、検討、設計、実装、テスト、導⼊、運⽤ • 稲垣さん(@hum_op_dev): 技術的相談、ユーザ視点のフィードバック

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Slide 32

Slide 32 text

Slide 33

Slide 33 text

© SAKURA internet Inc. 社内Kubernetes基盤#機能 • クラスタマニフェストのデプロイで、⾃動的にクラスタが作成 • ユーザはクラスタの⽀配権を持つ • ノードにSSH接続し、運⽤開始できる • kube-vipを採⽤している • ARPモードで動作し、マスターノードのフェイルオーバが効く • Service Type LoadBalancerもデフォルトで対応 • ArgoCDでクラスタ状態を確認できる

Slide 34

Slide 34 text

Slide 35

Slide 35 text

Slide 36

Slide 36 text

Slide 37

Slide 37 text

© SAKURA internet Inc. 社内Kubernetes基盤#仕組みさくらのクラウドクラスタ作成者 Management Cluster Workload Cluster 1. 作成申請 K8s CC Worker-1 Worker-W … Master-1 Master-M … M = マスターノード数 W = ワーカーノード数 3. クラウドAPI の呼び出し https://github.com/argoproj/argo-cd/blob/master/docs/assets/argo.png https://github.com/logos Watch 2. Auto Sync K8s Objects 4. SSH接続運⽤開始ユーザはWeb UIを通じてクラスタ定義マニフェストを作成し GHEリポジトリにプッシュ基盤運⽤者のレビューが⼊った後、マージされる

Slide 38

Slide 38 text

© SAKURA internet Inc. 社内Kubernetes基盤#仕組みさくらのクラウドクラスタ作成者 Management Cluster Workload Cluster 1. 作成申請 K8s CC Worker-1 Worker-W … Master-1 Master-M … M = マスターノード数 W = ワーカーノード数 3. クラウドAPI の呼び出し https://github.com/argoproj/argo-cd/blob/master/docs/assets/argo.png https://github.com/logos Watch 2. Auto Sync K8s Objects 4. SSH接続運⽤開始 ArgoCD Applicationも同様にGit管理されており、基盤運⽤者によって新規クラスタ⽤のAppが作成される

Slide 39

Slide 39 text

© SAKURA internet Inc. 社内Kubernetes基盤#仕組みさくらのクラウドクラスタ作成者 Management Cluster Workload Cluster 1. 作成申請 K8s CC Worker-1 Worker-W … Master-1 Master-M … M = マスターノード数 W = ワーカーノード数 3. クラウドAPI の呼び出し https://github.com/argoproj/argo-cd/blob/master/docs/assets/argo.png https://github.com/logos Watch 2. Auto Sync K8s Objects 4. SSH接続運⽤開始 Cluster APIとさくらのクラウド⽤プロバイダが動作し、さくらのクラウドサーバやスイッチを作成 Cluster APIの仕組みによりuserdataが提供されるので、 kubeadm init/joinが実⾏されてクラスタが⽴ち上がる

Slide 40

Slide 40 text

© SAKURA internet Inc. 社内Kubernetes基盤#仕組みさくらのクラウドクラスタ作成者 Management Cluster Workload Cluster 1. 作成申請 K8s CC Worker-1 Worker-W … Master-1 Master-M … M = マスターノード数 W = ワーカーノード数 3. クラウドAPI の呼び出し https://github.com/argoproj/argo-cd/blob/master/docs/assets/argo.png https://github.com/logos Watch 2. Auto Sync K8s Objects 4. SSH接続運⽤開始コントローラ側でuserdataを編集し、クラスタ作成者がSSHできるように設定 Kubectl等を利⽤してすぐに運⽤できるように

Slide 41

Slide 41 text

Slide 42

Slide 42 text

© SAKURA internet Inc. 社内Kubernetes基盤#運⽤ • Management ClusterではPrometheus Operatorを採⽤ • node_exporterやkube-state-metricsをすぐに利⽤できる • PrometheusRuleリソースを定義して、アラートルールをGitで管理 • 後々、slothを使ったPrometheusRuleの⾃動⽣成まで持っていきたい • ArgoCDの初期パスワードは、⾃動的に再設定される • Adminパスワードを使っているユーザがいないようにする

Slide 43

Slide 43 text

Slide 44

Slide 44 text

Slide 45

Slide 45 text

© SAKURA internet Inc. 社内Kubernetes基盤#API監視 Management Cluster Workload Cluster K8s CC Checker https://github.com/prometheus/prometheus/blob/main/documentation/images/prometheus-logo.svg © Prometheus Authors 2014-2022 | Documentation Distributed under CC-BY-4.0 K8s Objects APIHealthCheck Object kube- apiserver GET /readyz?verbose=true 起動 Export 参照&更新

Slide 46

Slide 46 text

Slide 47

Slide 47 text

Slide 48

Slide 48 text

Slide 49

Slide 49 text

Slide 50

Slide 50 text

Slide 51

Slide 51 text

Slide 52

Slide 52 text

Slide 53

Slide 53 text

Slide 54

Slide 54 text

Slide 55

Slide 55 text

© SAKURA internet Inc. 社内Kubernetes基盤#今後の展望 • グローバルに疎通性を持つユーザクラスタのサポート • 現状、社内ネットワークに接続したクラスタのみサポート • ユースケース的に、インターネットからアクセスできるものもほしい • Veleroを採⽤した、クラスタのバックアップ機能の検討 • クラスタ基盤としてのSLI計測を考える • 何をSLOとすべきか? • sloth等の宣⾔的なSLO定義を実現

Slide 56

Slide 56 text

Slide 57

Slide 57 text

Slide 58

Slide 58 text

Slide 59

Slide 59 text

© SAKURA internet Inc. SAKURA-KOG#概要 • 先述した⽬的を実現するために設⽴ • Kubernetesに関する運⽤知⾒の共有場 • プロダクトチームが運⽤上抱える悩みを相談する場所として • Kubernetesに対する関⼼向上を⾒込める場として • 発想: SREとして、仕組みだけでなく⽂化から改善したい • K8sに限らず、プロダクトチーム間で情報共有が少ないと感じる

Slide 60

Slide 60 text

Slide 61

Slide 61 text

Slide 62

Slide 62 text

Slide 63

Slide 63 text

Slide 64

Slide 64 text

© SAKURA internet Inc. おわりに • SRE室はシステム運⽤の現状を調査し、改善に取り組んでいます • 運⽤効率化･安定化に加えて、⽂化の改善までを⽬指しています • Kubernetes運⽤には多くのペインがつきまとう • プロダクトチームそれぞれが独⾃にクラスタ管理 • 特にKubernetesの世界は進化が早い • 迅速なキャッチアップと効率化への継続的な取り組みが必要不可⽋

Slide 65

Slide 65 text

Slide 66

Slide 66 text

© SAKURA internet Inc. • 社内のKubernetesクラスタ運⽤を効率化する基盤について • プロジェクトの経緯や進め⽅について詳しく書かれたブログ • The Cluster API Book • Cluster APIのプロバイダ実装に関連した仕様が勉強できる • https://github.com/kubernetes-sigs/cluster-api • なんだかんだCluster APIとの連携上、コード読んだほうが早い参考資料