初クラスタアップグレードの失敗と学び / First Cluster Upgrade Failure and Learning

■イベント ：Kubernetes Meetup Tokyo #59
https://k8sjp.connpass.com/event/288488/

■登壇概要

タイトル：初クラスタアップグレードの失敗と学び
発表者： 技術本部 研究開発部 Architectグループ　新井和弥

◉ 研究開発職 採用情報
募集中のポジションや関連記事など

https://media.sansan-engineering.com/

◉ Sansan Tech Blog
Sansanのものづくりを支えるメンバーのテックブログ（R&Dメンバーの連載も多数）

https://buildersbox.corp-sansan.com/

Transcript

1. Sansan株式会社 部署 名前 初クラスタアップグレードの 失敗と学び Sansan技術本部 技術本部 研究開発部 Architectグループ 新井和弥
2. 写真が入ります 新井 和弥 Sansan株式会社 技術本部 研究開発部 Architectグループ エンジニア 前職ではデータエンジニアとしてB2B SaaS企業のABMプラッ トフォームプロダクトの開発に従事。2022年Sansan株式会社⼊ 社。研究開発部Architectグループ ML Platform所属。研究員と ともにDevOps/MLOpsに向き合う。Kubernetesとの付き合い は1年くらい。 Please call me KAZY.
3. 先⽇初めてのクラスタアップグレードを⾏いました。 なにか起こるだろうなと予想はしていたものの、やっぱり⾊々起きました。 失敗と反省をKubernetes Meetup Tokyoに集まるツワモノの皆様の笑顔に変 えることで成仏させたいと思いやってきました。 本⽇のテーマ 2 https://buildersbox.corp-sansan.com/entry/2023/05/19/110000 ※5⽉に弊社テックブログで公開した内容のLT版です。
4. 弊社でのKubernetes利⽤について
5. 弊社でのKubernetes利⽤について - 研究開発部(50名程度の組織)のアプリケーション基盤として利⽤ - 2022/07に本番運⽤を開始(1周年🎉) - KubernetesはSansan社内で初採⽤ - AWS EKSを利⽤ - 約50程度のシステムが動く > 約80Pod > 約60Node AWS EKS上で稼働 App+API+Batch: 50 Core+Addon: 30
6. 弊社でのKubernetes利⽤について - シングルクラスタマルチテナント構成 - Argo CDでGitOps - Blue/Greenなクラスタのアップグレードを採⽤ > 新しいクラスタを作ってシステムを移⾏させる - TerraformによるIaC化 新しいクラスタへ移⾏ v1.22 v1.24
7. 再現性のなきIaC
8. Terraform applyするだけかと思いきや... - ⼀部変数を書き換えてApplyすれば新クラスタがサクッと⽴つ 👍 > Terraformのmoduleを利⽤して再利⽤準備 OK 👍👍 > 既存クラスタのインフラで運⽤問題なし 👍👍👍 期待
9. Terraform applyするだけかと思いきや... - ⼀部変数を書き換えてApplyすれば新クラスタがサクッと⽴つ 👍 > Terraformのmoduleを利⽤して再利⽤準備 OK 👍👍 > 既存クラスタのインフラで運⽤問題なし 👍👍👍 - クラスタは⽴ちません > エラー、エラー、エラー.... どうして.... - 試⾏錯誤中に本番環境のSecrets Managerを消してしまった 期待 現実🔥
10. Terraform applyするだけかと思いきや... - 意図せずリソースに順序関係が⽣まれていた > ⼿探りで徐々にリソースを追加していたため気が付かず > クラスタ内のアドオンありきのリソース作成等.. - Terraformとk8sのマニフェストとの役割⾒直し - クラスタ作成後でないとApplyできないようなステートの分割 原因 対応
11. どっちなの？
12. クラスタ移⾏中の想像不⾜ - アプリもまだ少ないしクラスタの移⾏はサクッ終わる👍 > クラスタ移⾏中は2クラスタ⽴つけど少しの我慢👍👍 期待
13. クラスタ移⾏中の想像不⾜ - クラスタ移⾏完了まで5ヶ⽉かかり 研究員(アプリ開発者)を混乱に陥れる > どちらのクラスタにデプロイしたら良いの？ > 間違えて古い⽅のクラスタにデプロイしてしまった (TargetGroupBindingの暴⾛..) > Web UIからデプロイしたアプリが⾒えないよ？ (Argo CD, Argo Workflows, Argo Rollouts..) 現実🔥 - アプリもまだ少ないしクラスタの移⾏はサクッ終わる👍 > クラスタ移⾏中は2クラスタ⽴つけど少しの我慢👍👍 期待
14. クラスタ移⾏中の想像不⾜ - クラスタ移⾏中において、 研究員(アプリ開発者)への影響を軽視 - ユーザへの案内 > クラスタ移⾏中であることの周知 / 移⾏中⽤のWeb UIのURL発⾏ - Argo CD⽤クラスタ検討 > そもそも複数UIを持たせない - クラスタ移⾏のリードタイム削減 原因 対応
15. さいごに
16. 失敗ばかり話しましたが... Kubernetesを導⼊してよかったこと - アプリケーションのリリース数がかなり増えました 🎉 K8s導⼊以降 とあるアプリのリリース数
17. WE ARE HIRING JOIN OUR TEAM https://media.sansan-engineering.com/randd https://open.talentio.com/r/1/c/sansan/pages/76616