転職会議のマイクロサービスを支えるデプロイ基盤@yabaibuki.dev #2

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

3-1. 転職会議のデプロイ基盤設計時の考慮ポイント ● CIOps ○ CIから変更をpushする ● GitOps ○ クラスタ上からGitHub等の設定情報をpullして同期する ○ GitHubを⾒ることでほとんどの設定を確認できる ● GUIでの設定の確認ができることなどのメリットを重視し、 ArgoCDによるGitOpsを採⽤設計時の考慮ポイント①: CIOpsにするか、GitOpsにするか Copyright © Livesense Inc.

Slide 13

Slide 13 text

3-1. 転職会議のデプロイ基盤設計時の考慮ポイント ● 環境変数やPodの台数などの設定のデプロイ ○ ⽐較的頻度は少ない ○ diﬀを⾒たい ● アプリケーションのコンテナイメージのデプロイ ○ コードの変更のたびに必要なので頻度が多い ○ インフラに詳しくないエンジニアが⾏うことが多い ● 稀に両⽅を同時にデプロイしたいことも設計時の考慮ポイント②: コンテナイメージと設定のデプロイの両⽴ Copyright © Livesense Inc.

Slide 14

Slide 14 text

3-1. 転職会議のデプロイ基盤設計時の考慮ポイント ● 双⽅のライフサイクルの違いを理解してどうやって両⽴させるかがポイント ● 特にGitOpsではどうやって両⽴させるか考慮が必要 ○ CIでKubernetes上のイメージの情報を書き換えても GitOpsツールがGitHub上のイメージの設定に戻してしまったり‧‧‧ ○ latestタグを指定して都度ローリングアップデートでも可能だが‧‧‧ ● 転職会議では、ArgoCD Image Updaterを使って解決 ○ 新しいイメージの情報を⾃動でGitHubにプッシュしてくれるツール ○ GitHubに書き戻したらArgoCDが変更をクラスタに反映設計時の考慮ポイント②: コンテナイメージと設定のデプロイの両⽴ Copyright © Livesense Inc.

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

3-2. 転職会議のデプロイ基盤アーキテクチャやフローの紹介 ● 環境ごとに同期させるブランチ ○ developブランチ => ステージング環境 ○ masterブランチ => 本番環境 ● developブランチにマージしたらcherry-pickして⾃動で本番リリース⽤のPull Request作成 ○ 以前はdevelopからmasterにマージする流れだったが、 developブランチに複数の変更が近いタイミングでマージされたときの調整が必要になったため。 ● Pull Requestに差分情報を⾃動でコメント。変更内容をすぐ確認できるように設定のデプロイフロー Copyright © Livesense Inc.

Slide 18

Slide 18 text

Slide 19

Slide 19 text

イメージのデプロイフロー（ステージング） 3-2. 転職会議のデプロイ基盤アーキテクチャやフローの紹介 ● 各アプリケーションリポジトリのCircleCIからコンテナイメージをプッシュ ○ （後述するようにGitHub Actionsに移⾏したい） ● ArgoCD Image UpdaterがGitHubにイメージ情報をプッシュ ● ArgoCDが新しい設定をKubernetesに適⽤し、新しいイメージがデプロイされる Copyright © Livesense Inc.

Slide 20

Slide 20 text

イメージのデプロイフロー（ブランチデプロイ） 3-2. 転職会議のデプロイ基盤アーキテクチャやフローの紹介 ● 開発時にはPull Requestマージ前に動作確認したいことが多々あるため、 Pull Requestのブランチを⼀時的にステージング環境にデプロイできる仕組みを⽤意 ● 具体的には ChatOpsでArgoCD Image Updaterが更新対象にするタグ名の情報を変更する ○ イメージのタグにはブランチ名のプレフィックスをつけている。 ○ 対象のブランチ名から始まるタグを対象にさせる。 Copyright © Livesense Inc.

Slide 21

Slide 21 text

イメージのデプロイフロー（本番） 3-2. 転職会議のデプロイ基盤アーキテクチャやフローの紹介 ● 各アプリケーションリポジトリのCircleCIからコンテナイメージをプッシュ ○ （後述するようにGitHub Actionsに移⾏したい） ● ArgoCD Image Updater + GitHub ActionsでPull Request作成（本番のみ） ● Pull Requestをマージすると ArgoCDが新しい設定をKubernetesに適⽤し、新しいイメージがデプロイされる Copyright © Livesense Inc.

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

● ブランチデプロイ時などにArgoCD Image Updaterの挙動のもっさり感が⽬⽴っている ● ArgoCD Image Updaterの次のリリースで⾼速化につながりそうな機能が出そう ○ Gitリポジトリのシャローフェッチなど ● 将来的には、Webhookを受け取っていい感じにタイミングよく動いてくれたらいいなぁ‧‧‧ ○ ArgoCD Image Updaterのロードマップ上には予定ありイメージの更新を⾼速化したい 4. 転職会議のデプロイ基盤のこれから Copyright © Livesense Inc.

Slide 25

Slide 25 text

夢: プレビュー環境を実現したい 4. 転職会議のデプロイ基盤のこれから ● Pull Requestがまだマージされていない状態で、同時に複数のエンジニアが異なる機能の動作確認を⾏えるようにしたい！ ● ArgoCD + AWS Load Balancer Controllerで実現できないか検討中 ○ ArgoCD Applications SetでIngressをデプロイして複数のIngressを⼀つのALBにグルーピング機能でまとめることでルーティングを実現する構想 ● mirrordやtelepresenceなどのローカル環境と Kubernetes上のコンテナを接続するツールも導⼊できると尚良し Copyright © Livesense Inc.