Upgrade to Pro — share decks privately, control downloads, hide ads and more …

ウォンテッドリーのマイクロサービス運用・開発を加速する kube

Ken Kato
February 25, 2025

ウォンテッドリーのマイクロサービス運用・開発を加速する kube

Ken Kato

February 25, 2025
Tweet

More Decks by Ken Kato

Other Decks in Technology

Transcript

  1. © 2024 Wantedly, Inc. 自己紹介 加藤 健 Infra Squad 2024年1月

    中途入社 AWS上のKubernetes、PostgreSQLを運用 X: @kkato25
  2. © 2024 Wantedly, Inc. kubeの概要 ウォンテッドリーではkubeという CLI ツールを内製している kube =

    kubectl + 開発用機能 • kubectlの各種設定隠蔽 • 開発を効率化するための機能
  3. © 2024 Wantedly, Inc. kubeの概要 ウォンテッドリーではkubeという CLI ツールを内製している kube =

    kubectl + 開発用機能 • kubectlの各種設定隠蔽 • 開発を効率化するための機能
  4. © 2024 Wantedly, Inc. kubeの設計思想 ウォンテッドリーにおけるPlatform Engineeringを実現するツール • 開発者体験の向上 ◦

    以前ウォンテッドリーはHerokuを使っており、開発者がコマンド一発でデプロイしていた ◦ 現在k8s上でもkubeを使うことで、開発者がコマンド一発でデプロイできる体験を提供し ている • セルフサービス化 ◦ インフラがボトルネックにならず、リリースを高速に行えるようにしたい ◦ 開発者自身で開発に必要なものを用意できるようにする
  5. © 2024 Wantedly, Inc. k8s上で開発・デプロイするための手順 1. GitHubリポジトリを用意する 2. GitHubリポジトリにアプリケーションコードをプッシュする 3.

    Dockerfileを作成する 4. k8sマニフェストを作成する: kube generate 5. ArgoCDにアプリケーションを登録する 6. コンテナイメージをビルドする: kube ci-build 7. アプリケーションをデプロイする: kube deploy
  6. © 2024 Wantedly, Inc. kubeの機能① kube generate k8sマニフェストを自動生成してくれるコマンド • k8sマニフェストを手動作成する場合、作成に時間がかかる、設定ミスが起こりや

    すい、フォーマットが統一されていない • kubeの場合、作成が短時間で完了する、設定ミスが起こりにくい、フォーマットが 統一されている
  7. © 2024 Wantedly, Inc. kubeの機能① kube generate % cat kube-generate.yaml

    generates: - namespace: clusters: - sandbox % kube generate --update Generate manifests by using /Users/kenkato/ghq/github.com/wantedly/test-deploy-app/kube-generate.yaml generated "/Users/kenkato/ghq/github.com/wantedly/test-deploy-app/kubernetes/sandbox/namespace.yaml" % cat kubernetes/sandbox/namespace.yaml --- apiVersion: v1 kind: Namespace metadata: labels: istio-injection: "enabled" name: test-deploy-app
  8. © 2024 Wantedly, Inc. kubeの機能② kube ci-build コンテナイメージをビルドし、レジストリにプッシュするためのコマンド GitHub ActionsなどのCI上で実行される

    • dockerコマンドの場合、時間がかかる、設定ミスが起こりやすい • kubeの場合、短時間で設定でき、設定ミスが起こりにくい docker build -t <repo>:$GITHUB_SHA . docker tag <repo>:$GITHUB_SHA <account-id>.dkr.ecr.ap-northeast-1.amazonaws.com/<repo>:$GITHUB_SHA docker push <account-id>.dkr.ecr.ap-northeast-1.amazonaws.com/<repo>:$GITHUB_SHA kube ci-build
  9. © 2024 Wantedly, Inc. kubeの機能③ kube <env> deploy k8sにアプリケーションをデプロイするためのコマンド •

    ローカル環境とCI環境で動作する • kubectl の場合、環境の切り替えが必要、設定ミスが起こりやすい • kubeの場合、環境の切り替えは不要、手順ミスが起こりにくい kubectl config user-context <env> kubectl set image deployment/<deployment> <container>=<image>:$GITHUB_SHA kubectl rollout restart deployment/<deployment> kube <env> deploy $GITHUB_SHA
  10. © 2024 Wantedly, Inc. kubectl の各種設定隠蔽① クラスタの切り替え ウォンテッドリーには、sandbox、qa、prodという3つの環境が存在する • kubectlの場合、開発者自身でkubeconfigを設定、手動でクラスタを切り替える

    必要がある • kubeの場合、kubeconfigは自動で設定、環境を指定して直接コマンドを実行で きる kubectl config use-context <env> kube get pods kube <env> get pods
  11. © 2024 Wantedly, Inc. その他機能 kube vault 独自管理しているvaultから秘匿情報を参照、更新、削除するためのコマンド kube <env>

    argocd-utils ArgoCDを使って、特定のブランチの k8sマニフェストを反映するためのコマ ンド kube <env> lock 特定の開発者以外のデプロイを禁止するためのコマンド kube <env> status ロック状態を確認するためのコマンド kube <env> canary カナリアリリースを実現するためのコマンド (この後の発表で詳細説明 ) kube <env> sh 任意のコンテナイメージの Podをデプロイする kube <env> bash デバッグに役立つコマンドを内包したコンテナイメージの Podをデプロイする kube <env> history デプロイ履歴を確認するためのコマンド kube <env> fork kubeforkを使用するためのコマンド (この後の発表で詳細説明 )
  12. © 2024 Wantedly, Inc. kubeの内部構造 kubeはGo (+ Cobra) を使って実装している •

    Goを使っている理由 ◦ k8sと相性が良い ▪ k8sを操作するためのライブラリが充実している ◦ ツールとして配布しやすい ▪ 環境依存がない ▪ マルチプラットフォーム対応 • 実装上の工夫 ◦ 既存のCLIツールを内包している ▪ 実装コストを抑えるため、既存ツールの知識を再利用するため、client-go などで再実装するのではなく、kubectlをwrapしている
  13. © 2024 Wantedly, Inc. kubeの内部構造 kubeではテストをしやすいように設計している • DIの利用 ◦ Googleが提供しているwireというライブラリを活用している

    ◦ wireが自動で依存関係を構築してくれる • スナップショットテストの導入 ◦ cupaloyというライブラリを活用している ◦ cupaloyを使うと簡単にスナップショットテストを導入できる ◦ https://speakerdeck.com/izumin5210/techniques-that-support -building-cli-tools-2019-spring
  14. © 2024 Wantedly, Inc. まとめ 「kube = kubectl + 開発用機能」これを開発者に配布することで、ウォンテッドリーに

    おけるプラットフォームエンジニアリングを実現している • 開発者体験の向上 ◦ k8sの細かい設定を意識せず、開発できる ◦ kube deployを使えば、Herokuのようにコマンド一発でデプロイ可能 • セルフサービス化 ◦ 開発者がCI/CDを自分で回せる環境を提供 ◦ インフラチームに頼らず、開発者自身でk8sマニフェストを用意できる