How to utilize GKE for QA environment

Transcript

1. How to utilize GKE for QA environment @masudak GCPUG Tokyo June 2018
2. About me • @masudak ますだっくと呼ばれてます • 2016年4月入社 • SET(Software Engineer in Test) • 最近感動したもの: ルンバ(自動化素晴らし い)
3. SET (Software Engineer in Test)
4. About SET • 2011年にGoogleが設立 • 「開発生産性とプロダクト品質の向上」がテー マ • SDET, SWETなど色々な名称ある • メルカリSETは2016年10月設立 • 2017年春に出るUKアプリがトリガー • 当時作ったもの ◦ ローカル開発環境 ◦ QA環境 ◦ UIテスト自動化
5. 開発フロー
6. 開発フロー • PMが仕様をJIRAでFIX • エンジニア・デザイナーが「ローカル開発環 境」で実装 • PRを他のメンバーにレビューしてもらう • LGTM • 「QA環境」でQAエンジニアがマニュアルQA • PMがリリース承認 • エンジニアがリリース
7. QA環境
8. QA環境 • QAエンジニアやエンジニアがQAするところ • 共通のDBや検索データを持つ • API, Frontend, Admin, Webなどが動く • 他の人に影響を受けない独立した環境 • 独立したエンドポイント • トピックをデプロイ
9. QA環境要件 • 自分専用の環境 • 共通のWebUIからデプロイ • スケールしやすい • 可能な限り本番の構成を反映
10. 2017年春
11. 2017年春 • USアプリの刷新をすることに • PHP -> Go • Monolithic -> Microservices • Kubernetes on GCP • 「いい感じ」でアプリをデプロイしたい
12. 2017年前半 • CircleCIのビルド中にデプロイ • 新しい環境が自動的に • HTTPヘッダを見て、プロキシ
13. CircleCI • テストだけでなくreviewdogとかカバレッジと か • gcloud SDKやDockerのインストール • 古いpods削除 • マニフェストファイルのテンプレートを書き換 え $ kubectl get pods --no-headers --selector='app=XXXX-api' | cut -f1 -d' ' | xargs kubectl delete pod そのあと $ make setup-branch-k8s
14. 書き換え setup-branch-k8s: $(eval PR_NUMBER := $(shell basename ${CIRCLE_PULL_REQUEST})) sed -ie "s/{{ PR_NUMBER }}/$(PR_NUMBER)/gi" ./tools/kubernetes/XXX-branch.tmpl.yml sed -ie "s/{{ BUILD_NUMBER }}/$(CIRCLE_BUILD_NUM)/gi" ./tools/kubernetes/XXX-branch.tmpl.yml /google-cloud-sdk/bin/kubectl apply -f ./tools/kubernetes/
15. Go reverse proxy director := func(req *http.Request) { xPrNumber := req.Header.Get("X-FOOBAR-PR") apisPort := 4000 req.URL.Scheme = "http" if xPrNumber != "" { req.URL.Host = fmt.Sprintf("foobar-api-%s:%d", xPrNumber, apisPort) } else { req.URL.Host = fmt.Sprintf("foobar-api:%d", apisPort) }
16. 2017年後半
17. Spinnaker • CircleCIからはGCRにイメージをプッシュするだけ • それをトリガーにSpinnakerからデプロイ • オレオレyamlテンプレートがなくなる • とは言え、まだWebUI中心 • PR podsに対応できてない
18. 2017年後半 • reconciliation loop ◦ In Kubernetes, a controller is a control loop that watches the shared state of the cluster through the apiserver and makes changes attempting to move the current state towards the desired state. deeeet氏: PRのstateをdesired stateとしよう！
19. K8s Controller for PR • ループしながら、PRの状況をチェック • Openだったら、既存のRSを複製 • 環境変数などを書き換え • desired stateを変更 • k8sがそのdesiredに近づけていく • PR用のRS完成 • 必要に応じて、external-dnsでドメイン付与 もしかしたら、kustomizeに置き換わる運命？？？
20. 終わりに • 開発生産性も品質もまだまだ追求できる • 開発環境だから、QA環境だからで終わらせない • 開発速度を上げるのはすごく大事 • たった一つのVMの時代から2年でここまで来た • parityなどを考えるとまだまだ課題は多い • 是非情報交換していきましょう
21. We are hiring!! • ソフトウェアエンジニア（SET: Software Engineer in Test） • ソフトウェアエンジニア（SET iOS: Software Engineer in Test iOS）
22. ご清聴 ありがとうございました