コロプラが実践しているSpinnakerを用いたデプロイ戦略 / Deploy Strategy with Spinnaker at Colopl

by go_vargo

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

　　　　　　　　　 COLOPL, Inc. All Rights Reserved GCE, GAE, GKEにSpinnakerをデプロイ可能 https://cloud.google.com/blog/products/devops-sre/introducing-spinnaker-for-google-cloud-platform-co ntinuous-delivery-made-easy セキュアなインストールや自動バックアップやモニタリング連携にも対応今回の発表では触れませんが、お試し記事を書いていますのでご参考までに https://qiita.com/go_vargo/items/3e37c0a2a1abdbf9e231 3 Spinnaker for GCP

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

　　　　　　　　　 COLOPL, Inc. All Rights Reserved 14 ● Google Kubernetes Engine ● Cloud Spanner ● Spinnaker ● GitLab CI ● Stackdriver ● BigQuery ● Prometheus ● Grafana チームがカバーするプロダクト・言語 ● Docker ● Kubernetes ● Helm ● PHP / Laravel ● Golang ● Redis (Cluster) ● RabbitMQ … and more. 1. 主要技術

Slide 15

Slide 15 text

　　　　　　　　　 COLOPL, Inc. All Rights Reserved 15 ● Google Kubernetes Engine ● Cloud Spanner ● Spinnaker ● GitLab CI ● Stackdriver ● BigQuery ● Prometheus ● Grafana チームがカバーするプロダクト・言語 ● Docker ● Kubernetes ● Helm ● PHP / Laravel ● Golang ● Redis (Cluster) ● RabbitMQ … and more. 1. 主要技術

Slide 16

Slide 16 text

Slide 17

Slide 17 text

　　　　　　　　　 COLOPL, Inc. All Rights Reserved Spinnakerは動画配信サービスを手がけているNetflixが開発し、 2015年にOSSとして公開しているContinuous Deliveryツールです。 GUIベースでKubernetesへのデリバリを操作できます。 Pipelineという単位でTrigger(イベント)とStage(タスク)を設定することで、オペレーションを定義でき、オペレーション実行時の状態をモニタリングすることもできます 17 2. Spinnakerとは https://www.spinnaker.io/

Slide 18

Slide 18 text

　　　　　　　　　 COLOPL, Inc. All Rights Reserved Appendix) 参考書籍 2019/7/12に発売された「Kubernetes実践ガイド(インプレスブックス)」が日本語で一番Spinnakerに詳しく書かれています。 Spinnakerの構築から始まり、 Red/Black(Blue/Green) デプロイメント Canary デプロイメントについて詳しく載っています。 18 https://book.impress.co.jp/books/1118101053

Slide 19

Slide 19 text

　　　　　　　　　 COLOPL, Inc. All Rights Reserved 19 2. Spinnaker - ApplicationとPipeline Application 1 Pipeline 1 Stage 1 Stage 2 Pipeline 2 Stage 1 Stage 2 Application 2 Pipeline 1 Stage 1 Stage 2 Pipeline 2 Stage 1 Stage 2 Application: Webサービス Pipeline: Stageの固まり Stage: 実行ジョブ

Slide 20

Slide 20 text

　　　　　　　　　 COLOPL, Inc. All Rights Reserved Spinnakerが提供しているStageを組み合わせることで Pipelineを構築します。 Kubernetes Provider V2ではKubernetesのマニフェストベースでDeploy Stageを実行できます 20 2. Spinnaker - Pipeline https://www.spinnaker.io/concepts/

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

　　　　　　　　　 COLOPL, Inc. All Rights Reserved Deck: UI Gate: API Gateway Rosco: Image Baker Igor: Trigger Echo: Event Bus Orca: Orchestrator Front50: Metadata Holder Clouddriver: Cloud Resource Fiat: Authn / Authz 23 2. Spinnaker - MicroService Archtecture https://www.spinnaker.io/reference/architecture/

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

　　　　　　　　　 COLOPL, Inc. All Rights Reserved CIの改善として、Docker Meetup Tokyo #31で取り組んだ Dockerビルドの改善について次のタイトルで話しました。 BuildKitを利用して、複数環境向けのイメージをステージで分割した内容やマルチステージ×Buildkitについて紹介しています。職場のDocker環境の改善(by Buildkit) 26 Appendix) Dockerビルドの改善について https://speakerdeck.com/govargo/improve-docker-image-by-buildkit

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

　　　　　　　　　 COLOPL, Inc. All Rights Reserved • アプリケーションのソースコードをDockerイメージ化 • ビルドした Dockerイメージをレジストリ(GCR)にPush • Helm templateで生成したK8sマニフェスト郡をストレージ (GCS)へアップロード ※ Spinnakerが参照するマニフェスト • アセット(キャラデータ・背景・音声などのゲームリソース)をストレージ(S3)にアップロード 29 3. CI処理フロー詳細 GCR: Google Container Registry GCS: Google Cloud Storage

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Slide 32

Slide 32 text

Slide 33

Slide 33 text

Slide 34

Slide 34 text

Slide 35

Slide 35 text

Slide 36

Slide 36 text

Slide 37

Slide 37 text

Slide 38

Slide 38 text

Slide 39

Slide 39 text

　　　　　　　　　 COLOPL, Inc. All Rights Reserved インフラマニフェストは、アプリケーションソースとは別のリポジトリで管理しています。管理対象はKubernetesのマニフェストがメインになりますが、 Helmを使っているため、Chartがその対象になります。・Helm Chart 39 4. インフラマニフェスト管理 ※ChartはKubernetesマニフェストを　まとめたテンプレートです https://helm.sh/ Helm: Kubernetesのパッケージマネージャー

Slide 40

Slide 40 text

Slide 41

Slide 41 text

　　　　　　　　　 COLOPL, Inc. All Rights Reserved 41 5. Spinnakerとの出会い GKE + Spanner環境開発スタート 2018年から利用し始めて、本番運用も含めて1年くらいが経過しました。 2018/03 2018/08 GKE + Spanner環境本番環境開始 2019/07 2018/10 V1 V2 GKE + Spanner2作目以降... 鋭意運用中検証開始 V1 V2(beta) 2017

Slide 42

Slide 42 text

Slide 43

Slide 43 text

　　　　　　　　　 COLOPL, Inc. All Rights Reserved Spinnakerの代表的な構築方法には 1. Halyardでインストール 2. Helm Chartでインストールの2種類があります。コロプラでは1のHalyardでSpinnakerの構築を行なっており、 HA構成をとっています。 ※GCPでは「Spinnaker for GCP」を利用する方法もあります 43 5. Spinnaker構築方法 HA構成: https://www.spinnaker.io/reference/halyard/high-availability/

Slide 44

Slide 44 text

　　　　　　　　　 COLOPL, Inc. All Rights Reserved コロプラではSpinnakerのパラメータをチューニングしています (以下、抜粋)。その他 Clouddriver・EchoのHA化 RedisのMaster/Slave構成化などを行なっています 44 5. カスタマイズ kubernetes.kubectl.poll.timeoutMillis: 1000000 window.spinnakerSettings.onDemandClusterThreshold = 10000 spinnaker.pollingSafeguard.itemUpperThreshold: 10000 .hal/default/profiles/clouddriver-local.yaml .hal/default/profiles/settings-local.js .hal/default/profiles/igor-local.yaml kubectlの操作タイムアウト時間画面表示の上限 Dockerイメージタグの取得上限

Slide 45

Slide 45 text

Slide 46

Slide 46 text

　　　　　　　　　 COLOPL, Inc. All Rights Reserved Fiatは認証/認可を司るコンポーネントです。次の認証方法と連携可能です。・Google Groups ・GitHub Teams ・LDAP ・File based role provider 参考: https://www.spinnaker.io/setup/security/authorization/ 46 アプリケーションごとのパーミッション設定 Appendix) Fiat

Slide 47

Slide 47 text

　　　　　　　　　 COLOPL, Inc. All Rights Reserved 一番多いタイトルでは、27ものPipelineがあります... コロプラで構築しているPipelineには次のものがあります。・Dev, Staging, Prodなどの環境を構築するPipeline ・Dev, Staging, Prodなどの環境をスケールインするPipeline ・KubernetesへアプリケーションをデプロイするPipeline ・DBの洗い替え(スキーマ・マスタデータ)をするPipeline 環境を構築するPipelineについては6章にて後述します 47 5. Pipelines

Slide 48

Slide 48 text

Slide 49

Slide 49 text

Slide 50

Slide 50 text

Slide 51

Slide 51 text

Slide 52

Slide 52 text

Slide 53

Slide 53 text

　　　　　　　　　 COLOPL, Inc. All Rights Reserved 環境は大きく分けて、Dev・Staging・Productionの三面があります。 Dev環境やStaging環境では、さらに環境内に複数のサーバーが存在します。例: DEV1: 共用環境 DEV2: デバッグ確認環境 DEV3: イベントA環境 DEV4: 新機能確認環境 …. 53 6. ゲーム開発・運用におけるサーバー事情 STG1: QA環境 STG2: デバッグ確認環境 STG3: アプリ申請用環境 ...

Slide 54

Slide 54 text

Slide 55

Slide 55 text

Slide 56

Slide 56 text

　　　　　　　　　 COLOPL, Inc. All Rights Reserved Kubernetes × Spinnakerの環境では Gitでブランチを作るだけで、新しい環境ができます。リードタイムが〜数日 → 2,30分ほどに短縮されました 56 6. クラウドネイティブ時代の環境引き渡し DEV1 DEV2 DEV3 DEV4 deploy/dev4 branch作成 dev_create pipeline 作成サーバエンジニア

Slide 57

Slide 57 text

　　　　　　　　　 COLOPL, Inc. All Rights Reserved ・Namespace作成・ミドルウェア(Redis, Rabbitmq, MySQLなど)構築・アプリケーションデプロイ・DB洗い替え(スキーマ作成・初期データ投入) ・Ingressデプロイ・待ち合わせ処理静的アドレスの予約やDNSの登録などはGitLab CIと組み合わせて実行しておく 57 6. dev_create pipeline

Slide 58

Slide 58 text

Slide 59

Slide 59 text

Slide 60

Slide 60 text

Slide 61

Slide 61 text

Slide 62

Slide 62 text

　　　　　　　　　 COLOPL, Inc. All Rights Reserved ServiceAccount(kubeconfig)道連れ問題 KubernetesクラスタのServiceAccountが追加された状態で、そのクラスタを一度消して作り直すと、Spinnakerが参照する他のクラスタも含めて道連れで、デプロイができなくなる例)DEV Custer/STG Clusterがある時に、DEV Clusterを削除すると STG Clusterにもデプロイできなくなる対象方法: 該当のサービスアカウントをSpinnakerから消して、 hal deploy apply 62 7. Spinnakerの闇

Slide 63

Slide 63 text

　　　　　　　　　 COLOPL, Inc. All Rights Reserved インフラエンジニア・コードを書かずにPipelineが容易に構築できる・Immutable Infrastructureが実現アプリケーションエンジニア・VM時代に比べてデプロイの仕組みが複雑になった・昔はSSHして、直接コード修正できたのに... 63 7. Spinnaker活用した所感 VM時代ソースをrsync 踏み台サーバーアプリケーションサーバー

Slide 64

Slide 64 text

　　　　　　　　　 COLOPL, Inc. All Rights Reserved 64 Git Push CI CD AS-IS Source Change Confirmation a few minitues TO-BE Source Change Good: Immutable Infrastructure Bad: Long Lead Time Confirmation Git Push CI CD Good: Immutable Infrastructure Bad: Long Lead Time a few minitues 7. CI/CDとは別の仕組みで検討していることアプリケーションエンジニアの開発を向上させる仕組み

Slide 65

Slide 65 text

　　　　　　　　　 COLOPL, Inc. All Rights Reserved - まとめ - ・Spinnakerは主要なデプロイ戦略をPipelineで構築できます・インフラの環境提供が簡潔化しました・パッチではなくマニフェストベースなので、宣言的な　デプロイが可能です・不可解な挙動やエラーとは闘っていく覚悟が必要です - 今後取り組みたいこと - ・自動カナリア分析を導入したいです → まずは取るべきメトリクスの選定から 65 7. まとめ +今後取り組みたいこと

Slide 66

Slide 66 text