Share
Embed
コロプラが実践しているSpinnakerを用いたデプロイ戦略 / Deploy Strategy with Spinnaker at Colopl
go_vargo
July 25, 2019
Transcript
66 slides
-
COLOPL, Inc. All Rights Reserved コロプラが実践している Spinnakerを用いた デプロイ戦略 Kubernetes
Meetup Tokyo #21 1 -
COLOPL, Inc. All Rights Reserved 名前: 磯 賢大(@go_vargo) 所属:
株式会社コロプラ インフラグループ 第2チーム 職務内容: Kubernetes環境を良い感じにする 最近の趣味: Kubernetesカスタムコントローラ作りに挑戦 執筆: 実践Helm 2 自己紹介 -
COLOPL, Inc. All Rights Reserved GCE, GAE, GKEにSpinnakerをデプロイ可能 https://cloud.google.com/blog/products/devops-sre/introducing-spinnaker-for-google-cloud-platform-co
ntinuous-delivery-made-easy セキュアなインストールや自動バックアップやモニタリング連携 にも対応 今回の発表では触れませんが、 お試し記事を書いていますのでご参考までに https://qiita.com/go_vargo/items/3e37c0a2a1abdbf9e231 3 Spinnaker for GCP -
COLOPL, Inc. All Rights Reserved 4 アジェンダ 1. 技術スタック
+ 構成 2. Spinnakerおさらい 3. CI/CD Pipeline全体概要 4. ソース管理・マニフェスト管理 5. コロプラとSpinnaker 6. 複数環境の構築・管理 7. Spinnakerの闇と光 -
COLOPL, Inc. All Rights Reserved 6 1. Game Application
Constitution クライアントサイド サーバーサイド スマートフォン端末 Storage(S3) ゲームアプリケーション 動画・音声・キャラデータなどのリ ソース(アセット) Kuberntes サーバーアプリケーション・ミドルウェア -
COLOPL, Inc. All Rights Reserved 7 1. Game Application
Constitution クライアントサイド サーバーサイド Kuberntes スマートフォン端末 Storage(S3) サーバーアプリケーション・ミドルウェア ゲームアプリケーション 動画・音声・キャラデータなどのリ ソース(アセット) -
COLOPL, Inc. All Rights Reserved 8 1. Cluster Single
Tenant Multi Tenant APP1 APP2 APP3 APP1 APP2 APP3 or -
COLOPL, Inc. All Rights Reserved 9 1. Cluster Single
Tenant Multi Tenant APP1 APP2 APP3 APP1 APP2 APP3 or -
COLOPL, Inc. All Rights Reserved 10 1. Application Monolithic
Micro Service APP Feature2 or Feature1 Feature3 Feature4 Feature6 Feature5 APP1 APP6 APP2 APP5 APP3 APP4 -
COLOPL, Inc. All Rights Reserved 11 1. Application Monolithic
Micro Service APP Feature2 or Feature1 Feature3 Feature4 Feature6 Feature5 APP1 APP6 APP2 APP5 APP3 APP4 -
COLOPL, Inc. All Rights Reserved 14 • Google Kubernetes
Engine • Cloud Spanner • Spinnaker • GitLab CI • Stackdriver • BigQuery • Prometheus • Grafana チームがカバーするプロダクト・言語 • Docker • Kubernetes • Helm • PHP / Laravel • Golang • Redis (Cluster) • RabbitMQ … and more. 1. 主要技術 -
COLOPL, Inc. All Rights Reserved 15 • Google Kubernetes
Engine • Cloud Spanner • Spinnaker • GitLab CI • Stackdriver • BigQuery • Prometheus • Grafana チームがカバーするプロダクト・言語 • Docker • Kubernetes • Helm • PHP / Laravel • Golang • Redis (Cluster) • RabbitMQ … and more. 1. 主要技術 -
COLOPL, Inc. All Rights Reserved Spinnakerは動画配信サービスを手がけているNetflixが開発し、 2015年にOSSとして公開しているContinuous Deliveryツールです。 GUIベースでKubernetesへのデリバリを操作できます。
Pipelineという単位でTrigger(イベント)とStage(タスク)を設定 することで、オペレーションを定義でき、 オペレーション実行時の状態をモニタリングすることもできます 17 2. Spinnakerとは https://www.spinnaker.io/ -
COLOPL, Inc. All Rights Reserved Appendix) 参考書籍 2019/7/12に発売された 「Kubernetes実践ガイド(インプレス
ブックス)」が 日本語で一番Spinnakerに詳しく書かれています。 Spinnakerの構築から始まり、 Red/Black(Blue/Green) デプロイメント Canary デプロイメント について詳しく載っています。 18 https://book.impress.co.jp/books/1118101053 -
COLOPL, Inc. All Rights Reserved 19 2. Spinnaker -
ApplicationとPipeline Application 1 Pipeline 1 Stage 1 Stage 2 Pipeline 2 Stage 1 Stage 2 Application 2 Pipeline 1 Stage 1 Stage 2 Pipeline 2 Stage 1 Stage 2 Application: Webサービス Pipeline: Stageの固まり Stage: 実行ジョブ -
COLOPL, Inc. All Rights Reserved Spinnakerが提供しているStageを組み合わせることで Pipelineを構築します。 Kubernetes Provider
V2ではKubernetesのマニフェスト ベースでDeploy Stageを実行できます 20 2. Spinnaker - Pipeline https://www.spinnaker.io/concepts/ -
COLOPL, Inc. All Rights Reserved 21 2. Spinnaker -
ClusterとServerGroup https://www.spinnaker.io/concepts/ Cluster: Kubernetesでいう Deployment Server Group: Kubernetesでいう Replicaset -
COLOPL, Inc. All Rights Reserved 22 2. Spinnaker -
Deploy Strategy https://www.spinnaker.io/concepts/ -
COLOPL, Inc. All Rights Reserved Deck: UI Gate: API
Gateway Rosco: Image Baker Igor: Trigger Echo: Event Bus Orca: Orchestrator Front50: Metadata Holder Clouddriver: Cloud Resource Fiat: Authn / Authz 23 2. Spinnaker - MicroService Archtecture https://www.spinnaker.io/reference/architecture/ -
COLOPL, Inc. All Rights Reserved 25 Image Build GitLab
+ Runner Push Image Bake Deploy Google Container Registry Spinnaker GKE 3. Server Side CI/CD Overview -
COLOPL, Inc. All Rights Reserved CIの改善として、Docker Meetup Tokyo #31で取り組んだ
Dockerビルドの改善について次のタイトルで話しました。 BuildKitを利用して、複数環境向けのイメージをステージで分割 した内容やマルチステージ×Buildkitについて紹介しています。 職場のDocker環境の改善(by Buildkit) 26 Appendix) Dockerビルドの改善について https://speakerdeck.com/govargo/improve-docker-image-by-buildkit -
COLOPL, Inc. All Rights Reserved • アプリケーションのソースコードをDockerイメージ化 • ビルドした
Dockerイメージをレジストリ(GCR)にPush • Helm templateで生成したK8sマニフェスト郡をストレージ (GCS)へアップロード ※ Spinnakerが参照するマニフェスト • アセット(キャラデータ・背景・音声などのゲームリソース)をスト レージ(S3)にアップロード 29 3. CI処理フロー詳細 GCR: Google Container Registry GCS: Google Cloud Storage -
COLOPL, Inc. All Rights Reserved 36 Mono Repository Multi
Repository or 4. アプリケーションソース アプリケーション ソース インフラ マニフェスト アプリケーション ソース インフラ マニフェスト -
COLOPL, Inc. All Rights Reserved 37 Mono Repository Multi
Repository or 4. アプリケーションソース アプリケーション ソース インフラ マニフェスト アプリケーション ソース インフラ マニフェスト -
COLOPL, Inc. All Rights Reserved ソースコードはGitFlowで管理しています。 ゲームならではの特徴は、イベントのソース管理です。 38 4.
アプリケーションソース管理 master hotfix develop feature feature/event1 feature/event2 feature/event3 and more... -
COLOPL, Inc. All Rights Reserved インフラマニフェストは、アプリケーションソースとは別のリポジトリで 管理しています。 管理対象はKubernetesのマニフェストがメインになりますが、 Helmを使っているため、Chartがその対象になります。
・Helm Chart 39 4. インフラマニフェスト管理 ※ChartはKubernetesマニフェストを まとめたテンプレートです https://helm.sh/ Helm: Kubernetesのパッケージマネージャー -
COLOPL, Inc. All Rights Reserved 41 5. Spinnakerとの出会い GKE
+ Spanner環境 開発スタート 2018年から利用し始めて、本番運用も含めて1年くらいが 経過しました。 2018/03 2018/08 GKE + Spanner環境 本番環境開始 2019/07 2018/10 V1 V2 GKE + Spanner2作目以降... 鋭意運用中 検証開始 V1 V2(beta) 2017 -
COLOPL, Inc. All Rights Reserved 42 5. Spinnaker per
Cluster K8s Cluster : Spinnaker = 1: 1 APP1 APP2 APP3 + + + -
COLOPL, Inc. All Rights Reserved Spinnakerの代表的な構築方法には 1. Halyardでインストール 2.
Helm Chartでインストール の2種類があります。 コロプラでは1のHalyardでSpinnakerの構築を行なっており、 HA構成をとっています。 ※GCPでは「Spinnaker for GCP」を利用する方法もあります 43 5. Spinnaker構築方法 HA構成: https://www.spinnaker.io/reference/halyard/high-availability/ -
COLOPL, Inc. All Rights Reserved コロプラではSpinnakerのパラメータをチューニングしています (以下、抜粋)。 その他 Clouddriver・EchoのHA化
RedisのMaster/Slave構成化などを行なっています 44 5. カスタマイズ kubernetes.kubectl.poll.timeoutMillis: 1000000 window.spinnakerSettings.onDemandClusterThreshold = 10000 spinnaker.pollingSafeguard.itemUpperThreshold: 10000 .hal/default/profiles/clouddriver-local.yaml .hal/default/profiles/settings-local.js .hal/default/profiles/igor-local.yaml kubectlの操作タイムアウト時間 画面表示の上限 Dockerイメージタグの取得上限 -
COLOPL, Inc. All Rights Reserved Fiatは認証/認可を司るコンポーネントです。 次の認証方法と連携可能です。 ・Google Groups
・GitHub Teams ・LDAP ・File based role provider 参考: https://www.spinnaker.io/setup/security/authorization/ 46 アプリケーションごとのパーミッション設定 Appendix) Fiat -
COLOPL, Inc. All Rights Reserved 一番多いタイトルでは、27ものPipelineがあります... コロプラで構築しているPipelineには次のものがあります。 ・Dev, Staging,
Prodなどの環境を構築するPipeline ・Dev, Staging, Prodなどの環境をスケールインするPipeline ・KubernetesへアプリケーションをデプロイするPipeline ・DBの洗い替え(スキーマ・マスタデータ)をするPipeline 環境を構築するPipelineについては6章にて後述します 47 5. Pipelines -
COLOPL, Inc. All Rights Reserved 5. Deploy Pipeline 49
GCRにdevXXまたはstgXXといったタグのついたDocker イメージがPushされると、Spinnakerが自動検知しPipelineがス タートします。 ※ Pipelineの手動実行も可能 -
COLOPL, Inc. All Rights Reserved 5. Deploy Pipeline(Dev/Stg) 50
RollingUpdateによるカナリアリリースが実行されます。 マニフェストはGCS上 を読み込む -
COLOPL, Inc. All Rights Reserved 5. Deploy Pipeline(Prod) 51
ProductionへはJudgementを含めたカナリアリリース ※画像はイメージ -
COLOPL, Inc. All Rights Reserved 環境は大きく分けて、Dev・Staging・Productionの三面があり ます。 Dev環境やStaging環境では、さらに環境内に複数のサーバー が存在します。
例: DEV1: 共用環境 DEV2: デバッグ確認環境 DEV3: イベントA環境 DEV4: 新機能確認環境 …. 53 6. ゲーム開発・運用におけるサーバー事情 STG1: QA環境 STG2: デバッグ確認環境 STG3: アプリ申請用環境 ... -
COLOPL, Inc. All Rights Reserved DEV1〜3までが存在していて、 新しい環境(DEV4)が必要になったケース 54 6.
VM時代の環境引き渡し DEV1 DEV2 DEV3 サーバエンジニア 環境ください -
COLOPL, Inc. All Rights Reserved インフラエンジニアがサーバを新しく立てて 引き渡しをしていました。 55 6.
VM時代の環境引き渡し DEV1 DEV2 DEV3 サーバエンジニア DEV4 インフラエンジニア どうぞ -
COLOPL, Inc. All Rights Reserved Kubernetes × Spinnakerの環境では Gitでブランチを作るだけで、新しい環境ができます。
リードタイムが 〜数日 → 2,30分ほどに短縮されました 56 6. クラウドネイティブ時代の環境引き渡し DEV1 DEV2 DEV3 DEV4 deploy/dev4 branch作成 dev_create pipeline 作成 サーバエンジニア -
COLOPL, Inc. All Rights Reserved ・Namespace作成 ・ミドルウェア(Redis, Rabbitmq, MySQLなど)構築
・アプリケーションデプロイ ・DB洗い替え(スキーマ作成・初期データ投入) ・Ingressデプロイ ・待ち合わせ処理 静的アドレスの予約やDNSの登録などはGitLab CIと組み合わせて実行しておく 57 6. dev_create pipeline -
COLOPL, Inc. All Rights Reserved ・たまに挙動が不安定 ・仕組みが複雑 ・情報が少なめ ・障害調査が難しい
・GUIベース(jsonもできるが..) 59 7. Spinnakerの闇と光 ・宣言的にデプロイが可能 ・Pipeline構築が容易 ・GUIで進捗確認可能 ・ロールバックが容易 ・環境構築・縮小が容易に -
COLOPL, Inc. All Rights Reserved たまに挙動が不安定 ・DockerイメージのタグやK8s Namespaceが表示されない →
Clouddriverでエラーが出ている → Cloud Platform側のAPIでTimeoutが発生したため... 対象方法: ClouddriverのPodをdeleteして、プロセスを再起動 60 7. Spinnakerの闇 -
COLOPL, Inc. All Rights Reserved 情報が少なめ・障害調査が難しい ・不可解な挙動やエラーが発生 → Spinnakerをローカル上に構築して、
怪しい箇所をひたすらデバッグ... 対象方法: Groovyで書かれているので、IntelliJでデバッグをします 61 7. Spinnakerの闇 -
COLOPL, Inc. All Rights Reserved ServiceAccount(kubeconfig)道連れ問題 KubernetesクラスタのServiceAccountが追加された状態で、 そのクラスタを一度消して作り直すと、Spinnakerが参照する他の クラスタも含めて道連れで、デプロイができなくなる
例)DEV Custer/STG Clusterがある時に、DEV Clusterを削除すると STG Clusterにもデプロイできなくなる 対象方法: 該当のサービスアカウントをSpinnakerから消して、 hal deploy apply 62 7. Spinnakerの闇 -
COLOPL, Inc. All Rights Reserved インフラエンジニア ・コードを書かずにPipelineが容易に構築できる ・Immutable Infrastructureが実現
アプリケーションエンジニア ・VM時代に比べてデプロイの仕組みが複雑になった ・昔はSSHして、直接コード修正できたのに... 63 7. Spinnaker活用した所感 VM時代 ソースをrsync 踏み台サーバー アプリケーションサーバー -
COLOPL, Inc. All Rights Reserved 64 Git Push CI
CD AS-IS Source Change Confirmation a few minitues TO-BE Source Change Good: Immutable Infrastructure Bad: Long Lead Time Confirmation Git Push CI CD Good: Immutable Infrastructure Bad: Long Lead Time a few minitues 7. CI/CDとは別の仕組みで検討していること アプリケーションエンジニアの開発を向上させる仕組み -
COLOPL, Inc. All Rights Reserved - まとめ - ・Spinnakerは主要なデプロイ戦略をPipelineで構築できます
・インフラの環境提供が簡潔化しました ・パッチではなくマニフェストベースなので、宣言的な デプロイが可能です ・不可解な挙動やエラーとは闘っていく覚悟が必要です - 今後取り組みたいこと - ・自動カナリア分析を導入したいです → まずは取るべきメトリクスの選定から 65 7. まとめ +今後取り組みたいこと -
COLOPL, Inc. All Rights Reserved 66 Thank you for
listening. We are Hiring!