showKs開発の舞台裏

Cbc297b07593321e52c75a9ebcc0f843?s=47 Kazuto Kusama
December 06, 2018

 showKs開発の舞台裏

Japan Container Days v18.12の主催者企画 "showKs"。
開発の経緯と実装についてまとめました。
http://showks.containerdays.jp/

showKs Team
@jacopen @jyoshise @amsy810 @makocchi @kojiha @inductor @tsukaman

Cbc297b07593321e52c75a9ebcc0f843?s=128

Kazuto Kusama

December 06, 2018
Tweet

Transcript

  1. 9.
  2. 11.
  3. 12.
  4. 13.
  5. 14.
  6. 16.
  7. 18.
  8. 19.
  9. 24.
  10. 32.

    StagingとProductionわけたいよね Stg ポータル Stg キャンバス Stg キャンバス Stg キャンバス git

    git git CI Form Stg ポータル Prod キャンバス Prod キャンバス Prod キャンバス git git git
  11. 33.

    てかGitHubに自動でリポジトリ作成しないとね Stg ポータル Stg キャンバス Stg キャンバス Stg キャンバス git

    git git CI Form Stg ポータル Prod キャンバス Prod キャンバス Prod キャンバス git git git
  12. 34.

    SpinnakerとConcourseのパイプラインも生成要るね Stg ポータル Stg キャンバス Stg キャンバス Stg キャンバス git

    git git CI Form Prod ポータル Prod キャンバス Prod キャンバス Prod キャンバス git git git
  13. 35.

    アプリ連携アーキテクチャ変えないとね・・・ Stg アグリゲータ Stg キャンバス Stg キャンバス Stg キャンバス git

    git git CI Form Stg アグリゲータ Prod キャンバス Prod キャンバス Prod キャンバス git git git Stg ポータル Prod ポータル
  14. 36.

    ポータルもちょっと分けて作るわ Stg アグリゲータ Stg キャンバス Stg キャンバス Stg キャンバス git

    git git CI Form Stg アグリゲータ Prod キャンバス Prod キャンバス Prod キャンバス git git git Stg ポータル Frontend Stg ポータル Backend Prod ポータル Frontend Prod ポータル Backend
  15. 37.

    あ、無くてもうまいこといったわ Stg アグリゲータ Stg キャンバス Stg キャンバス Stg キャンバス git

    git git CI Form Stg アグリゲータ Prod キャンバス Prod キャンバス Prod キャンバス git git git Stg ポータル Prod ポータル
  16. 38.

    メトリクスをダッシュボードで見たいよね Stg アグリゲータ Stg キャンバス Stg キャンバス Stg キャンバス git

    git git CI Form Stg アグリゲータ Prod キャンバス Prod キャンバス Prod キャンバス git git git Stg ポータル Prod ポータル
  17. 39.
  18. 41.
  19. 42.
  20. 43.
  21. 46.

    showks-terraform K8sで開発するとしても、k8s外に必要なものが沢山出てき ます。 - k8sそのもの - DNS - オブジェクトストレージ -

    踏み台サーバー - スタティックIP ついつい気が緩んで手作業しがちですが、しっかりとコード 化して Infrastructure as codeやりましょう https://github.com/containerdaysjp/showks-terraform
  22. 47.

    showks-form https://github.com/containerdaysjp/showks-form Stg ポータル Stg キャンバス Stg キャンバス Stg キャンバス

    git git git CI Form Prod ポータル Prod キャンバス Prod キャンバス Prod キャンバス git git git
  23. 48.

    showks-form https://github.com/containerdaysjp/showks-form • ユーザーからの入力に応じて ◦ バリデーション ◦ GitHubにリポジトリ作成 ◦ ベースCanvasのPush

    ◦ Webhookの設定 ◦ Collaboratorの設定 ◦ Protected Brachの設定 ◦ Concourse Pipelineの生成と反映 ◦ Spinnaker Pipelineの生成と反映
  24. 50.

    Concourse Pipeline https://github.com/containerdaysjp/showks-concourse-pipelines showKs関連コンポーネント • showks-form • showks-portal-frontend • showks-aggregator

    ユーザーのCanvas • showks-canvas-USERNAME これらの • Unit test • Dockerイメージ作成とpush • Prodリリース時はタグの付け替え • k8sマニフェスト作成
  25. 58.

    CDパイプライン概要(Portal, Aggregator) deploy-to-stg canary-to-prod deploy-to-prod stg cluster prod cluster stg

    manifest stg image prod manifest prod image CI (stgブランチへ の merge) CI (masterブランチ への merge)
  26. 59.

    CDパイプライン概要(canvas) deploy-to-stg deploy-to-prod stg cluster prod cluster stg manifest stg

    image prod manifest prod image CI (stgブランチへ の merge) CI (masterブランチ への merge) このパイプライン自体が自動 生成される
  27. 65.

    Spinnakerのターニングポイント: Kubernetes V2 Provider Kubernetesの基本的な考え方: • Kubernetes上で動作するワークロードの全ての真実はManifests(YAML)に記述さ れる • Kubernetesは自律的に、適用されたManifestsに記述されている状態に実際のク

    ラスタの状態を追従させる • 宣言的デプロイ、GitOpsといったCloud Nativeベストプラクティスの根本 Spinnaker Kubernetes V2 Providerは上記を尊重→従来のコンテナイメージ中心の CDパイプラインから、Manifest中心のCDパイプラインへの転換期
  28. 67.

    Spin CLI • 大したことはできない • でもそれによってむしろ Immutableなパイプライン が実現できるのかも やったこと •

    Web UIから雛形パイプラ インを作成 • それをspin pipeline getで JSONファイル化 • Pythonでパラメータを置換 して複製
  29. 75.

    CDパイプライン概要(Portal, Aggregator) deploy-to-stg canary-to-prod deploy-to-prod stg cluster prod cluster stg

    manifest stg image prod manifest prod image CI (stgブランチへ の merge) CI (masterブランチ への merge)
  30. 76.

    その他ハマったこと • 認証でドハマり ◦ Spinnaker自体はユーザー認証の機能を持っていない ◦ 当初GitHub OAuthを使おうとしたがGitHub TeamsのOrganizationじゃないとダメっぽい ◦

    Google OAuthにしようとしたらG SuiteのOrganizationじゃないとダメっぽい ◦ 仕方なく単一のgoogleアカウントのみアクセスできるようにした ◦ などなど • Credential管理問題 ◦ Kubernetes各クラスタのCredential、GCSのCredential、GitHubのCredentialなどいろんなところに とっ散らかってしまった ◦ 最初になにか管理手段を確立すべきだった • Spinnakerのドキュメントが謎だらけ ◦ 特にKubernetes V2 Providerは従来のコンセプトをがらりと変えるので既存のドキュメントとの矛盾 が多い、かつ実装が文書化されていないので結局コードを読む羽目に
  31. 82.

    できたもの - Portal - シンプルなNuxt.jsベースのアプリ - APIとって表示するだけの簡単な処理とBulmaを使った一覧表示 - 無駄にPWA対応(簡単すぎた) -

    Universal App的な何かができた - なぜNuxtにしたのか? - 使ってみたかったから!!!!! - という気軽な気持ちでやってみれるのがこういうプロジェクトのいいところ
  32. 85.