CircleCI 2.0を支える2つの コンテナクラスターとSRE

CircleCI 2.0を支える2つの コンテナクラスターとSRE

CNDT 2019の登壇資料

9996db3588c75fb4f2b582fa4021cfdb?s=128

Kim, Hirokuni

July 22, 2019
Tweet

Transcript

  1. 5.

    5 ただいまチャットサポートトライアル実施中 APIで特定のworkflowを実行し たいが、起動しません。 Beta版ですが、API v2を利 用するのはいかがでしょう か? こんにちは CircleCIにログインし、右下に

    チャットボタンが表示されます → 期間限定で平日の14時から17時で実施中! ⭐最近CircleCIを使い始めた方や最新機能についてもっと知りたい方ご質問大歓迎です ⭐
  2. 6.

    6 自己紹介 Kim, Hirokuni (金 洋国) • CircleCI SRE •

    CircleCI Japan Tech Lead • CircleCI検定2級 (注: 妄想です。実在しません。 ) • 日本支社の立ち上げ • カンファレンス登壇 • 採用活動 • 記事執筆 • コミュニティー運営 Twitter: https://twitter.com/kimhirokuni
  3. 10.

    10 について • 5万ビルド / 1hr • ~8000ビルド / 1min

    • ~130ビルド / 1 sec 1日120万 どのようにしてこれらのビルドをハンドリングしているか
  4. 14.

    14 つのコンテナクラスター Services - フロントエンド - 課金 - ユーザー管理 -

    WebHook処理 - etc, Executions - Docker ImageのPull - コードのcheckout - ビルドコマンドの実行 - Artifactsの保存 二つを分けることでセキュリティーを担保している
  5. 17.

    17 マイクロサービス間の通信 非同期 • RabbitMQを使用 • 非同期通信が推奨 • 可能限りこちらを使う •

    分散システムでは非同期のほうがよい • 毎秒何千ものリクエストを処理
  6. 20.

    20 の問題点 • Master nodeのマネージメント ◦ Etcd ◦ OSの管理: CoreOS

    • 認証・セキュリティー ◦ Public API endpointの安全性 ◦ ユーザーの管理 • アップグレード問題
  7. 21.

    21 今後の課題 への移行検討中 • Master nodeのマネージメント ◦ Etcd ✔ ◦

    証明書の管理 ✔ • 認証・セキュリティー ◦ Public API endpointの安全性✔ ◦ ユーザーの管理 ✔ • アップグレード問題 △ 
  8. 24.

    24 アーキテクチャー Servers • K8sのマスターに相当 • コーディネーション • マルチリージョン対応 •

    Consulを使用 • K8s上で運用 (後述) Clients • K8sのワーカーに相当 • ジョブを実際に実行
  9. 25.

    25 の使い方 Nomad Client Build 1 Build 2 Build 3

    • Dockerドライバー • 各クライアントでビルドが実行 される • バッチジョブを使用
  10. 29.

    29 なぜ か? • Nomadはバッチ処理がk8sより得意だった (2016年の時点) • 現時点ではk8sもよくなっている (らしい) •

    シンプルなアーキテクチャー (単一Goバイナリ) • Hashicorp Toolとの親和性 (ConsulやVaultなど) • Mesosも検討したが複雑で断念 詳しくは https://speakerdeck.com/kimh/cdpuratutohuomu
  11. 33.

    33 運用してわかったこと Nomad on k8s Works! • NomadのServer NodeをK8sで運用 •

    Nomadとk8sのいいとこどり • Liveness Probes • ローリングアップデート 詳しくは https://circleci.com/blog/write-less-code-use-more-tools/
  12. 39.

    39 ビルドが実行されるまで Docker Nomad Server Nomad Server Nomad Server Nomad

    Client Nomad Client Nomad Client Nomad Client Nomad Client
  13. 40.

    40 ビルドが実行されるまで Docker Nomad Server Nomad Server Nomad Server Nomad

    Client Nomad Client Nomad Client Nomad Client Nomad Client Output processor
  14. 41.

    41 ビルドが実行されるまで Docker Nomad Server Nomad Server Nomad Server Nomad

    Client Nomad Client Nomad Client Nomad Client Nomad Client Output processor
  15. 46.

    46

  16. 52.

    52 障害対応フロー #investigation #incident https://status.circleci.com Incident Commander Communication Commander Note

    Taker 故障かな?と思ったら - ユーザー影響あり - 障害用のZoom開始 - @メンションされる 役割分担 (後述)
  17. 53.

    53 障害対応フロー #investigation #incident https://status.circleci.com Incident Commander Communication Commander Note

    Taker 20分ごとにアップデート 故障かな?と思ったら - ユーザー影響あり - 障害用のZoom開始 - @メンションされる 役割分担 (後述) - できるだけリアルタイム情報 - バナーに表示される
  18. 54.

    54 障害対応フロー #investigation #incident https://status.circleci.com Incident Commander Communication Commander Note

    Taker 20分ごとにアップデート 故障かな?と思ったら - ユーザー影響あり - 障害用のZoom開始 - @メンションされる 役割分担 (後述) - できるだけリアルタイム情報 - バナーに表示される - 30分様子見 - 問題なければクローズ
  19. 55.

    55 障害対応チーム構成 Incident Commander Communication Commander Note Taker Incident Response

    Team 障害復旧の責任者 広報係 障害復旧チーム 書記係