サイバーエージェントでCDツールを内製した話

1. サイバーエージェントで CDツールを内製した話 Kenta Kozuka
2. @kentakozuka @kenta_kozuka CyberAgent Developer Productivity室 PipeCD maintainer #DevOps, #DeveloperProductivityEngineering #PlatformEngineering Me
3. 3 CDツール内製まで
4. CDツール開発前のCAのCD事情 • CIと密結合 • 一元化されたプラットフォームが存在しない • 各プロダクトチームは、独自のCDシステムを選択し、維持する全責任を負 わなければならない • チーム異動の際のオンボーディングコストが高い • 使用プロダクト・ツールの増加 • マルチクラウド環境で使いにくい
5. 目指したもの • すべての人に、プラットフォームに依存しない一貫したプロセスを • 誰にとっても簡単なUX • CIとCDの分離 • 迅速かつ有用なフィードバックを提供すること • プロダクトチームにアプリのデプロイメントの管理とオブザーバビリティを 提供する • 高いセキュリティ
6. 2019-2020年頭ぐらい 構想〜言語化 • 各部署に水面下でヒアリング • 現状の問題の洗い出し • 理想状態を言語化 • 既存ソリューションの分析 ◦ Spinnaker、ArgoCD、FluxCD、Harnessなど • 導入プロセスを考える • 全体的なデザイン・ロードマップの作成
7. 2020年5月 開発スタート • 提案書にまとめて偉い人に見せる • チーム発足 • 開発スタート
8. 開発当初からOSS化を前提 • 業界水準のものを作る • 社内だけでなく色々な視点から意 見をもらう • コントリビュートしてもらう • みんな流行ってるもの使いたい
9. OSSの健全なライフサイクルを確立し、開発資源を最大化する 社内成果 事例創出 コミュニティ 活性化 市場 拡大化 ▪OSS公開 ▪ベストプラクティスの啓蒙 ▪カンファレンス発表 ▪CNCF等参加での知名度・信頼性獲得 ▪社外の利用・事例が増える ▪個人or企業コントリビューター獲得 ▪採用チャンス増 ▪社外コンサル活動 ▪社内要望サポート ▪プロダクトグロース ▪社内Enablingチーム活動
10. 〜2023年まで • 2020年10月 リポジトリを公開 • 2021年11月 社内Saas提供開始 • 2023年5月 CNCF Sandboxに参加
11. 現在 Github リポジトリ • ~3,500 commits • 50+ contributors • 700+ stars 社内SaaS • 20以上のプロジェクトで導入 • 約2,900のアプリケーションを管 理
12. 社内の導入事例
13. 13 PipeCDの特徴
15. One CD for All 15 全ての環境 - dev, stg, prod... 全てのオペレーション - scaling, upgrading, config updating, rolling back, infra provisioning... 全てのアプリケーション - infra, kubernetes, serverless... 全てのインフラ - public clouds such as GCP, AWS, Azure, private cloud
16. マルチプロバイダ & マルチテナント 16 様々なプラットフォーム、アプリケーション、テレメトリーに対応 マルチクラスタ・テナンシーでの運用が可能
17. Kubernetesエコシステムとのインテグレーション 17
18. GitOps
19. シンプルなUIと可視性 19 UIはアプリケーションの状態をリアルタイムで可視化し、 どのタイミングで何が発生したかが明示される
20. Control Plane & Agentモデル • デプロイはクラスタ内のpiped agentが実行 • アプリケーションのクレデンシャルが外部に漏れるこ とがない • pipedはステートレスなシングルバイナリなので場所を 選ばず、メンテも簡単
21. セキュリティ • ビルトインのシークレット管理 • RBAC • SSO
22. 高度な自動化 22 エラーレートに基づく 自動ロールバック 構成変更の自動検知
23. DevOps指標の可視化
24. Plan Preview
25. プログレッシブデリバリー • 機能を段階的に公開していく • ユーザーへの影響を細かく制御する • 全てのプロセスを自動化 commit rollout analyze release deploy rollback
26. プログレッシブデリバリーのプロセス • トラフィック制御（カナリアデプロイメント） • 分析（カナリア分析） • 自動化されたロールバック
27. 分析
28. メトリクスの取得 ユーザーのモニタリングシステムからメトリクスを取得 - Prometheus - Datadog - CloudWatch - NewRelic - Google Cloud Monitoring
29. EventWatcher UPDATE
30. Wait-Approval 30 デプロイに必要な承認者を指定する
31. Deployment chain 31 dev stg prd asia us europe
32. 32 実際に見てみよう！ pipecd.dev
33. 33 社内SaaSの運用
34. 社内構成 PipeCDチームがControl Planeを運用 各チームはpiped agentをクラスタ内に配置するだけ Aチーム Bチーム Cチーム PipeCDチーム
35. コントロールプレーンアーキテクチャー
36. コントロールプレーン構成詳解 • GKE上にHelmでデプロイ • Data storeはFirestore • File storeはGCS(Google Cloud Storage) • 管理画面、監視（Grafana）へはIAPを通して アクセス • GithubでOAuthログイン • Github Teamsを使ってRBAC • Slackチャンネルへアラートを通知
37. 社内dev,prdのインフラ構成
38. 社内dev,prdのインフラ構成 • 各チームはpiped agentを社内のControl Planeに登録 • UI, APIはControl Planeで提供
39. 社内dev,prdのインフラ構成 • 本番環境のインフラとPipeCDを別のPipeCDで管理
40. 社内dev,prdのインフラ構成 • 開発環境のインフラとPipeCD は本番環境のPipeCDで管理
41. 41 社内サポート
42. 社内サポート Slackワークフロー • 利用申請や問い合わせ等 • 問い合わせはケースを立ててもらう • 5段階の緊急度でトリアージュ • Github Internal repositoryのDiscussionと同期
43. 社内コミュニティ Slackチャンネル • リリース • PipeCDチームからの情報共有
44. 社内イベント • 社内での利用事例 • 新規リリースした機能の説明
45. pipe-cd/pipe @pipecd_dev https://pipecd.dev/ We always welcome your contributions!
46. さいごに Developer Productivity室では全方位でエンジニア募集中！ #PipeCD #DevOps #開発生産性 #OSS開発インターン #副業 に興味があれば、 「Developer Productivity室」で検索か、 @kenta_kozukaまでDMください🙋