有志で組織横串に挑む - GitLab CI Runnerカイゼン -

1. 有志で組織横串に挑む - GitLab CI Runnerカイゼン - 株式会社アイリッジ 斎藤辰徳
2. 斎藤辰徳 (HN: bbrfkr) Hello! 2 所属：株式会社アイリッジ ミッション • OMOモバイルアプリ実行基盤開発 ◦ バックエンド ◦ クラウドインフラ (主にAWS)
3. 自キー沼のご紹介 3
4. ? ◉ 事業 ◦ OMO(Online Merges with Offline)ソリューション開発 ◦ OMOアプリの企画・開発 ◉ 技術 ◦ インフラ開発・運用 → AWS × コンテナ がメイン ◦ Managed Serviceを積極活用したCloud Architecture ◦ ECS CLI v1 の国内トップレベルでの利用 AWS Fargate 4 Amazon ECS Amazon ECR Amazon Aurora Amazon Cognito AWS Lambda
5. Agenda 5 ◉ 弊社GitLabおよびCI環境の課題 ◉ 有志で構成された横串プロジェクトのご紹介 ◉ GitLab Runnerカイゼン ◉ 弊社GitLabの今後の展望 ◉ まとめ
6. 弊社GitLabおよびCI環境の課題 6
7. All in One問題 7 ◉ ほぼ全てのコンポーネントが一つのVMに？！ gitaly gitlab-rails sidekiq static-data nginx postgresql redis 何故かredisだけ 外出し？！
8. Runner非効率問題 8 ◉ 社内共有Runnerの管理者が不在
9. ◉ 各PJで大小様々な、固有Group Runnerが乱立 共有Runner Runner非効率問題 9 A PJ B PJ X PJ Y PJ
10. ◉ All in One問題 ◉ Runner非効率問題 弊社GitLabおよびCI環境の課題 10 今回はこちらに対応した話
11. 有志で構成された 横串プロジェクトのご紹介 11
12. Development Crossover PJ 12 ◉ 課題感 ◦ 担当案件の知見を社内での共有知に中々ならない ◦ 共有資産の責任所在と管理主体が曖昧になりがち 組織横断の課題に 開発者として挑む！
13. DC PJでやってきたこと 13 ◉ PM陣へ向けた技術資料作成 ◦ Slackインテグレーションの設定と仕組み解説 ◦ CloudWatchの分析ノウハウまとめ ◉ OpenAPI仕様準拠のモックサーバテンプレート ◉ 社内共有GitLab Runnerの集中管理・ビルド速度改善
14. GitLab Runnerカイゼン 14
15. 解決したい課題とやったこと 15 ◉ 課題 ◦ 社内共有Runnerの管理者不在 ◦ PJ固有Group Runnerの乱立 ◉ やったこと ◦ 社内共有Runnerの運用・管理簡素化 ◦ 社内共有Runnerの管理主体のコミットメント
16. 具体的には。。。 16
17. 工夫したところ 17 ◉ コスト最適化 ◉ Runnerの障害検出 ◉ Runner破棄の事前処理 ◉ Docker Storageの性能最適化
18. コスト最適化 18 ◉ 地味だけど大事なこと ◦ Spot Instanceの利用とリタイア対応 ◦ 営業日以外の縮退スケジュール (EventBridge)
19. Runnerの障害検出 19 ◉ Docker Storageが一杯になるとRunnerが無応答に... ◦ Root VolumeにDocker Storageを割り当てない ◉ Disk容量が一杯になりjobを捌けなくなる... ◦ RunnerにStorageのメトリクスを送らせる ◦ 容量が一定割合を超えたらRunner破棄 ◦ 一定期間メトリクスが来なかったらRunner破棄
20. Runner破棄の事前処理 20 ◉ Runnerはお行儀よく死ぬ必要がある ◦ 自分に対応するCloudWatchアラームの削除 ◦ 自分をGitLab上から登録解除 ◦ Slackに生きた証を残す
21. Docker Storageの性能最適化 21 ◉ インスタンスストアの活用 ◦ お高いインスタンスじゃないと容量が足りない... ◦ もう、普通にEBSでよくないかと思い始めた...
22. 弊社GitLabの今後の展望 22
23. SaaSに移行したい 23
24. 健全運用可能な状態を作る 24 ◉ 構成図の作成 ◉ 運用タスクの洗い出し ◦ version upなど ◉ 運用タスクのドキュメンテーション
25. データサーバの分離 25 ◉ Aurora for PostgreSQL使いたい...けど...
26. GKE化 26 ◉ gitlab-railsなどの可用性担保 ◉ Kubernetes Executer
27. まとめ 27
28. まとめ 28 ◉ 弊社のGitLab、CIで考えていることのご共有 ◦ 横串Projectの存在 ◦ VM Runnerカイゼン（VM辛い... ◦ 今後のGitLabの展望 ◉ もっとこうすれば...？ というご意見お待ちしてます！
29. ご質問はお気軽にどうぞ ！ ◉ twitter: bbrfkr ◉ mail: bbrfkr@gmail.com Thanks! 29