Upgrade to Pro — share decks privately, control downloads, hide ads and more …

CircleCI Server運用のポイント / Point of CirlceCI Serv...

Avatar for dehio3 dehio3
October 01, 2019
Technology
1
620

CircleCI Server運用のポイント / Point of CirlceCI Server operation

【東京】CircleCI ユーザーコミュニティミートアップ#7
https://circleci.connpass.com/event/147712/
Avatar for dehio3

dehio3

October 01, 2019
Tweet

More Decks by dehio3

See All by dehio3
とっ散らかったログバケットを S3バッチオペレーションで整理整頓 / Organizing disordered log buckets using S3 Batch Operations
Avatar for dehio3 tomohide_tanaka
0
220
40代エンジニアの生活の変化とキャリアの歩み
Avatar for dehio3 tomohide_tanaka
0
1.3k
AWSソリューションを活用して 1ヶ月で動画配信機能をリリースした話 / The story of releasing the Video distribution service in one month using AWS solutions
Avatar for dehio3 tomohide_tanaka
1
1.4k
GitHub Actionsで Terraformをplan&applyしてみた / I tried to plan and apply Terraform with GitHub Actions
Avatar for dehio3 tomohide_tanaka
6
6k
CircleCI_Serverの利用状況を可視化した話 / CircleCI Server Visualization of usage status
Avatar for dehio3 tomohide_tanaka
0
860

Other Decks in Technology

See All in Technology
RubyOnRailsOnDevin+α / DevinMeetupJapan#2
Avatar for ginkouno ginkouno
0
320
脅威をモデリングしてMCPのセキュリティ対策を考えよう
Avatar for GMO Flatt Security flatt_security
4
1.6k
ゆるSRE #11 LT
Avatar for Kaoru okaru
1
590
研究開発部メンバーの働き⽅ / Sansan R&D Profile
Avatar for Sansan, Inc. sansan33
PRO
3
17k
TODAY 看世界(?) 是我們在看扣啦！
Avatar for LINE Developers Taiwan line_developers_tw
PRO
0
150
成立するElixirの再束縛（再代入）可という選択
Avatar for kubell kubell_hr
0
240
Claude Code どこまでも/ Claude Code Everywhere
Avatar for nwiizo nwiizo
42
25k
CIでのgolangci-lintの実行を約90%削減した話
Avatar for KazukiHayase kazukihayase
0
160
Long journey of Continuous Delivery at Mercari
Avatar for Hisaharu Ishii hisaharu
1
210
Tenstorrent HW/SW 概要説明
Avatar for Tenstorrent Japan tenstorrent_japan
0
390
New Cache Hierarchy for Container Images and OCI Artifacts in Kubernetes Clusters using Containerd / KubeCon + CloudNativeCon Japan
Avatar for Preferred Networks pfn
PRO
0
150
Digitization部 紹介資料
Avatar for Sansan, Inc. sansan33
PRO
1
4.2k

Featured

See All Featured
A designer walks into a library…
Avatar for Paul Jervis Heath pauljervisheath
206
24k
Building Applications with DynamoDB
Avatar for Matt Wood mza
95
6.4k
Designing Dashboards & Data Visualisations in Web Apps
Avatar for Des Traynor destraynor
231
53k
The World Runs on Bad Software
Avatar for Brandon Keepers bkeepers
PRO
68
11k
Typedesign – Prime Four
Avatar for Hannes Fritz hannesfritz
42
2.7k
Improving Core Web Vitals using Speculation Rules API
Avatar for Sergey Chernyshev sergeychernyshev
16
910
Principles of Awesome APIs and How to Build Them.
Avatar for Keavy McMinn keavy
126
17k
Bash Introduction
Avatar for André Augusto Costa Santos 62gerente
614
210k
How to Ace a Technical Interview
Avatar for Jacob Kaplan-Moss jacobian
276
23k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
Avatar for Chris Coyier chriscoyier
507
140k
CSS Pre-Processors: Stylus, Less & Sass
Avatar for Bermon Painter bermonpainter
357
30k
The Invisible Side of Design
Avatar for Vitaly Friedman smashingmag
299
51k

Transcript

  1. CircleCI Server 運用のポイント CircleCI ユーザーコミュニティミートアップ #7

  2. 自己紹介 Tanaka Tomohide • twitter: @dehio3 • blog:https://www.dehio3.com/ • 音響屋→インフラエンジニア

    • CircleCI運用歴：10ヶ月 2

  3. はじめに

  4. CircleCI Serverとは • オンプレミス版のCircleCI • CirlceCIから公開されているTerraformを利用して、AWS上に 構築可能 ◦ https://github.com/circleci/enterprise-setup

  5. CircleCI Server 使ってる？✋

  6. CircleCI Server 検討してる？✋

  7. 今日話す内容 • オンプレ版の運用中に発生した課題から気づいた運用のポイ ント • CircleCI Server 2.17.3時点での情報（9/30時点の最新） ◦ https://circleci.com/server/changelog/

  8. CircleCI Server の 構成要素

  9. None

  10. ビルドの詳しい仕組みは https://speakerdeck.com/kimh/circleci-2-dot-0wozhi-eru2tufalse-kontenakurasutatosre

  11. 永続リソースと 一時リソースそれぞれのポイント

  12. 永続リソース

  13. None

  14. スケーリングのタイミング • nomad-clientはAutoScalingから起動する。 • AutoScalingでEC2インスタンス起動アクション後、nomad-clientでbuild処理可能 な状態になるまで3,4分かかる。 • AutoScalingのアクションは自動では実行されない為、スケールリングアクションの 契機は自分で実装する必要がある。 •

    キューの滞留を検知してからスケールリングすると、スケールリングしたタイミング では既にキューが捌け終わって、無駄なスケールになる事もある。 • スケジュールでの時間契機か、リソース状況契機か、利用状況に応じてスーリング の検討が必要。

  15. 一時リソース

  16. None

  17. machine executorは冗長化未対応 • machine executorを動作させるサブネットは現状一つしか指定でない。 • 設定はWebコンソールから実施する為、AZを変更する場合は再起動が必要。 • 8/23のAZ障害はまさに直撃した・・ていうかこの時気づいた( ；∀；)

    • 即サポートに連絡して改善要望！！

  18. machine executorインスタンスのゾンビ化 • “machine”と”setup_remote_docker”を利用すると、一時的なEC2インスタンスが 新規に作成される。 • 本来であれば処理が終わるとインスタンスが削除されるが、バグ(2.14.01以前)や 起動中のserviceboxの再起動によって、インスタンスが削除されずに残る事があ る。 •

    ゾンビインスタンは無駄なコストになるので、定期的なゾンビインスタンスのチェック が必要。

  19. DLCのキャッシュ保持期間 • “docker_layer_caching”を設定すると専用のEBSボリュームが作成され、都度マ ウントされる事で、キャッシュが実現される。 • “Inactivity period before clearing Docker

    cache storage volumes (days)”にて chacheの保持期間を設定でき、デフォルトの14日に設定される。 • 保持期間はEBSボリュームの作成日ではなく、最終利用日から14日保持される。 • EBSボリュームについては、未利用時であっても課金される為、利便性とコストの バランスで保持期間を設定する。

  20. まとめ

  21. まとめ • 当然だがオンプレ版の場合はCircleCIのインフラも運用する 必要がある。 • インフラの維持コストを抑える為に、状況の可視化と継続的な 運用の改善が必要。 • まだまだ改善の余地はあるので、今後のCirlceCI Serverの開

    発に期待！！

  22. おまけ

  23. 前回のミートアップ https://speakerdeck.com/tomohide_tanaka/circleci-server-visualization-of-usage-status

  24. SaaS版のビルド情報を取得ツールを作成 https://www.dehio3.com/entry/2019/09/23/115924

  25. Thank you!! 25