Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
GitLabサーバーのモニタリング / gitlab server monitoring
Search
Teraoka Yoshinori
April 24, 2019
Technology
1
2.8k
GitLabサーバーのモニタリング / gitlab server monitoring
GitLab server monitoring with Prometheus.
And some server configurations.
Teraoka Yoshinori
April 24, 2019
Tweet
Share
More Decks by Teraoka Yoshinori
See All by Teraoka Yoshinori
Job に挿入される sidecar を停止させる sidecar を挿入する話
yteraoka
0
140
What is the difference between docker and containerd about logging?
yteraoka
2
980
Prometheus の relabeling
yteraoka
1
18k
Other Decks in Technology
See All in Technology
💡Ruby 川辺で灯すPicoRubyからの光
bash0c7
0
120
Function Body Macros で、SwiftUI の View に Accessibility Identifier を自動付与する/Function Body Macros: Autogenerate accessibility identifiers for SwiftUI Views
miichan
2
180
RSCの時代にReactとフレームワークの境界を探る
uhyo
10
3.4k
Android Audio: Beyond Winning On It
atsushieno
0
850
はじめてのOSS開発からみえたGo言語の強み
shibukazu
1
170
CDK CLIで使ってたあの機能、CDK Toolkit Libraryではどうやるの?
smt7174
4
180
品質視点から考える組織デザイン/Organizational Design from Quality
mii3king
0
200
JTCにおける内製×スクラム開発への挑戦〜内製化率95%達成の舞台裏/JTC's challenge of in-house development with Scrum
aeonpeople
0
230
【NoMapsTECH 2025】AI Edge Computing Workshop
akit37
0
190
AIエージェント開発用SDKとローカルLLMをLINE Botと組み合わせてみた / LINEを使ったLT大会 #14
you
PRO
0
120
5分でカオスエンジニアリングを分かった気になろう
pandayumi
0
250
新規プロダクトでプロトタイプから正式リリースまでNext.jsで開発したリアル
kawanoriku0
1
120
Featured
See All Featured
Agile that works and the tools we love
rasmusluckow
330
21k
GraphQLとの向き合い方2022年版
quramy
49
14k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
51
5.6k
The Pragmatic Product Professional
lauravandoore
36
6.9k
Fashionably flexible responsive web design (full day workshop)
malarkey
407
66k
Measuring & Analyzing Core Web Vitals
bluesmoon
9
580
Building Flexible Design Systems
yeseniaperezcruz
328
39k
YesSQL, Process and Tooling at Scale
rocio
173
14k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
48
9.7k
Connecting the Dots Between Site Speed, User Experience & Your Business [WebExpo 2025]
tammyeverts
8
520
Statistics for Hackers
jakevdp
799
220k
Bootstrapping a Software Product
garrettdimon
PRO
307
110k
Transcript
GitLabサーバーの モニタリング Yoshinori Teraoka 2019.4.24 GitLab Meetup Tokyo #16 @PLAID
自己紹介 エムスリー株式会社 エンジニアリンググループ SREチーム yteraoka yteraoka
自己紹介 ◀ これ書きました autoscale runner のことはこ れ読めばだいたいわかる https://www.m3tech.blog/entry/advent-calendar-2018-2
エムスリーと GitLab ユーザーの作成日時を見ると 2012年7月~(っぽい) 当然タヌキは昔のやつ 当時はまだ Omnibus package はまだ存在しなかったし、DB は
MySQL だった どこかのタイミングで OS 更新に合わせて Omnibus package に変更 現在のプロジェクト数1200超 GitLab CI, GitLab Pages, Review Apps 使ってます
今日はモニタリングの話
Agenda • Prometheus の活用 • 私の欲しかったもの • gitlab.rb 見てますか?
Prometheus Monitoring GitLab with Prometheus https://docs.gitlab.com/ce/administration/monitoring/prometheus/ GitLab 9.0 以降では有効になっているはず 初期は有効にしていると問題があったので弊社ではながらく無効にしていました
Prometheus Expoters • GitLab monitor exporter ◦ database (:9168/database) ◦
process (:9168/process) ◦ sidekiq (:9168/sidekiq) • Node exporter (:9100/metrics) • Redis exporter (:9121/metrics) • Postgres exporter (:9187/metrics) • Nginx exporter (:8060/metrics) • Gitaly exporter (:9236/metrics) • GitLab Sidekiq exporter (:8082/metrics) • GitLab Workhorse exporter (:9229/metrics) • GitLab Unicorn (:8080/-/metrics)
Grafana Dashboard Grafana Dashboard Repository がある https://gitlab.com/gitlab-org/grafana-dashboards Omnibus package 用
https://gitlab.com/gitlab-org/grafana-dashboards/tree/master/omnibus (でも別にこれ使う必要はないし、必要なものを自分で作ったほうが良い)
Overview Dashboard
コレジャナイ感... Overview だけじゃなくて他にもいくつかあるし、必要なら自分で Dashboard も作れ ば良いのだが、何かあったら見ればよいメトリクスで、 GitLab で普段見る必要がある ようなものではない 私が欲しかったものは
GitLab CI の待ち時間が知りたかった Runner 不足があるなら早く気づいて対処したい (実はまだ autoscale Runner 導入してない) しかし、Job
の状況を確認できるメトリクスが見つからない 無かったら作るしかない
GitLab CI の待ち時間が知りたかった node_exporter には Textfile Collector という機能があり、デフォルトで --collector.textfile.directory=/var/opt/gitlab/node-exporter/textfile_collector というオプションが指定してある
このディレクトリに .prom という拡張子でテキストファイルを置けばメトリクスとして取得 可能になる DB から定期的に取りだしてファイルに書き出すようにしました
GitLab CI の待ち時間が知りたかった こんなのが見れるようになった 赤い横線は Grafana のアラートの閾値
GitLab には Prometheus の alertmanager も含まれているが Grafana でやるとグラフ付きで Slack に送れます
入門 Prometheus 良さそうな本が出るみたいです 2019/05/18 発売 自分の見たい情報は自分で Dashboard 作るのが良い。 Grafana のサイトに共有されているものが参考になる。
モニタリングだけじゃ時間が余りそうなので...
gitlab.rb 見てますか? Omnibus package では /etc/gitlab/gitlab.rb にあり chef を使ったセットアップのための 変数定義がされています。
yum update ではこれは更新されずに新機能はデフォルト値でセットアップされます。 カスタマイズしたい場合は /opt/gitlab/etc/gitlab.rb.template をもとに更新しましょう。 Release note に書かれていない新機能が見つかるはずです。
S3 利用の拡大 利用者が増えるとストレージの容量を気にする必要がでてきますが S3 もしくはその互換ストレージにファイルを保存できるものが増えてます • Backup • LFS •
MergeRequest の diff • Artifacts (CI の生成物保存) • Uploads (Avatar 画像や添付ファイル) • Container registry
Rack Attack かつてデフォルトで有効になっていましたが、オンプレ GitLab の導入理由を考えたらデ フォルトでは無効の方が良かったということでしょう。 インターネットに公開する場合は有効にしましょう。
Unicorn worker killer GitLab には unicorn worker killer が組み込まれています。かつて、この値が弊社環境 には小さすぎたため頻繁に
woker が kill されて遅いという問題がありました。気になる 場合はログを確認して unicorn['worker_memory_limit_min'] unicorn['worker_memory_limit_max'] を調整しましょう。
まとめ • GI の待ち時間を減らしたい ◦ 可視化したので効果も見える ◦ autoscale させるぞ •
gitlab.rb の差分をちょいちょい見ておくと良いですよ • GitLab CI (gitlab-ci.yml) のドキュメントもときどき見直すと発見がある