Slide 1
Slide 1 text
gitlab ci pipeline
活⽤TIPSと要望
GitLab Women
(GitLab Meetup Tokyo #11)
NTTコミュニケーションズ株式会社
技術開発部 ⾼⽥ 美紀
Slide 2
Slide 2 text
⾃⼰紹介
• ⾼⽥ 美紀 (たかた みき) @mikit_t
• NTTコミュニケーションズ株式会社
– 技術開発部: 研究開発部⾨
– テーマ: データ分析基盤の構築と運⽤
• DSL: Data Science Lab
– dnsops.jp 幹事
• private
– うさぎ
– ⾼校3年JK: 吹奏楽
– 写真
2018/11/7 2
GitLab Women (GitLab Meetup Tokyo #11)
Slide 3
Slide 3 text
2018/11/7 GitLab Women (GitLab Meetup Tokyo #11) 3
Ｆx
Ｆx
蓄積 分析 可視化
収集
ホットデータ
データ収集・ETL
コールドデータ
分析処理(SQL)
Ｆ
DSL@オンプレ環境
DSL@クラウド環境
Metabase
&
異常検知処理
R Markdown
リアルタイム分析
バッチ分析
・Docker上に各ミドルウェアを配置して実施する⽅針としている。
DSLの分析基盤の概要
Slide 4
Slide 4 text
2018/11/7 GitLab Women (GitLab Meetup Tokyo #11) 4
DSL基盤 論理構成(⼀部抜粋)
kafka01 〜 07
core01 〜 03 note01 〜 03
Docker
Docker Swarm
2375
2377
Docker 2375
kubem tesla01 〜 04
Kubernetes 6443
Docker 2375
Slide 5
Slide 5 text
Gitlab利⽤状況
• Oldest created project: 2013/10
• ユーザ数: 231
2018/11/7 GitLab Women (GitLab Meetup Tokyo #11) 5
Slide 6
Slide 6 text
.GITLAB-CIをCRONTAB的に使う
本題
2018/11/7 GitLab Women (GitLab Meetup Tokyo #11) 6
Slide 7
Slide 7 text
スケジュール設定
5,15,25,35,45,55 * * * *
0 4 * * *
7 0,6,9,12,15,18,21 * * *
7 3 * * *
2018/11/7 GitLab Women (GitLab Meetup Tokyo #11) 7
スケジュール
Slide 8
Slide 8 text
各々のスケジュール設定
• 別々の時間帯に、それぞ
れ別々のスクリプトを実
⾏したい
• 起動時間などとともに、
環境変数を設定しておく
2018/11/7 GitLab Women (GitLab Meetup Tokyo #11) 8
Slide 9
Slide 9 text
別々のjobを⾛らせるために
• .gitlab-ci.ymlでのステージ設定
– 環境変数が設定されていなければ exit
2018/11/7 GitLab Women (GitLab Meetup Tokyo #11) 9
Slide 10
Slide 10 text
実⾏されないjobの結果
• 実⾏すべきタイミングでない(=環境変数が設
定されてない)場合、Job succeeded で終了
2018/11/7 GitLab Women (GitLab Meetup Tokyo #11) 10
Slide 11
Slide 11 text
pipeline表⽰が…
• Succededで終わる関係上、いつ、どのjobが
実⾏されたか、わからない!
2018/11/7 GitLab Women (GitLab Meetup Tokyo #11) 11
Slide 12
Slide 12 text
その他の困りごと
• アカウントロック→jobが全部inactiveにL
– アカウントに紐づいたjobを⼀覧したい
– もしかしてAPIで簡単にできたりする?
2018/11/7 GitLab Women (GitLab Meetup Tokyo #11) 12