Upgrade to Pro — share decks privately, control downloads, hide ads and more …

20181107-gitlab-women-mikit.pdf

mikiT
December 07, 2018
330

 20181107-gitlab-women-mikit.pdf

mikiT

December 07, 2018
Tweet

Transcript

  1. gitlab ci pipeline 活⽤TIPSと要望 GitLab Women (GitLab Meetup Tokyo #11)

    NTTコミュニケーションズ株式会社 技術開発部 ⾼⽥ 美紀
  2. ⾃⼰紹介 • ⾼⽥ 美紀 (たかた みき) @mikit_t • NTTコミュニケーションズ株式会社 –

    技術開発部: 研究開発部⾨ – テーマ: データ分析基盤の構築と運⽤ • DSL: Data Science Lab – dnsops.jp 幹事 • private – うさぎ – ⾼校3年JK: 吹奏楽 – 写真 2018/11/7 2 GitLab Women (GitLab Meetup Tokyo #11)
  3. 2018/11/7 GitLab Women (GitLab Meetup Tokyo #11) 3 Fx Fx

    蓄積 分析 可視化 収集 ホットデータ データ収集・ETL コールドデータ 分析処理(SQL) F DSL@オンプレ環境 DSL@クラウド環境 Metabase & 異常検知処理 R Markdown リアルタイム分析 バッチ分析 ・Docker上に各ミドルウェアを配置して実施する⽅針としている。 DSLの分析基盤の概要
  4. 2018/11/7 GitLab Women (GitLab Meetup Tokyo #11) 4 DSL基盤 論理構成(⼀部抜粋)

    kafka01 〜 07 core01 〜 03 note01 〜 03 Docker Docker Swarm 2375 2377 Docker 2375 kubem tesla01 〜 04 Kubernetes 6443 Docker 2375
  5. スケジュール設定 5,15,25,35,45,55 * * * * 0 4 * *

    * 7 0,6,9,12,15,18,21 * * * 7 3 * * * 2018/11/7 GitLab Women (GitLab Meetup Tokyo #11) 7 スケジュール