Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Data Platform

Yuki
August 21, 2020

Data Platform

8/22日に開催したDMM meet upでの資料です。

Yuki

August 21, 2020
Tweet

More Decks by Yuki

Other Decks in Technology

Transcript

  1. © DMM.com prd #E8EAF6 行動ログ VS DRE 2020 1Q eagle-api

    Kubernetes Engine Cloud Load Balancing Cloud DNS Cloud Bigtable data pipeline Cloud Pub/Sub Cloud Dataflow Cloud Storage on-premises hq Kubernetes cluster ML Real-time ML Business Analysis Logging Cloud Dataflow
  2. © DMM.com 行動ログ VS DRE 比較表 ただリリースに際して色々やらかしたのはナイショ デプロイ回数 rps コミュニケーション

    コスト with 他部 旧シス テム 0 謎 jenkins でざわざわ 10,000くらい(風の噂) 10h/week 新シス テム たくさん github actions でちょちょいと 20,000まで確認済み 0~2h/month
  3. © DMM.com メタデータ VS DRE 2019 4Q end No メタデータ

    提供ありなし 1 ビジネスメタデータ あり(保守性に難) 2 テクニカルメタデータ なし 3 データ品質 なし 4 データプロファイリング なし
  4. © DMM.com メタデータ VS DRE 2020 2Q No メタデータ 提供あり/なし

    1 ビジネスメタデータ あり(保守性に難) 2 テクニカルメタデータ なし 3 データ品質 あり(ほんの一部) 4 データプロファイリング なし