Data Platform

465cba0ac1de7e490c6ea484da327572?s=47 Yuki
August 21, 2020

Data Platform

8/22日に開催したDMM meet upでの資料です。

465cba0ac1de7e490c6ea484da327572?s=128

Yuki

August 21, 2020
Tweet

Transcript

  1. © DMM.com Data Platform データ本部 データインフラ部 DREグループ 斎藤 友樹 1

  2. © DMM.com 斎藤 友樹 (サイトウ ユウキ) 2児のパパ 一年くらい前にふらりと入社 子供と遊ぶのが好き リモートになって生産性爆上がり

    twitter @yuki_saito_en(前職では禁止されてた) 2 自己紹介 第2子 わたし 奥さん 第1子
  3. © DMM.com ちょっと前の話 BQ.BQ.BQ. BQ

  4. © DMM.com ここまでの長い旅路は省略 データ基盤はAWSに決めました 「Amazon Web Services、“Powered by AWS”ロゴ、[およびかかる資料で使用されるその他のAWS商標] は、米国その他の諸国における、

    Amazon.com, Inc.またはその関連会社の商標です。」
  5. © DMM.com AWSで作り込んでいる途中(行動ログAPIはGCP) 「Amazon Web Services、“Powered by AWS”ロゴ、[およびかかる資料で使用されるその他のAWS商標] は、米国その他の諸国における、 Amazon.com,

    Inc.またはその関連会社の商標です。」
  6. © DMM.com データの活用を強制すべく DRE (6名,途中から7名) の戦いをいくつか紹介

  7. © DMM.com 取組み No.1 行動ログAPI クラウド化 DONE

  8. © DMM.com prd #E8EAF6 行動ログ VS DRE 2020 1Q eagle-api

    Kubernetes Engine Cloud Load Balancing Cloud DNS Cloud Bigtable data pipeline Cloud Pub/Sub Cloud Dataflow Cloud Storage on-premises hq Kubernetes cluster ML Real-time ML Business Analysis Logging Cloud Dataflow
  9. © DMM.com 行動ログ VS DRE 比較表 ただリリースに際して色々やらかしたのはナイショ デプロイ回数 rps コミュニケーション

    コスト with 他部 旧シス テム 0 謎 jenkins でざわざわ 10,000くらい(風の噂) 10h/week 新シス テム たくさん github actions でちょちょいと 20,000まで確認済み 0~2h/month
  10. © DMM.com 取組み No.2 オンプレお掃除大作戦 ~ almost DONE ~

  11. © DMM.com オンプレサーバ VS DRE 2019 3Q 172 などなど。。。。 これらの組み合わせにより構成された10を超え

    る人智を超越したプロダクト軍 (本番のみ)  * 2  * 2  * 2 
  12. © DMM.com オンプレサーバ VS DRE 2019 4Q end 65 なんとか普通くらいに

    持ってきたぞ。 (本番のみ)  * 2 
  13. © DMM.com オンプレサーバ VS DRE 2020 2Q~3Q 10 (くらい。たぶん) 他事業部のオンプレ資産活用

    ための最低限の構成に (本番のみ) 
  14. © DMM.com 取組み No.3 データより大きいデータ。メタデータ拡充 ~ just getting started~

  15. © DMM.com メタデータ VS DRE 2019 4Q end No メタデータ

    提供ありなし 1 ビジネスメタデータ あり(保守性に難) 2 テクニカルメタデータ なし 3 データ品質 なし 4 データプロファイリング なし
  16. © DMM.com メタデータ VS DRE 2020 2Q No メタデータ 提供あり/なし

    1 ビジネスメタデータ あり(保守性に難) 2 テクニカルメタデータ なし 3 データ品質 あり(ほんの一部) 4 データプロファイリング なし
  17. © DMM.com ありがとうございました!