Upgrade to Pro — share decks privately, control downloads, hide ads and more …

ミライのデータエンジニア

Yuki
November 18, 2019

 ミライのデータエンジニア

DMM meetup #14 ( https://dmm.connpass.com/event/152326/ ) での資料です。

Yuki

November 18, 2019
Tweet

More Decks by Yuki

Other Decks in Technology

Transcript

  1. © DMM.com 斎藤 友樹 (サイトウ ユウキ) 2019/08 中途入社 2児のパパ(予定) 登山好き

    子供と遊ぶのが好き 黄色いゾウさんの運用やってます 2 自己紹介 第1子 わたし 奥さん
  2. © DMM.com prd #E8EAF6 ミライに向けて 行動ログ収集基盤 On GCP eagle-api Kubernetes

    Engine Cloud Load Balancing Cloud DNS Cloud Bigtable data pipeline Cloud Pub/Sub Cloud Dataflow Cloud Storage on-premises hq Kubernetes cluster ML Cloud Pub/Sub Real-time ML Business Analysis Logging
  3. © DMM.com ミライに向けて  Google Cloud Platformへ 12 リソースモンスターな 処理(ETL,Compaction,etc) はオンプレで

    BigQuery (storage API) as SSOT GPU Kubernetes Engine Cloud Dataflow Cloud Dataproc BigQuery on-premises Cloud Dataprep Cloud Storage AI Platform Cloud Data Catalog DistCp orchestration CDP