Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Business Intelligence Engineer in Mercari

Business Intelligence Engineer in Mercari

2018年12月から、BI組織の技術側面をリードする専属データエンジニアの募集用資料

https://mercari.connpass.com/event/130642/

Shu Suzuki

May 29, 2019
Tweet

More Decks by Shu Suzuki

Other Decks in Programming

Transcript

  1. 3 Confidential - Do Not Share - Mercari SRE -

    Stream/Batch Pipeline Developer - Scala, Python, Java, Go, etc - Apache Beam, Kafka, Hadoop… Shu Suzuki @shoe116
  2. 4 Confidential - Do Not Share 指定された区間(data sources - data

    sinks)で データパイプライン? 信頼性のあるデータ処理やデータ転送を 安定的に提供する仕組み 2. 3. 1. 今回は「本番環境のデータを、DWH等の分析環境に届ける」ことを 主眼にしたデータパイプラインについて話します。
  3. 7 Confidential - Do Not Share 既存のbatchデータパイプライン ProductionのMySQLを匿名化した、ReadReplicaを経由してBigQuery Production DB-1

    slaves DB-1 backup DB-1 master DB-2 slaves DB-2 backup DB-2 master DB-3 slaves DB-3 backup DB-3 master anon-db active anon-db standby anon-db batch multi-source replication
  4. 10 Confidential - Do Not Share 新しい Stream データパイプライン 各MSのRamp

    TopicからDataHubへ集約、スキーマ変換してBigQueryへ