Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Business Intelligence Engineer in Mercari
Search
Shu Suzuki
May 29, 2019
Programming
0
110
Business Intelligence Engineer in Mercari
2018年12月から、BI組織の技術側面をリードする専属データエンジニアの募集用資料
https://mercari.connpass.com/event/130642/
Shu Suzuki
May 29, 2019
Tweet
Share
More Decks by Shu Suzuki
See All by Shu Suzuki
財務データを題材に、 ETLとは何であるかを考える
shoe116
8
2.4k
Ruby on Railsで作る銘柄スクリーニング
shoe116
0
400
Creating Stream DataPipeline on GCP Using Apache Beam
shoe116
3
2.7k
Creating a New Stream Data Pipeline on Google Cloud Platform 20190719
shoe116
1
3.8k
Other Decks in Programming
See All in Programming
Rails 1.0 のコードで学ぶ find_by* と method_missing の仕組み / Learn how find_by_* and method_missing work in Rails 1.0 code
maimux2x
1
250
バッチを作らなきゃとなったときに考えること
irof
2
540
クリーンアーキテクチャから見る依存の向きの大切さ
shimabox
5
1.1k
AIプログラミング雑キャッチアップ
yuheinakasaka
19
4.8k
読まないコードリーディング術
hisaju
0
110
SwiftUI Viewの責務分離
elmetal
PRO
2
280
Honoとフロントエンドの 型安全性について
yodaka
7
1.5k
自力でTTSモデルを作った話
zgock999
0
110
CDK開発におけるコーディング規約の運用
yamanashi_ren01
2
260
SwiftUI移行のためのインプレッショントラッキング基盤の構築
kokihirokawa
0
160
仕様変更に耐えるための"今の"DRY原則を考える
mkmk884
9
3.2k
15分で学ぶDuckDBの可愛い使い方 DuckDBの最近の更新
notrogue
3
730
Featured
See All Featured
Bash Introduction
62gerente
611
210k
Become a Pro
speakerdeck
PRO
26
5.2k
Agile that works and the tools we love
rasmusluckow
328
21k
Thoughts on Productivity
jonyablonski
69
4.5k
No one is an island. Learnings from fostering a developers community.
thoeni
21
3.2k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
160
15k
Fontdeck: Realign not Redesign
paulrobertlloyd
83
5.4k
The Cult of Friendly URLs
andyhume
78
6.2k
BBQ
matthewcrist
87
9.5k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
27
1.6k
Music & Morning Musume
bryan
46
6.4k
Being A Developer After 40
akosma
89
590k
Transcript
1 Confidential - Do Not Share mercariのデータパイプライン開発 {“id”: “@shoe116”, “team”:
“SRE/Data Processing”}
2 Confidential - Do Not Share mercariのデータパイプラインの歴史 mercariのデータパイプライン開発 Streamなデータパイプライン Batchなデータパイプライン
今日のまとめ 02 03 04 01
3 Confidential - Do Not Share - Mercari SRE -
Stream/Batch Pipeline Developer - Scala, Python, Java, Go, etc - Apache Beam, Kafka, Hadoop… Shu Suzuki @shoe116
4 Confidential - Do Not Share 指定された区間(data sources - data
sinks)で データパイプライン? 信頼性のあるデータ処理やデータ転送を 安定的に提供する仕組み 2. 3. 1. 今回は「本番環境のデータを、DWH等の分析環境に届ける」ことを 主眼にしたデータパイプラインについて話します。
5 Confidential - Do Not Share mercariのデータパイプラインの歴史
6 Confidential - Do Not Share 既存のStreamデータパイプライン モノリスのWebアプリケーションのlogをfluentdで伝搬しbatch処理
7 Confidential - Do Not Share 既存のbatchデータパイプライン ProductionのMySQLを匿名化した、ReadReplicaを経由してBigQuery Production DB-1
slaves DB-1 backup DB-1 master DB-2 slaves DB-2 backup DB-2 master DB-3 slaves DB-3 backup DB-3 master anon-db active anon-db standby anon-db batch multi-source replication
8 Confidential - Do Not Share マイクロサービス化とデータパイプライン
9 Confidential - Do Not Share マイクロサービスのアーキテクチャ データパイプライン的に言うと、data-sourceが不特定多数になる ??
10 Confidential - Do Not Share 新しい Stream データパイプライン 各MSのRamp
TopicからDataHubへ集約、スキーマ変換してBigQueryへ
11 Confidential - Do Not Share 新しい batch データパイプライン 各MSのデータストアからAvro
Fileをdump、集約してBigQueryへ
12 Confidential - Do Not Share サービスのMS化に伴いパイプラインも進化が求められる 今日のまとめ 不特定多数のdata sourceを想定して設計、開発中
Google Cloud Pratformのマネージドサービスを活用 We are hiring! 02 03 04 01