Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Business Intelligence Engineer in Mercari
Search
Shu Suzuki
May 29, 2019
Programming
0
68
Business Intelligence Engineer in Mercari
2018年12月から、BI組織の技術側面をリードする専属データエンジニアの募集用資料
https://mercari.connpass.com/event/130642/
Shu Suzuki
May 29, 2019
Tweet
Share
More Decks by Shu Suzuki
See All by Shu Suzuki
Creating Stream DataPipeline on GCP Using Apache Beam
shoe116
3
2.5k
Creating a New Stream Data Pipeline on Google Cloud Platform 20190719
shoe116
1
3.6k
Other Decks in Programming
See All in Programming
GitHub Copilot Tips and Tricks
yuichielectric
26
7.5k
LLMチャットボットのアプリケーション設計Tips
os1ma
4
670
Deno に Web 標準 API を実装する / Implementing Web Standard API to Deno
petamoriken
0
350
受託開発でGitLab CI を活用していく
xiombatsg
1
130
WasmOS: Wasmを実行する自作Microkernel
riru
0
380
プロンプトエンジニアリング入門
tomokusaba
2
990
オブジェクトしこう
okuramasafumi
2
130
品質とスピードを両立: TypeScriptの柔軟な型システムをバックエンドで活用する
kosui
5
1.2k
TCA魔法学入門🪄
dazy
0
280
フロントエンドパフォーマンス 入門
shouta2
7
1.5k
Why 1 + 1 = 2 in Swift?
1plus4
1
250
Compiling Python to WebAssembly with py2wasm
syrusakbary
0
140
Featured
See All Featured
Embracing the Ebb and Flow
colly
78
4.1k
Designing the Hi-DPI Web
ddemaree
275
33k
The Art of Programming - Codeland 2020
erikaheidi
40
12k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
58
14k
Into the Great Unknown - MozCon
thekraken
10
830
RailsConf 2023
tenderlove
0
510
The Power of CSS Pseudo Elements
geoffreycrofte
58
4.9k
Statistics for Hackers
jakevdp
789
220k
Faster Mobile Websites
deanohume
296
30k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
153
14k
Building Effective Engineering Teams - LeadDev
addyosmani
25
1.8k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
657
120k
Transcript
1 Confidential - Do Not Share mercariのデータパイプライン開発 {“id”: “@shoe116”, “team”:
“SRE/Data Processing”}
2 Confidential - Do Not Share mercariのデータパイプラインの歴史 mercariのデータパイプライン開発 Streamなデータパイプライン Batchなデータパイプライン
今日のまとめ 02 03 04 01
3 Confidential - Do Not Share - Mercari SRE -
Stream/Batch Pipeline Developer - Scala, Python, Java, Go, etc - Apache Beam, Kafka, Hadoop… Shu Suzuki @shoe116
4 Confidential - Do Not Share 指定された区間(data sources - data
sinks)で データパイプライン? 信頼性のあるデータ処理やデータ転送を 安定的に提供する仕組み 2. 3. 1. 今回は「本番環境のデータを、DWH等の分析環境に届ける」ことを 主眼にしたデータパイプラインについて話します。
5 Confidential - Do Not Share mercariのデータパイプラインの歴史
6 Confidential - Do Not Share 既存のStreamデータパイプライン モノリスのWebアプリケーションのlogをfluentdで伝搬しbatch処理
7 Confidential - Do Not Share 既存のbatchデータパイプライン ProductionのMySQLを匿名化した、ReadReplicaを経由してBigQuery Production DB-1
slaves DB-1 backup DB-1 master DB-2 slaves DB-2 backup DB-2 master DB-3 slaves DB-3 backup DB-3 master anon-db active anon-db standby anon-db batch multi-source replication
8 Confidential - Do Not Share マイクロサービス化とデータパイプライン
9 Confidential - Do Not Share マイクロサービスのアーキテクチャ データパイプライン的に言うと、data-sourceが不特定多数になる ??
10 Confidential - Do Not Share 新しい Stream データパイプライン 各MSのRamp
TopicからDataHubへ集約、スキーマ変換してBigQueryへ
11 Confidential - Do Not Share 新しい batch データパイプライン 各MSのデータストアからAvro
Fileをdump、集約してBigQueryへ
12 Confidential - Do Not Share サービスのMS化に伴いパイプラインも進化が求められる 今日のまとめ 不特定多数のdata sourceを想定して設計、開発中
Google Cloud Pratformのマネージドサービスを活用 We are hiring! 02 03 04 01