Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ミライのデータエンジニア
Search
Yuki
November 18, 2019
Technology
1
890
ミライのデータエンジニア
DMM meetup #14 (
https://dmm.connpass.com/event/152326/
) での資料です。
Yuki
November 18, 2019
Tweet
Share
More Decks by Yuki
See All by Yuki
品質特性から眺める データ分析基盤入門
yuki_saito
4
370
データエンジニアと作るデータ文化
yuki_saito
5
2.7k
Pythonとsparkで学ぶpyspark 速習講座
yuki_saito
2
200
AWS データレイク事例祭り 登壇資料
yuki_saito
7
3.4k
Data Platform
yuki_saito
1
350
Other Decks in Technology
See All in Technology
Report of JAWS PANKRATION 2024, a global online event using Amazon IVS
yoshimi0227
1
130
Create Inquiry via Bedrock / 生成 AI で問い合わせ品質は変わるのか?思いついてぱっと作ったものを供養してみる
kazzpapa3
1
190
Amazon BedrockとPR-Agentでコードレビュー自動化に挑戦・実際に運用してみた
diggymo
0
550
AI時代のアジャイル開発(XP祭り2024版) / Agile Development in the AI Era in XPJUG
takaking22
13
3.4k
RAGの性能を評価しよう
kurahara
1
270
いまからでも遅くない! コンテナでWebアプリケーションを 動かしてみよう(2-1)WebAPI座学
nomu
0
140
Consoles, printk, Nested-NMIs_ Oh my!
ennael
PRO
0
160
低コストで実現する社内文書RAG機能を搭載したAIチャットボット開発
takapy
3
560
ORM と向き合う
hoto17296
7
5.9k
kube-vipとkube-proxy置き換えCiliumを積んだ究極のK3sクラスタを建てる
logica0419
3
190
【インフラエンジニアbooks】30分でわかる「AWS継続的セキュリティ実践ガイド」
hssh2_bin
1
650
Assisted reorganization of data structures
ennael
PRO
0
210
Featured
See All Featured
Rails Girls Zürich Keynote
gr2m
93
13k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
131
32k
Why Our Code Smells
bkeepers
PRO
334
57k
Designing Experiences People Love
moore
138
23k
Designing for humans not robots
tammielis
249
25k
No one is an island. Learnings from fostering a developers community.
thoeni
19
2.9k
Practical Orchestrator
shlominoach
185
10k
The Language of Interfaces
destraynor
154
24k
GitHub's CSS Performance
jonrohan
1030
450k
BBQ
matthewcrist
84
9.2k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
1
230
Visualization
eitanlees
143
15k
Transcript
© DMM.com ミライのデータエンジニア プラットフォーム事業本部ビッグデータ部 DREチーム 斎藤 友樹 1
© DMM.com 斎藤 友樹 (サイトウ ユウキ) 2019/08 中途入社 2児のパパ(予定) 登山好き
子供と遊ぶのが好き 黄色いゾウさんの運用やってます 2 自己紹介 第1子 わたし 奥さん
© DMM.com DMMのデータエンジニア 3
© DMM.com こんなシステムを守っている人たち 4 サイト内の行動ログ ページ遷移、カート追加、購入完了など) 商品情報など各システムの テーブル 各事業部 DMM各システム
データ提供 On-Prem データエンジニア 分析基盤 開発/運用 分析 分析基盤
© DMM.com データドリブンの浸透 データ 加工して データ ちょうだい 新しこと やりたい VS
あわわ。。
© DMM.com イマの基盤の課題 利用者増加 (社員1500人中、アカウント保有者600人 etc) 要求の高度化 ・多様化(既存基盤の運用とのアンバランス) Data Redundancy(On-Prem
& クラウド2箇所に点在) A interfaceはオンプレ B interfaceはAthena 6
© DMM.com ミライのデータエンジニア 7 7
© DMM.com ミライへの分析基盤コンセプト Self-Service SSOT &
© DMM.com ミライの分析基盤 利用者増加 (社員1500人中、アカウント保有者600人) いつ何時誰の挑戦でも受ける 要求の高度化・多様化 (既存基盤の運用とのバランス) Self-Service Data
Redundancy(On-Prem & クラウド2箇所に存在) 利用されるデータが単一であるSSOTを目指す 9
© DMM.com ミライへの技術
© DMM.com prd #E8EAF6 ミライに向けて 行動ログ収集基盤 On GCP eagle-api Kubernetes
Engine Cloud Load Balancing Cloud DNS Cloud Bigtable data pipeline Cloud Pub/Sub Cloud Dataflow Cloud Storage on-premises hq Kubernetes cluster ML Cloud Pub/Sub Real-time ML Business Analysis Logging
© DMM.com ミライに向けて Google Cloud Platformへ 12 リソースモンスターな 処理(ETL,Compaction,etc) はオンプレで
BigQuery (storage API) as SSOT GPU Kubernetes Engine Cloud Dataflow Cloud Dataproc BigQuery on-premises Cloud Dataprep Cloud Storage AI Platform Cloud Data Catalog DistCp orchestration CDP
© DMM.com もっとミライの データエンジニア 13
© DMM.com 始まりの一枚(ということにしている)
© DMM.com ミライの データエンジニア募集中 15
© DMM.com Hadoop マイグレーション
© DMM.com クラウドマイグレーション
© DMM.com 詳しいお話聞きたい人でも何でも おしゃべりしたいです! クラウド移行への決心を機に、 リクルート内容の刷新も https://dmm-corp.com/recruit/359 Hadoopのクラウドマイグレーション などビッグイベント目白押しです! 18
一緒に ミライの基盤を 作り上げる人を募集中!
© DMM.com 19