Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ミライのデータエンジニア
Search
Yuki
November 18, 2019
Technology
1
870
ミライのデータエンジニア
DMM meetup #14 (
https://dmm.connpass.com/event/152326/
) での資料です。
Yuki
November 18, 2019
Tweet
Share
More Decks by Yuki
See All by Yuki
品質特性から眺める データ分析基盤入門
yuki_saito
4
320
データエンジニアと作るデータ文化
yuki_saito
5
2.6k
Pythonとsparkで学ぶpyspark 速習講座
yuki_saito
2
170
AWS データレイク事例祭り 登壇資料
yuki_saito
7
3.2k
Data Platform
yuki_saito
1
330
Other Decks in Technology
See All in Technology
個人のAWSアカウントをマルチ運用してみた
miura55
2
250
kcp: Kubernetes APIs Are All You Need #techfeed_live / TechFeed Experts Night 28th
ytaka23
1
160
TiDBにおけるテーブル設計と最適化の事例
cygames
0
240
成長をサポートするピープルマネジメントのやり方
sioncojp
9
1.4k
Azureの基本的な権限管理の勉強会
yhana
1
2.2k
LLM開発・活用の舞台裏@2024.04.25
yushin_n
3
1.4k
Zero Data Loss Autonomous Recovery Service サービス概要
oracle4engineer
PRO
0
1.9k
Dungeons and Dragons and Rails
joelq
0
130
IaCからAWSに入門した初心者が CloudFormationを通して考えた「AWS操作」の使い分け
maimyyym
3
620
Rustで「プリズモイダル法」を利用して「土量計算」をガチでやる
nokonoko1203
1
360
「知的単純作業」を自動化する、地に足の着いた大規模言語モデル (LLM) の活用
nrryuya
8
6.5k
今さら聞けないDocker入門 〜 Dockerfileのベストプラクティス編
devops_vtj
21
6.4k
Featured
See All Featured
Building Your Own Lightsaber
phodgson
100
5.7k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
0
48
Imperfection Machines: The Place of Print at Facebook
scottboms
261
12k
A better future with KSS
kneath
231
16k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
66
14k
Designing for humans not robots
tammielis
247
25k
Designing with Data
zakiwarfel
96
4.8k
Side Projects
sachag
451
41k
Why You Should Never Use an ORM
jnunemaker
PRO
51
8.7k
Put a Button on it: Removing Barriers to Going Fast.
kastner
58
3.1k
Teambox: Starting and Learning
jrom
128
8.4k
Building a Scalable Design System with Sketch
lauravandoore
457
32k
Transcript
© DMM.com ミライのデータエンジニア プラットフォーム事業本部ビッグデータ部 DREチーム 斎藤 友樹 1
© DMM.com 斎藤 友樹 (サイトウ ユウキ) 2019/08 中途入社 2児のパパ(予定) 登山好き
子供と遊ぶのが好き 黄色いゾウさんの運用やってます 2 自己紹介 第1子 わたし 奥さん
© DMM.com DMMのデータエンジニア 3
© DMM.com こんなシステムを守っている人たち 4 サイト内の行動ログ ページ遷移、カート追加、購入完了など) 商品情報など各システムの テーブル 各事業部 DMM各システム
データ提供 On-Prem データエンジニア 分析基盤 開発/運用 分析 分析基盤
© DMM.com データドリブンの浸透 データ 加工して データ ちょうだい 新しこと やりたい VS
あわわ。。
© DMM.com イマの基盤の課題 利用者増加 (社員1500人中、アカウント保有者600人 etc) 要求の高度化 ・多様化(既存基盤の運用とのアンバランス) Data Redundancy(On-Prem
& クラウド2箇所に点在) A interfaceはオンプレ B interfaceはAthena 6
© DMM.com ミライのデータエンジニア 7 7
© DMM.com ミライへの分析基盤コンセプト Self-Service SSOT &
© DMM.com ミライの分析基盤 利用者増加 (社員1500人中、アカウント保有者600人) いつ何時誰の挑戦でも受ける 要求の高度化・多様化 (既存基盤の運用とのバランス) Self-Service Data
Redundancy(On-Prem & クラウド2箇所に存在) 利用されるデータが単一であるSSOTを目指す 9
© DMM.com ミライへの技術
© DMM.com prd #E8EAF6 ミライに向けて 行動ログ収集基盤 On GCP eagle-api Kubernetes
Engine Cloud Load Balancing Cloud DNS Cloud Bigtable data pipeline Cloud Pub/Sub Cloud Dataflow Cloud Storage on-premises hq Kubernetes cluster ML Cloud Pub/Sub Real-time ML Business Analysis Logging
© DMM.com ミライに向けて Google Cloud Platformへ 12 リソースモンスターな 処理(ETL,Compaction,etc) はオンプレで
BigQuery (storage API) as SSOT GPU Kubernetes Engine Cloud Dataflow Cloud Dataproc BigQuery on-premises Cloud Dataprep Cloud Storage AI Platform Cloud Data Catalog DistCp orchestration CDP
© DMM.com もっとミライの データエンジニア 13
© DMM.com 始まりの一枚(ということにしている)
© DMM.com ミライの データエンジニア募集中 15
© DMM.com Hadoop マイグレーション
© DMM.com クラウドマイグレーション
© DMM.com 詳しいお話聞きたい人でも何でも おしゃべりしたいです! クラウド移行への決心を機に、 リクルート内容の刷新も https://dmm-corp.com/recruit/359 Hadoopのクラウドマイグレーション などビッグイベント目白押しです! 18
一緒に ミライの基盤を 作り上げる人を募集中!
© DMM.com 19