Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ミライのデータエンジニア
Search
Yuki
November 18, 2019
Technology
1
900
ミライのデータエンジニア
DMM meetup #14 (
https://dmm.connpass.com/event/152326/
) での資料です。
Yuki
November 18, 2019
Tweet
Share
More Decks by Yuki
See All by Yuki
品質特性から眺める データ分析基盤入門
yuki_saito
4
400
データエンジニアと作るデータ文化
yuki_saito
5
2.8k
Pythonとsparkで学ぶpyspark 速習講座
yuki_saito
2
210
AWS データレイク事例祭り 登壇資料
yuki_saito
7
3.5k
Data Platform
yuki_saito
1
360
Other Decks in Technology
See All in Technology
オープンソースAIとは何か? --「オープンソースAIの定義 v1.0」詳細解説
shujisado
9
1k
【Pycon mini 東海 2024】Google Colaboratoryで試すVLM
kazuhitotakahashi
2
520
iOS/Androidで同じUI体験をネ イティブで作成する際に気をつ けたい落とし穴
fumiyasac0921
1
110
ノーコードデータ分析ツールで体験する時系列データ分析超入門
negi111111
0
410
個人でもIAM Identity Centerを使おう!(アクセス管理編)
ryder472
4
220
Introduction to Works of ML Engineer in LY Corporation
lycorp_recruit_jp
0
130
Security-JAWS【第35回】勉強会クラウドにおけるマルウェアやコンテンツ改ざんへの対策
4su_para
0
180
Terraform未経験の御様に対してどの ように導⼊を進めていったか
tkikuchi
2
450
飲食店データの分析事例とそれを支えるデータ基盤
kimujun
0
110
OCI Vault 概要
oracle4engineer
PRO
0
9.7k
OS 標準のデザインシステムを超えて - より柔軟な Flutter テーマ管理 | FlutterKaigi 2024
ronnnnn
0
160
DynamoDB でスロットリングが発生したとき_大盛りver/when_throttling_occurs_in_dynamodb_long
emiki
1
410
Featured
See All Featured
Java REST API Framework Comparison - PWX 2021
mraible
PRO
28
8.2k
Learning to Love Humans: Emotional Interface Design
aarron
273
40k
Product Roadmaps are Hard
iamctodd
PRO
49
11k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
16
2.1k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
28
9.1k
StorybookのUI Testing Handbookを読んだ
zakiyama
27
5.3k
The Illustrated Children's Guide to Kubernetes
chrisshort
48
48k
Optimising Largest Contentful Paint
csswizardry
33
2.9k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
232
17k
Why You Should Never Use an ORM
jnunemaker
PRO
54
9.1k
Six Lessons from altMBA
skipperchong
27
3.5k
Measuring & Analyzing Core Web Vitals
bluesmoon
4
130
Transcript
© DMM.com ミライのデータエンジニア プラットフォーム事業本部ビッグデータ部 DREチーム 斎藤 友樹 1
© DMM.com 斎藤 友樹 (サイトウ ユウキ) 2019/08 中途入社 2児のパパ(予定) 登山好き
子供と遊ぶのが好き 黄色いゾウさんの運用やってます 2 自己紹介 第1子 わたし 奥さん
© DMM.com DMMのデータエンジニア 3
© DMM.com こんなシステムを守っている人たち 4 サイト内の行動ログ ページ遷移、カート追加、購入完了など) 商品情報など各システムの テーブル 各事業部 DMM各システム
データ提供 On-Prem データエンジニア 分析基盤 開発/運用 分析 分析基盤
© DMM.com データドリブンの浸透 データ 加工して データ ちょうだい 新しこと やりたい VS
あわわ。。
© DMM.com イマの基盤の課題 利用者増加 (社員1500人中、アカウント保有者600人 etc) 要求の高度化 ・多様化(既存基盤の運用とのアンバランス) Data Redundancy(On-Prem
& クラウド2箇所に点在) A interfaceはオンプレ B interfaceはAthena 6
© DMM.com ミライのデータエンジニア 7 7
© DMM.com ミライへの分析基盤コンセプト Self-Service SSOT &
© DMM.com ミライの分析基盤 利用者増加 (社員1500人中、アカウント保有者600人) いつ何時誰の挑戦でも受ける 要求の高度化・多様化 (既存基盤の運用とのバランス) Self-Service Data
Redundancy(On-Prem & クラウド2箇所に存在) 利用されるデータが単一であるSSOTを目指す 9
© DMM.com ミライへの技術
© DMM.com prd #E8EAF6 ミライに向けて 行動ログ収集基盤 On GCP eagle-api Kubernetes
Engine Cloud Load Balancing Cloud DNS Cloud Bigtable data pipeline Cloud Pub/Sub Cloud Dataflow Cloud Storage on-premises hq Kubernetes cluster ML Cloud Pub/Sub Real-time ML Business Analysis Logging
© DMM.com ミライに向けて Google Cloud Platformへ 12 リソースモンスターな 処理(ETL,Compaction,etc) はオンプレで
BigQuery (storage API) as SSOT GPU Kubernetes Engine Cloud Dataflow Cloud Dataproc BigQuery on-premises Cloud Dataprep Cloud Storage AI Platform Cloud Data Catalog DistCp orchestration CDP
© DMM.com もっとミライの データエンジニア 13
© DMM.com 始まりの一枚(ということにしている)
© DMM.com ミライの データエンジニア募集中 15
© DMM.com Hadoop マイグレーション
© DMM.com クラウドマイグレーション
© DMM.com 詳しいお話聞きたい人でも何でも おしゃべりしたいです! クラウド移行への決心を機に、 リクルート内容の刷新も https://dmm-corp.com/recruit/359 Hadoopのクラウドマイグレーション などビッグイベント目白押しです! 18
一緒に ミライの基盤を 作り上げる人を募集中!
© DMM.com 19