Tweet
Tweet

Slide 1

Slide 1 text

© DMM.com ミライのデータエンジニア プラットフォーム事業本部ビッグデータ部 DREチーム 斎藤 友樹 1

Slide 2

Slide 2 text

© DMM.com 斎藤 友樹 (サイトウ ユウキ) 2019/08 中途入社 2児のパパ(予定) 登山好き 子供と遊ぶのが好き 黄色いゾウさんの運用やってます 2 自己紹介 第1子 わたし 奥さん

Slide 3

Slide 3 text

© DMM.com DMMのデータエンジニア 3

Slide 4

Slide 4 text

© DMM.com こんなシステムを守っている人たち 4 サイト内の行動ログ ページ遷移、カート追加、購入完了など） 商品情報など各システムの テーブル 各事業部 DMM各システム データ提供 On-Prem データエンジニア 分析基盤 開発/運用 分析 分析基盤

Slide 5

Slide 5 text

© DMM.com データドリブンの浸透 データ 加工して データ ちょうだい 新しこと やりたい VS あわわ。。

Slide 6

Slide 6 text

© DMM.com イマの基盤の課題 利用者増加 (社員1500人中、アカウント保有者600人 etc) 要求の高度化 ・多様化(既存基盤の運用とのアンバランス) Data Redundancy(On-Prem & クラウド2箇所に点在) 　A interfaceはオンプレ B interfaceはAthena 6

Slide 7

Slide 7 text

© DMM.com ミライのデータエンジニア 7 7

Slide 8

Slide 8 text

© DMM.com ミライへの分析基盤コンセプト Self-Service SSOT &

Slide 9

Slide 9 text

© DMM.com ミライの分析基盤 利用者増加 (社員1500人中、アカウント保有者600人) 　いつ何時誰の挑戦でも受ける 要求の高度化・多様化 (既存基盤の運用とのバランス) 　Self-Service Data Redundancy(On-Prem & クラウド2箇所に存在) 　利用されるデータが単一であるSSOTを目指す 9

Slide 10

Slide 10 text

© DMM.com ミライへの技術

Slide 11

Slide 11 text

© DMM.com prd #E8EAF6 ミライに向けて 行動ログ収集基盤 On GCP eagle-api Kubernetes Engine Cloud Load Balancing Cloud DNS Cloud Bigtable data pipeline Cloud Pub/Sub Cloud Dataflow Cloud Storage on-premises hq Kubernetes cluster ML Cloud Pub/Sub Real-time ML Business Analysis Logging

Slide 12

Slide 12 text

© DMM.com ミライに向けて 　Google Cloud Platformへ 12 リソースモンスターな 処理(ETL,Compaction,etc) はオンプレで BigQuery (storage API) as SSOT GPU Kubernetes Engine Cloud Dataflow Cloud Dataproc BigQuery on-premises Cloud Dataprep Cloud Storage AI Platform Cloud Data Catalog DistCp orchestration CDP

Slide 13

Slide 13 text

© DMM.com もっとミライの データエンジニア 13

Slide 14

Slide 14 text

© DMM.com 始まりの一枚(ということにしている)

Slide 15

Slide 15 text

© DMM.com ミライの データエンジニア募集中 15

Slide 16

Slide 16 text

© DMM.com Hadoop マイグレーション

Slide 17

Slide 17 text

© DMM.com クラウドマイグレーション

Slide 18

Slide 18 text

© DMM.com 詳しいお話聞きたい人でも何でも おしゃべりしたいです！ クラウド移行への決心を機に、 リクルート内容の刷新も https://dmm-corp.com/recruit/359 Hadoopのクラウドマイグレーション などビッグイベント目白押しです！ 18 一緒に ミライの基盤を 作り上げる人を募集中！

Slide 19

Slide 19 text

© DMM.com 19