Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Data Platform
Search
Yuki
August 21, 2020
Technology
1
400
Data Platform
8/22日に開催したDMM meet upでの資料です。
Yuki
August 21, 2020
Tweet
Share
More Decks by Yuki
See All by Yuki
改訂新版 データ分析基盤入門
yuki_saito
7
730
品質特性から眺める データ分析基盤入門
yuki_saito
4
450
データエンジニアと作るデータ文化
yuki_saito
5
2.9k
Pythonとsparkで学ぶpyspark 速習講座
yuki_saito
2
240
AWS データレイク事例祭り 登壇資料
yuki_saito
8
3.7k
ミライのデータエンジニア
yuki_saito
1
940
Other Decks in Technology
See All in Technology
AWS CDK 入門ガイド これだけは知っておきたいヒント集
anank
3
290
AI エージェントと考え直すデータ基盤
na0
16
5.4k
〜『世界中の家族のこころのインフラ』を目指して”次の10年”へ〜 SREが導いたグローバルサービスの信頼性向上戦略とその舞台裏 / Towards the Next Decade: Enhancing Global Service Reliability
kohbis
2
360
事業成長の裏側:エンジニア組織と開発生産性の進化 / 20250703 Rinto Ikenoue
shift_evolve
PRO
3
22k
Lakebaseを使ったAIエージェントを実装してみる
kameitomohiro
0
160
Delta airlines Customer®️ USA Contact Numbers: Complete 2025 Support Guide
deltahelp
0
930
FOSS4G 2025 KANSAI QGISで点群データをいろいろしてみた
kou_kita
0
410
さくらのIaaS基盤のモニタリングとOpenTelemetry/OSC Hokkaido 2025
fujiwara3
3
460
高速なプロダクト開発を実現、創業期から掲げるエンタープライズアーキテクチャ
kawauso
3
9.7k
20250707-AI活用の個人差を埋めるチームづくり
shnjtk
6
4k
2025-07-06 QGIS初級ハンズオン「はじめてのQGIS」
kou_kita
0
180
Reach American Airlines®️ Instantly: 19 Calling Methods for Fast Support in the USA
flyamerican
1
180
Featured
See All Featured
Speed Design
sergeychernyshev
32
1k
Unsuck your backbone
ammeep
671
58k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
26
2.9k
Designing Experiences People Love
moore
142
24k
Intergalactic Javascript Robots from Outer Space
tanoku
271
27k
Fireside Chat
paigeccino
37
3.5k
Building Flexible Design Systems
yeseniaperezcruz
328
39k
Imperfection Machines: The Place of Print at Facebook
scottboms
267
13k
Building Better People: How to give real-time feedback that sticks.
wjessup
367
19k
Embracing the Ebb and Flow
colly
86
4.7k
Put a Button on it: Removing Barriers to Going Fast.
kastner
60
3.9k
Transcript
© DMM.com Data Platform データ本部 データインフラ部 DREグループ 斎藤 友樹 1
© DMM.com 斎藤 友樹 (サイトウ ユウキ) 2児のパパ 一年くらい前にふらりと入社 子供と遊ぶのが好き リモートになって生産性爆上がり
twitter @yuki_saito_en(前職では禁止されてた) 2 自己紹介 第2子 わたし 奥さん 第1子
© DMM.com ちょっと前の話 BQ.BQ.BQ. BQ
© DMM.com ここまでの長い旅路は省略 データ基盤はAWSに決めました 「Amazon Web Services、“Powered by AWS”ロゴ、[およびかかる資料で使用されるその他のAWS商標] は、米国その他の諸国における、
Amazon.com, Inc.またはその関連会社の商標です。」
© DMM.com AWSで作り込んでいる途中(行動ログAPIはGCP) 「Amazon Web Services、“Powered by AWS”ロゴ、[およびかかる資料で使用されるその他のAWS商標] は、米国その他の諸国における、 Amazon.com,
Inc.またはその関連会社の商標です。」
© DMM.com データの活用を強制すべく DRE (6名,途中から7名) の戦いをいくつか紹介
© DMM.com 取組み No.1 行動ログAPI クラウド化 DONE
© DMM.com prd #E8EAF6 行動ログ VS DRE 2020 1Q eagle-api
Kubernetes Engine Cloud Load Balancing Cloud DNS Cloud Bigtable data pipeline Cloud Pub/Sub Cloud Dataflow Cloud Storage on-premises hq Kubernetes cluster ML Real-time ML Business Analysis Logging Cloud Dataflow
© DMM.com 行動ログ VS DRE 比較表 ただリリースに際して色々やらかしたのはナイショ デプロイ回数 rps コミュニケーション
コスト with 他部 旧シス テム 0 謎 jenkins でざわざわ 10,000くらい(風の噂) 10h/week 新シス テム たくさん github actions でちょちょいと 20,000まで確認済み 0~2h/month
© DMM.com 取組み No.2 オンプレお掃除大作戦 ~ almost DONE ~
© DMM.com オンプレサーバ VS DRE 2019 3Q 172 などなど。。。。 これらの組み合わせにより構成された10を超え
る人智を超越したプロダクト軍 (本番のみ) * 2 * 2 * 2
© DMM.com オンプレサーバ VS DRE 2019 4Q end 65 なんとか普通くらいに
持ってきたぞ。 (本番のみ) * 2
© DMM.com オンプレサーバ VS DRE 2020 2Q~3Q 10 (くらい。たぶん) 他事業部のオンプレ資産活用
ための最低限の構成に (本番のみ)
© DMM.com 取組み No.3 データより大きいデータ。メタデータ拡充 ~ just getting started~
© DMM.com メタデータ VS DRE 2019 4Q end No メタデータ
提供ありなし 1 ビジネスメタデータ あり(保守性に難) 2 テクニカルメタデータ なし 3 データ品質 なし 4 データプロファイリング なし
© DMM.com メタデータ VS DRE 2020 2Q No メタデータ 提供あり/なし
1 ビジネスメタデータ あり(保守性に難) 2 テクニカルメタデータ なし 3 データ品質 あり(ほんの一部) 4 データプロファイリング なし
© DMM.com ありがとうございました!