Slide 1

Slide 1 text

© DMM.com 知られざるDMMデータエンジニアの生態 〜かつてツチノコと呼ばれし者〜 datatech-jp Casual Talks #6 2025.1.20 (月) 合同会社DMM.com 開発統括本部データ基盤開発部 高橋 慶

Slide 2

Slide 2 text

© DMM.com 登壇者 2 高 橋 慶 TAKAHASHI Kei 出身地 兵庫県 相生市(机バンバン市長でおなじみ) 職歴 DMM.com(2024~現在) ← 化学メーカー(2014~2024) 所属 開発統括本部 データ基盤開発部(Manager)

Slide 3

Slide 3 text

© DMM.com 本LTの狙い 3 datatech-jpに貢献し、 コミュニティを盛り上げていきたい 本LTで何か得るものがあれば、 お土産としてお持ち帰りいただきたい

Slide 4

Slide 4 text

© DMM.com なぜコミュニティに貢献するのか 4

Slide 5

Slide 5 text

© DMM.com 前説 5 なぜツチノコなのか

Slide 6

Slide 6 text

© DMM.com なぜツチノコなのか 6 田籠さんのブログで ”ツチノコ” と言われる (出所) https://tagomoris.hatenablog.com/entry/2013/12/20/123054

Slide 7

Slide 7 text

© DMM.com なぜツチノコなのか 7 ノリで作った社内専用サイト ”ツチノコブログ” が誤って全公開 偉い人のつぶやきによって拡散されて、DMMのエンジニアはツチノコと認知されるように (出所) https://x.com/dmm_matsue/status/367241690060308481

Slide 8

Slide 8 text

© DMM.com 前説 8 弊社のデータ基盤と組織について

Slide 9

Slide 9 text

© DMM.com データ基盤の主な技術・サービス 9 Vertex AI Dataflow Pub/Sub Composer BigQuery Datastream Looker Dataplex Cloud Build Storage Functions

Slide 10

Slide 10 text

© DMM.com ぜひDMM insideもご覧いただければ! 10 2024.12.12 DMM INSIDE: https://inside.dmm.com/articles/data-infrastructure-development-department-interview/

Slide 11

Slide 11 text

© DMM.com 本題 11 ツチノコ(DMMのデータエンジニア)、何やっているの?

Slide 12

Slide 12 text

© DMM.com バーチャルオフィス 社内ワークフロー・タスクマネジメント コミュニケーション・ミーティング アイディエーション・スプリントイベント ドキュメンテーション・プレゼンテーション コーディング・コードレビュー 検証・本番作業 DMMデータエンジニアの主なツール 12

Slide 13

Slide 13 text

© DMM.com 13 もっと詳しく生態を知りたいんですけど (ここで10分経過したぐらいだとLT順調)

Slide 14

Slide 14 text

© DMM.com バーチャルオフィスで何でも議論 14 子どもが産まれたとか、家を買ったとか、設計やコードの疑問点を聞いたりとか

Slide 15

Slide 15 text

© DMM.com コラボレーションツールによる協働 15 チーミングからデータパイプライン設計、メタデータ戦略、業務フロー見直し、ふりかえりなど

Slide 16

Slide 16 text

© DMM.com Slackに作業ログ 16 誰が・いつ・何をやっているのかが分かる。 どこで困っているか分かるので、サポートに入りやすい。

Slide 17

Slide 17 text

© DMM.com ノウハウはConfluenceで整理 17 Slackでは情報が流れてしまうため、 得られた知見はConfluenceで整理して共有

Slide 18

Slide 18 text

© DMM.com (補足)CI/CD高速化したい背景 毎月約150本のプルリクエストをmainブランチへマージ(※Revertは除く) PRオープンしてから、大体24時間以内にはマージ 18

Slide 19

Slide 19 text

© DMM.com アラート対応 19 本番環境で発生したエラーを迅速に対応

Slide 20

Slide 20 text

© DMM.com Lookerダッシュボード監視 20 BigQueryの利用状況を監視して是正依頼

Slide 21

Slide 21 text

© DMM.com Slack問い合わせ対応 21 BigQueryのエラーに関する問い合わせ BigQueryデータセットへの閲覧権限付与

Slide 22

Slide 22 text

© DMM.com 新しい技術を検証・導入 22 BigQueryのプレビュー機能 「history-based optimizations」や「Pipe query syntax」 sqruffを検証したところ不安定な挙動のため、 実用化できず (まだ安定していたSQLFluffを導入)

Slide 23

Slide 23 text

© DMM.com スキルアップ施策、盛りだくさん 23 会社全体で データ基盤ウェビナー データ組織で アジャイルデータモデリング本の輪読会

Slide 24

Slide 24 text

© DMM.com 会食イベントを毎月やっている 24 経営層↔現場や、他部署↔自部署の良い交流機会となっている

Slide 25

Slide 25 text

© DMM.com 発表のまとめ 25 前説 • はてなブログとX(旧Twitter)がキッカケで、DMMはツチノコと呼ばれるようになった • DMMデータ基盤は、Google Cloudネイティブなデータ基盤 • あらゆる事業のデータが基盤に集約されており、テーブル約5,000件、約4兆レコードと規模がデカい • DMMデータ組織は、機能別3グループの6チーム(3~5名)構成 • DMM insideで、データ組織が何やっているかシリーズ記事での発信を始めた 本題 • DMMデータエンジニアのツールを紹介 • DMMデータエンジニアの働き方を紹介 • Gatherでワイワイ • Miroでワイワイ • Slackで作業ログ • Confluenceでナリッジ共有 • アラート対応・Lookerダッシュボード監視・問い合わせ対応 • 毎月約150本のPRの9割を24時間以内にマージ • プレビュー機能やOSSなど新しい技術を検証・導入 • 会社全体や部内でスキルアップ施策いろいろ • 毎月社内で会食イベント(参加無料)

Slide 26

Slide 26 text

© DMM.com おわりに 26 みんなでdatatech-jpを盛り上げていきましょ! 持ち帰れるものが1つでもあれば幸いです!