知られざるDMMデータエンジニアの生態 〜かつてツチノコと呼ばれし者〜

Transcript

1. © DMM.com 知られざるDMMデータエンジニアの生態 〜かつてツチノコと呼ばれし者〜 datatech-jp Casual Talks #6 2025.1.20 (月) 合同会社DMM.com 開発統括本部データ基盤開発部 高橋　慶
2. © DMM.com 登壇者 2 高 橋　慶 TAKAHASHI Kei 出身地 兵庫県 相生市（机バンバン市長でおなじみ） 職歴 DMM.com（2024~現在) ← 化学メーカー（2014~2024） 所属 開発統括本部 データ基盤開発部（Manager）
3. © DMM.com 本LTの狙い 3 datatech-jpに貢献し、 コミュニティを盛り上げていきたい 本LTで何か得るものがあれば、 お土産としてお持ち帰りいただきたい
4. © DMM.com なぜコミュニティに貢献するのか 4
5. © DMM.com 前説 5 なぜツチノコなのか
6. © DMM.com なぜツチノコなのか 6 田籠さんのブログで ”ツチノコ” と言われる (出所) https://tagomoris.hatenablog.com/entry/2013/12/20/123054
7. © DMM.com なぜツチノコなのか 7 ノリで作った社内専用サイト ”ツチノコブログ” が誤って全公開 偉い人のつぶやきによって拡散されて、DMMのエンジニアはツチノコと認知されるように (出所) https://x.com/dmm_matsue/status/367241690060308481
8. © DMM.com 前説 8 弊社のデータ基盤と組織について
9. © DMM.com データ基盤の主な技術・サービス 9 Vertex AI Dataflow Pub/Sub Composer BigQuery Datastream Looker Dataplex Cloud Build Storage Functions
10. © DMM.com ぜひDMM insideもご覧いただければ！ 10 2024.12.12 DMM INSIDE: https://inside.dmm.com/articles/data-infrastructure-development-department-interview/
11. © DMM.com 本題 11 ツチノコ（DMMのデータエンジニア）、何やっているの？
12. © DMM.com バーチャルオフィス 社内ワークフロー・タスクマネジメント コミュニケーション・ミーティング アイディエーション・スプリントイベント ドキュメンテーション・プレゼンテーション コーディング・コードレビュー 検証・本番作業 DMMデータエンジニアの主なツール 12
13. © DMM.com 13 もっと詳しく生態を知りたいんですけど （ここで10分経過したぐらいだとLT順調）
14. © DMM.com バーチャルオフィスで何でも議論 14 子どもが産まれたとか、家を買ったとか、設計やコードの疑問点を聞いたりとか
15. © DMM.com コラボレーションツールによる協働 15 チーミングからデータパイプライン設計、メタデータ戦略、業務フロー見直し、ふりかえりなど
16. © DMM.com Slackに作業ログ 16 誰が・いつ・何をやっているのかが分かる。 どこで困っているか分かるので、サポートに入りやすい。
17. © DMM.com ノウハウはConfluenceで整理 17 Slackでは情報が流れてしまうため、 得られた知見はConfluenceで整理して共有
18. © DMM.com （補足）CI/CD高速化したい背景 毎月約150本のプルリクエストをmainブランチへマージ（※Revertは除く） PRオープンしてから、大体24時間以内にはマージ 18
19. © DMM.com アラート対応 19 本番環境で発生したエラーを迅速に対応
20. © DMM.com Lookerダッシュボード監視 20 BigQueryの利用状況を監視して是正依頼
21. © DMM.com Slack問い合わせ対応 21 BigQueryのエラーに関する問い合わせ BigQueryデータセットへの閲覧権限付与
22. © DMM.com 新しい技術を検証・導入 22 BigQueryのプレビュー機能 「history-based optimizations」や「Pipe query syntax」 sqruffを検証したところ不安定な挙動のため、 実用化できず （まだ安定していたSQLFluffを導入）
23. © DMM.com スキルアップ施策、盛りだくさん 23 会社全体で データ基盤ウェビナー データ組織で アジャイルデータモデリング本の輪読会
24. © DMM.com 会食イベントを毎月やっている 24 経営層↔現場や、他部署↔自部署の良い交流機会となっている
25. © DMM.com 発表のまとめ 25 前説 • はてなブログとX（旧Twitter）がキッカケで、DMMはツチノコと呼ばれるようになった • DMMデータ基盤は、Google Cloudネイティブなデータ基盤 • あらゆる事業のデータが基盤に集約されており、テーブル約5,000件、約4兆レコードと規模がデカい • DMMデータ組織は、機能別３グループの６チーム（3~5名）構成 • DMM insideで、データ組織が何やっているかシリーズ記事での発信を始めた 本題 • DMMデータエンジニアのツールを紹介 • DMMデータエンジニアの働き方を紹介 • Gatherでワイワイ • Miroでワイワイ • Slackで作業ログ • Confluenceでナリッジ共有 • アラート対応・Lookerダッシュボード監視・問い合わせ対応 • 毎月約150本のPRの9割を24時間以内にマージ • プレビュー機能やOSSなど新しい技術を検証・導入 • 会社全体や部内でスキルアップ施策いろいろ • 毎月社内で会食イベント（参加無料）
26. © DMM.com おわりに 26 みんなでdatatech-jpを盛り上げていきましょ！ 持ち帰れるものが１つでもあれば幸いです！