ZOZOのデータマネジメントの取り組み：これまでとこれから / ZOZO's Data Management Initiatives

こちらで発表した資料です
https://zozotech-inc.connpass.com/event/329926/

Transcript

1. ZOZOのデータマネジメントの 取り組み：これまでとこれから 2024/10/22 ZOZO Tech Meetup ～データガバナンス / データマネジメント～ 株式会社ZOZO
 AI・アナリティクス本部 事業推進部
 データ推進ブロック ブロック長
 髙木 雄大 
 Copyright © ZOZO, Inc. 1
2. © ZOZO, Inc. 株式会社ZOZO AI・アナリティクス本部 事業推進部 データ推進ブロック ブロック長 髙木 雄大 - 2023/09 入社 のデータマネージャー - データガバナンス / データマネジメント の推進担当 - 経歴 - 2015年に新卒で通信会社に入社し、通信インフラの 保守・構築を担当 - 2021年からグループ内異動でデータドリブン推進の 部署にてデータマート構築などを担当 2
3. © ZOZO, Inc. 3 目次 - ZOZOにおけるデータマネジメント - 実際の事例紹介 - Data Products - Analysis Reports - データマネージャーとして働く上で意識したこと - まとめ - 今後取り組みたいこと
4. © ZOZO, Inc. ZOZOにおけるデータマネジメント
5. © ZOZO, Inc. 5 3つのテーマ - Data Platform, Core DataMarts, Data Portal の3領域に分けた取り組み - 各取り組みに対して、アナリティクスエンジニア / データエンジニア / データマネージャーの 部署横断の複合チームとして対応している Data Platform Core DataMarts Data Portal - データ基盤に関わる課題解決 - データエンジニアがリード - データや集計定義の標準化に 関わる課題解決 - モデリングをアナリティクス エンジニアがリード - 標準化したデータの活用を データマネージャーがリード - データ活用に必要な情報の 公開に関わる課題解決 - 情報の体系化、整備をデータ マネージャーがリード
6. © ZOZO, Inc. - 各テーマごとに注力している代表的な取り組み 6 テーマごとに注力していること Data Platform Core DataMarts Data Portal - データ品質向上 - データマート更新処理の 待ち処理最適化 - BigQueryコスト削減 - データマート更新処理の コスト最適化 - コストマネジメントの あらゆる仕組み - Data Products - システム・プロダクトの ためのデータマート - Analysis DataMarts - 可視化・分析のための データマート - Analysis Reports - BIレポートを資産として 管理し全社公開する - その他 - 非アナリストの分析研修 - データマートガイドライン - 標準的な集計定義のSQL集
7. © ZOZO, Inc. - 今回はそれぞれ下記の取り組みを実例として話していく - Core DataMartsの仕組みの一部であるData Products - Data Portalの仕組みの一部であるAnalysis Reports 今回話すこと Data Platform Core DataMarts Data Portal - データ品質向上 - データマート更新処理の 待ち処理最適化 - BigQueryコスト削減 - データマート更新処理の コスト最適化 - コストマネジメントの あらゆる仕組み - Data Products - システム・プロダクトの ためのデータマート - Analysis DataMarts - 可視化・分析のための データマート - Analysis Reports - BIレポートを資産として 管理し全社公開する - その他 - 非アナリストの分析研修 - データマートガイドライン - 標準的な集計定義のSQL集
8. © ZOZO, Inc. 実際の事例紹介
9. © ZOZO, Inc. 9 Data Products　- データモデリング上の課題 - - システムで利用するデータモデリングにおける2つの大きな課題が存在していた - 分析用データマートが許諾なくシステム流用されていて改修時に影響が発生する - 集計ロジックが集約できておらず、定義がブラックボックス化している 基幹DB Analysis DataMarts （汎用分析） レポーティング用 データマート 可視化・分析業務 業務システム・プロダクト 無加工データ データフィード用 データマート BigQuery Cloud Composer
10. © ZOZO, Inc. 10 Data Products　- データモデリング上の課題 - - システムで利用するデータモデリングにおける2つの大きな課題が存在していた - 分析用データマートが許諾なくシステム流用されていて改修時に影響が発生する - 集計ロジックが集約できておらず、定義がブラックボックス化している 基幹DB Analysis DataMarts （汎用分析） レポーティング用 データマート 可視化・分析業務 業務システム・プロダクト 無加工データ データフィード用 データマート ！ BigQuery Cloud Composer
11. © ZOZO, Inc. 11 Data Products　- データモデリング上の課題 - - システムで利用するデータモデリングにおける2つの大きな課題が存在していた - 分析用データマートが許諾なくシステム流用されていて改修時に影響が発生する - 集計ロジックが集約できておらず、定義がブラックボックス化している 基幹DB Analysis DataMarts （汎用分析） レポーティング用 データマート 可視化・分析業務 業務システム・プロダクト 無加工データ データフィード用 データマート ！ BigQuery Cloud Composer
12. © ZOZO, Inc. 12 Data Products　- アプローチ - - dbtでのレイヤリングを取り入れることで課題を解消し、システムへのデータ連携を増やしている - 分析用とシステム用のデータを分けることで依存関係を解消し、改訂時のトラブルを防止 - 共通化すべき集計定義を統制することでデータ品質・ビジネスロジックを担保 基幹DB Analysis DataMarts （汎用分析） 無加工データ Core DataMarts レポーティング用 データマート 業務システム・プロダクト 可視化・分析業務 Data Products （データフィード） BigQuery Cloud Composer
13. © ZOZO, Inc. 13 Data Products　- 工夫した点 - - Data Productsとして提供する上でシステム側との要件定義が重要となるため、 明らかにすべき事項を早期に提示することで事故を未然に防いでいる - ビジネスプロセス・ユースケース - 機能要件 - Incrementalの必要性・保存期間 - 過去データのBackfillの必要性 - 非機能要件 - 更新頻度・タイミング - データ品質（dbt test） - アラート対応 - アクセス権限
14. © ZOZO, Inc. 14 Analysis Reports　- レポートの資産管理の課題 - - ZOZOでは Biz / Tech に関係なくSQLやBIでのデータ活用が広く行われている - 結果として多くのBIレポートが各組織ごとに散在し、管理場所の統一や全体公開ができていない - 資産としての管理ができていない状態のため、以下のコストが発生している - 既存資産が認知されていないことによる、似て非なるレポートの再作成コスト - 閲覧ログのないレポートのデータソース更新処理によるインフラコスト
15. © ZOZO, Inc. 15 Analysis Reports　- アプローチ - - 目指すところとして、レポート（BIツール・スプレッドシート）が適切なアクセス権限の上で 資産として全社に公開され、定期的な更新と棚卸がされている状態 - レポートの管理と公開、資産棚卸しの仕組みを整備し、分析部内の資産を全社へ公開した - Data Portal上で一覧化・分類することで、他組織の担当者が目的のレポートにアクセスできる
16. © ZOZO, Inc. 16 Analysis Reports　- アプローチ -
17. © ZOZO, Inc. 17 Analysis Reports　- 工夫した点 - - 資産管理の目的・対象・手順を明確化し、ガイドラインとして整備した - 過去90日間の閲覧ログがないレポートはパイプラインの更新を停止対応するように勧奨することで 不要資産によるコンピューティング・ストレージコストを抑制できるようにした - 現在は各レポート管理者ごとに確認しているが、アクセスログを活用し閲覧状況の 確認プロセスを自動化できるようプロセスを強化していく予定 項目 掲載対象 ツール PowerBI・LookerなどBIツール Spreadsheetなど表計算ツール 条件 90日以上の定常的な更新がある/見込まれる
18. © ZOZO, Inc. データマネージャーとして 働く上で意識したこと
19. © ZOZO, Inc. 19 データマネージャーとして働く上で意識したこと - 中央集権的な運用にしすぎず周囲を頼る - データガバナンス / データマネジメントの価値を見せる・伝えて巻き込む - 現場のスピードや柔軟性を損なわず、適度な分散を意識する - 実際にデータが活用されることを前提に - 形骸化を防ぎ、実際の業務に貢献する - 業務・システムへの深いリスペクトと理解
20. © ZOZO, Inc. まとめ
21. © ZOZO, Inc. 21 まとめ - データガバナンス / データマネジメントを3領域に分け、 部署横断の複合チームで対応している - dbtを用いたレイヤリングを取り入れ、分析とシステム用のデータの集計定義を統一しつつ 依存関係を排除することで、データモデリングで発生している課題を解消した - データ活用の最下流であるBIレポートの管理と公開・資産棚卸しの仕組みを整備し、 資産管理できていないことで発生しているコストを抑制できるようにした - データマネージャーとして、周囲を頼りながら独りよがりにならない データガバナンス / データマネジメントを推進する
22. © ZOZO, Inc. 今後取り組みたいこと
23. © ZOZO, Inc. 23 今後取り組みたいこと - Data Productsの拡充によるシステムへのデータフィードの強化 - データ活用側の要件定義とビジネスニーズに即したモデリングの推進により、 システム利用の拡大に寄与 - メタデータ管理と活用の推進 - 開発メンバーは現在dbt docsを使用しているが、データ活用者にとって使いやすい データカタログの導入検討 - dbt-osmosisの導入と、各ディスクリプションなどビジネスメタデータの整備 - BI・レポート開発のガイドライン整備 - 必要要件ごとに最適なBIツールを選定するための基準の明確化 - レポートの資産としての管理を強化し、作成から廃止までのライフサイクル管理
24. © ZOZO, Inc. 24 今後取り組みたいこと - Data Productsの拡充によるシステムへのデータフィードの強化 - データ活用側の要件定義とビジネスニーズに即したモデリングの推進により、 システム利用の拡大に寄与 - メタデータ管理と活用の推進 - 開発メンバーは現在dbt docsを使用しているが、データ活用者にとって使いやすい データカタログの導入検討 - dbt-osmosisの導入と、各ディスクリプションなどビジネスメタデータの整備 - BI・レポート開発のガイドライン整備 - 必要要件ごとに最適なBIツールを選定するための基準の明確化 - レポートの資産としての管理を強化し、作成から廃止までのライフサイクル管理 特に上記2つを一緒に進めていくデータマネージャーを募集しています！