ZOZOのデータマネジメントの取り組み：これまでとこれから / ZOZO's Data Management Initiatives

by Yudai Takagi

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

© ZOZO, Inc. 5 3つのテーマ - Data Platform, Core DataMarts, Data Portal の3領域に分けた取り組み - 各取り組みに対して、アナリティクスエンジニア / データエンジニア / データマネージャーの部署横断の複合チームとして対応している Data Platform Core DataMarts Data Portal - データ基盤に関わる課題解決 - データエンジニアがリード - データや集計定義の標準化に関わる課題解決 - モデリングをアナリティクスエンジニアがリード - 標準化したデータの活用をデータマネージャーがリード - データ活用に必要な情報の公開に関わる課題解決 - 情報の体系化、整備をデータマネージャーがリード

Slide 6

Slide 6 text

© ZOZO, Inc. - 各テーマごとに注力している代表的な取り組み 6 テーマごとに注力していること Data Platform Core DataMarts Data Portal - データ品質向上 - データマート更新処理の待ち処理最適化 - BigQueryコスト削減 - データマート更新処理のコスト最適化 - コストマネジメントのあらゆる仕組み - Data Products - システム・プロダクトのためのデータマート - Analysis DataMarts - 可視化・分析のためのデータマート - Analysis Reports - BIレポートを資産として管理し全社公開する - その他 - 非アナリストの分析研修 - データマートガイドライン - 標準的な集計定義のSQL集

Slide 7

Slide 7 text

© ZOZO, Inc. - 今回はそれぞれ下記の取り組みを実例として話していく - Core DataMartsの仕組みの一部であるData Products - Data Portalの仕組みの一部であるAnalysis Reports 今回話すこと Data Platform Core DataMarts Data Portal - データ品質向上 - データマート更新処理の待ち処理最適化 - BigQueryコスト削減 - データマート更新処理のコスト最適化 - コストマネジメントのあらゆる仕組み - Data Products - システム・プロダクトのためのデータマート - Analysis DataMarts - 可視化・分析のためのデータマート - Analysis Reports - BIレポートを資産として管理し全社公開する - その他 - 非アナリストの分析研修 - データマートガイドライン - 標準的な集計定義のSQL集

Slide 8

Slide 8 text

Slide 9

Slide 9 text

© ZOZO, Inc. 9 Data Products　- データモデリング上の課題 - - システムで利用するデータモデリングにおける2つの大きな課題が存在していた - 分析用データマートが許諾なくシステム流用されていて改修時に影響が発生する - 集計ロジックが集約できておらず、定義がブラックボックス化している基幹DB Analysis DataMarts （汎用分析）レポーティング用データマート可視化・分析業務業務システム・プロダクト無加工データデータフィード用データマート BigQuery Cloud Composer

Slide 10

Slide 10 text

© ZOZO, Inc. 10 Data Products　- データモデリング上の課題 - - システムで利用するデータモデリングにおける2つの大きな課題が存在していた - 分析用データマートが許諾なくシステム流用されていて改修時に影響が発生する - 集計ロジックが集約できておらず、定義がブラックボックス化している基幹DB Analysis DataMarts （汎用分析）レポーティング用データマート可視化・分析業務業務システム・プロダクト無加工データデータフィード用データマート！ BigQuery Cloud Composer

Slide 11

Slide 11 text

© ZOZO, Inc. 11 Data Products　- データモデリング上の課題 - - システムで利用するデータモデリングにおける2つの大きな課題が存在していた - 分析用データマートが許諾なくシステム流用されていて改修時に影響が発生する - 集計ロジックが集約できておらず、定義がブラックボックス化している基幹DB Analysis DataMarts （汎用分析）レポーティング用データマート可視化・分析業務業務システム・プロダクト無加工データデータフィード用データマート！ BigQuery Cloud Composer

Slide 12

Slide 12 text

© ZOZO, Inc. 12 Data Products　- アプローチ - - dbtでのレイヤリングを取り入れることで課題を解消し、システムへのデータ連携を増やしている - 分析用とシステム用のデータを分けることで依存関係を解消し、改訂時のトラブルを防止 - 共通化すべき集計定義を統制することでデータ品質・ビジネスロジックを担保基幹DB Analysis DataMarts （汎用分析）無加工データ Core DataMarts レポーティング用データマート業務システム・プロダクト可視化・分析業務 Data Products （データフィード） BigQuery Cloud Composer

Slide 13

Slide 13 text

© ZOZO, Inc. 13 Data Products　- 工夫した点 - - Data Productsとして提供する上でシステム側との要件定義が重要となるため、明らかにすべき事項を早期に提示することで事故を未然に防いでいる - ビジネスプロセス・ユースケース - 機能要件 - Incrementalの必要性・保存期間 - 過去データのBackﬁllの必要性 - 非機能要件 - 更新頻度・タイミング - データ品質（dbt test） - アラート対応 - アクセス権限

Slide 14

Slide 14 text

© ZOZO, Inc. 14 Analysis Reports　- レポートの資産管理の課題 - - ZOZOでは Biz / Tech に関係なくSQLやBIでのデータ活用が広く行われている - 結果として多くのBIレポートが各組織ごとに散在し、管理場所の統一や全体公開ができていない - 資産としての管理ができていない状態のため、以下のコストが発生している - 既存資産が認知されていないことによる、似て非なるレポートの再作成コスト - 閲覧ログのないレポートのデータソース更新処理によるインフラコスト

Slide 15

Slide 15 text

© ZOZO, Inc. 15 Analysis Reports　- アプローチ - - 目指すところとして、レポート（BIツール・スプレッドシート）が適切なアクセス権限の上で資産として全社に公開され、定期的な更新と棚卸がされている状態 - レポートの管理と公開、資産棚卸しの仕組みを整備し、分析部内の資産を全社へ公開した - Data Portal上で一覧化・分類することで、他組織の担当者が目的のレポートにアクセスできる

Slide 16

Slide 16 text

Slide 17

Slide 17 text

© ZOZO, Inc. 17 Analysis Reports　- 工夫した点 - - 資産管理の目的・対象・手順を明確化し、ガイドラインとして整備した - 過去90日間の閲覧ログがないレポートはパイプラインの更新を停止対応するように勧奨することで不要資産によるコンピューティング・ストレージコストを抑制できるようにした - 現在は各レポート管理者ごとに確認しているが、アクセスログを活用し閲覧状況の確認プロセスを自動化できるようプロセスを強化していく予定項目掲載対象ツール PowerBI・LookerなどBIツール Spreadsheetなど表計算ツール条件 90日以上の定常的な更新がある/見込まれる

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

© ZOZO, Inc. 21 まとめ - データガバナンス / データマネジメントを3領域に分け、部署横断の複合チームで対応している - dbtを用いたレイヤリングを取り入れ、分析とシステム用のデータの集計定義を統一しつつ依存関係を排除することで、データモデリングで発生している課題を解消した - データ活用の最下流であるBIレポートの管理と公開・資産棚卸しの仕組みを整備し、資産管理できていないことで発生しているコストを抑制できるようにした - データマネージャーとして、周囲を頼りながら独りよがりにならないデータガバナンス / データマネジメントを推進する

Slide 22

Slide 22 text

Slide 23

Slide 23 text

© ZOZO, Inc. 23 今後取り組みたいこと - Data Productsの拡充によるシステムへのデータフィードの強化 - データ活用側の要件定義とビジネスニーズに即したモデリングの推進により、システム利用の拡大に寄与 - メタデータ管理と活用の推進 - 開発メンバーは現在dbt docsを使用しているが、データ活用者にとって使いやすいデータカタログの導入検討 - dbt-osmosisの導入と、各ディスクリプションなどビジネスメタデータの整備 - BI・レポート開発のガイドライン整備 - 必要要件ごとに最適なBIツールを選定するための基準の明確化 - レポートの資産としての管理を強化し、作成から廃止までのライフサイクル管理

Slide 24

Slide 24 text

© ZOZO, Inc. 24 今後取り組みたいこと - Data Productsの拡充によるシステムへのデータフィードの強化 - データ活用側の要件定義とビジネスニーズに即したモデリングの推進により、システム利用の拡大に寄与 - メタデータ管理と活用の推進 - 開発メンバーは現在dbt docsを使用しているが、データ活用者にとって使いやすいデータカタログの導入検討 - dbt-osmosisの導入と、各ディスクリプションなどビジネスメタデータの整備 - BI・レポート開発のガイドライン整備 - 必要要件ごとに最適なBIツールを選定するための基準の明確化 - レポートの資産としての管理を強化し、作成から廃止までのライフサイクル管理特に上記2つを一緒に進めていくデータマネージャーを募集しています！

Slide 25

Slide 25 text

No content