ZOZOのデータカタログ内製事例と、データカタログを整え続けるための仕組みづくりについて

ZOZOのデータカタログ内製事例と、  データカタログを整え続けるための仕組みづくりについて  2022年10月19日 Data Engineering Study #16「データカタログ特集回」  株式会社ZOZO  ZOZOTOWN開発本部 ZOZOTOWNWEB部
バックエンド1ブロック    山本健太 Copyright © ZOZO, Inc. 1

© ZOZO, Inc. 株式会社ZOZO  ZOZOTOWN開発本部 ZOZOTOWNWEB部  バックエンド1ブロック山本健太  2020年4月に新卒で入社 
ZOZOTOWNのWEBバックエンド、マイクロサービスAPIなどの保守運用・開発をするチームに所属  最近はウェブサイトのリプレイスなどを担当しています  2

© ZOZO, Inc. https://zozo.jp/  3 • ファッションEC  • 1,500以上のショップ、8,500以上のブランドの取り扱い  •
常時90万点以上の商品アイテム数と毎日平均2,600点以上の新着商品を掲載（2022年6月末時点）  • ブランド古着のファッションゾーン「ZOZOUSED」や  コスメ専門モール「ZOZOCOSME」、靴の専門モール  「ZOZOSHOES」、ラグジュアリー＆デザイナーズゾーン  「ZOZOVILLA」を展開  • 即日配送サービス  • ギフトラッピングサービス  • ツケ払いなど 

© ZOZO, Inc. https://wear.jp/  4 • ファッションコーディネートアプリ  • 1,600万ダウンロード突破、コーディネート投稿総数は1,300万件以上（2022年6月末時点） 
• ピックアップタグから最新のトレンドをチェック  • コーディネート着用アイテムを公式サイトで購入可能  • WEAR公認の人気ユーザーをWEARISTAと認定。モデル・タレント・デザイナー・インフルエンサーといった各界著名人も参加 

© ZOZO, Inc. 5 https://zozo.jp/zozoglass/  • 自宅で簡単・高精度にご自身の顔の肌の色を計測できるフェイスカラー計測ツール  • ECにおけるコスメ購入時の課題であった「色選び」に関する
不安や悩みを解消  • 肌の色を構成する成分、ヘモグロビン量とメラニン量を画像から推定  • コスメ専門モール「ZOZOCOSME」で取り扱うベースメイクの一部に対応  • 計測者数110万人を突破（2022年1月末時点） 

© ZOZO, Inc. 7 プロジェクトの概要  1. 前提  2. 背景と、既存ツールを利用せずに内製した理由  3.
システムとプロジェクトの概要  システム説明  1. DEMO  2. ロジック紹介  3. どう活用されているか  作ったあとの話  1. データカタログを整え続けるための仕組み作り  目次 

© ZOZO, Inc. 前提  9 今回作成したデータカタログは、Microsoft SQL Server 用のものです  SQL
Server特有の話が出た場合は、注釈で補足します   

© ZOZO, Inc. 背景  11 データカタログ導入以前  テーブル定義書、ER図を手動更新で管理していた    発生していた問題  更新が放置され、信頼度の低い資料となっていた 
手動で入力できる情報量にも限界があるので、資料化できていない項目が多かった   

© ZOZO, Inc. 背景  12 データカタログ導入以前  テーブル定義書、ER図を手動更新で管理していた    発生していた問題  更新が放置され、信頼度の低い資料となっていた 
手動で入力できる情報量にも限界があるので、資料化できていない項目が多かった    情報の更新を自動化し、問題を解決しよう！（よくある導入動機かと思います）

© ZOZO, Inc. 解決すべき課題  13 • テーブル定義書・ER図の情報が古い  • テーブル同士の繋がりが複雑で不明瞭  •
テーブル数が膨大なためER図の出力形式を工夫したい 

テーブル数が膨大なためER図の出力形式を工夫したい  既存ツールで解決可能

テーブル数が膨大なためER図の出力形式を工夫したい  外部キー制約が貼られていれば既存ツールで解決可能

テーブル数が膨大なためER図の出力形式を工夫したい  ZOZOのDBには、外部キー制約は貼られていないがリレーションを持っているものとして運用されているテーブルが大量にあった →この関係を特定してくれるツールがなかなか無い...

© ZOZO, Inc. それをやるためには...  20 このような推定が必要  • リレーションを持つテーブルのペアを推定  • どちらが親でどちらが子かを推定 
  欲を言うとこれも推定したい  • 1:1なのか、 1:N なのかを推定  • 0可なのか、必ず1レコード以上紐づくのかを推定 

テーブル数が膨大なためER図の出力形式を工夫したい 

テーブル数が膨大なためER図の出力形式を工夫したい  ◦ 文字列検索やURL共有ができるよう、HTMLで出力できると良いのでは？  ◦ 大量なテーブル数描画にも耐えられると嬉しい 

テーブル数が膨大なためER図の出力形式を工夫したい  ◦ 文字列検索やURL共有ができるよう、HTMLで出力できると良いのでは？  ◦ 大量なテーブル数描画にも耐えられると嬉しい  ER図単体で見れば既存ツールで解決可能かもしれないが色々考慮すると内製するのが早そう！

© ZOZO, Inc. プロジェクトのタイムライン  24 2020年08月  2020年11月  2021年02月  2021年07月  2021年09月 
- 個人的にプロトタイプを作成し、チームリーダーに共有  - DBテックリードやCTOのフィードバックを得て、プロジェクト化  - 推定ロジックの実装が完了し、β版を社内公開  - 完成版を社内公開  - descriptionの入力など、人力作業が不可欠な部分を各チームに入力してもらう / DB周りの実装ルールを整備する     

© ZOZO, Inc. 26 データを閲覧する人データのメタ情報を追加する人 ER図を閲覧・作成する人データカタログ、ER図を描画するウェブサイトシステム概要 
推定ロジックなどを持つ定期実行バッチ

© ZOZO, Inc. 27 データを閲覧する人データのメタ情報を追加する人 ER図を閲覧・作成する人データカタログ、ER図を描画するウェブサイト →DEMO動画で紹介します！
推定ロジックなどを持つ定期実行バッチ →後ほどロジックを紹介します！システム概要  テーブル・カラムの情報メタデータを取得するクエリを実行 DBから取得した情報を POST

© ZOZO, Inc. 39 推定方法  本番アプリケーションや本番バッチなどで実行されているSQLクエリを解析して推定      ロジック紹介 -
リレーションを持つテーブルのペアを推定 

© ZOZO, Inc. 40 例えばこのようなクエリがあったとき  ロジック紹介 - リレーションを持つテーブルのペアを推定  SELECT *
FROM Goods JOIN Category ON Goods.CategoryID = Category.ID

© ZOZO, Inc. 41 例えばこのようなクエリがあったとき  ロジック紹介 - リレーションを持つテーブルのペアを推定  SELECT *
FROM Goods JOIN Category ON Goods.CategoryID = Category.ID JOINで結ばれているカラムがあればペアの候補とし、２つのカラムのうちどちらか、もしくは両方がPKであればリレーションを持つものとして登録する（仮想的な外部キー制約を登録する）

© ZOZO, Inc. 42 ロジック紹介 - 0可なのか、必ず1レコード以上紐づくのかを推定  推定方法  本番環境DBに対して解析用のSQLクエリを実行し、結果で推定  ER図上の表記 
0可の場合の記号  1レコード以上紐づく場合の記号     

© ZOZO, Inc. 43 ロジック紹介 - 0可なのか、必ず1レコード以上紐づくのかを推定  SELECT DISTINCT TOP
1 @Column1 FROM @Table1 WHERE NOT EXISTS( SELECT * FROM @Table2 WHERE @Column1 = @Column2 ) ※SQL Serverの文法です ※TOP句は取得件数のlimitを指定する構文結果が返ってきたら Table2はTable1に1件以上紐づく  なければTable2はTable1に対して0件の可能性あり  Table1に対して、Table2は必ず1件以上紐づくのか否かを推定する 

1 Category.ID FROM Category WHERE NOT EXISTS( SELECT * FROM Goods WHERE Category.ID = Goods.CategoryID ) 例えばこのようなデータに対してクエリを実行すると...

1 Category.ID FROM Category WHERE NOT EXISTS( SELECT * FROM Goods WHERE Category.ID = Goods.CategoryID ) 例えばこのようなデータに対してクエリを実行すると... 「シューズ」に紐づくGoodsが無いのでNOT EXISTSに引っかかり、クエリ結果が1行返却される → Categoryに対してGoodsは、0件の場合もある

1 Category.ID FROM Category WHERE NOT EXISTS( SELECT * FROM Goods WHERE Category.ID = Goods.CategoryID ) 例えばこのようなデータに対してクエリを実行すると... 逆に、「シューズ」に紐づくGoodsが存在していればクエリ結果は0行となる → Categoryに対してGoodsは、1件以上紐づく ※その時点で1件以上紐付いていたというだけなので、今後もずっと必ず1件以上紐づくという断定はできない

SELECT DISTINCT TOP 1 @Column1 FROM @Table1 WHERE EXISTS( SELECT @Column2 FROM @Table2 WHERE @Column1 = @Column2 GROUP BY @Column2 HAVING COUNT(*) > 1 ) AND @Column1 IS NOT NULL ※SQL Serverの文法です ※TOP句は取得件数のlimitを指定する構文結果が返ってきたら Table1 : Table2 = 1 : N  なければ Table1 : Table2 = 1 : 1（の可能性あり） 

例えばこのようなデータに対してクエリを実行すると...  SELECT DISTINCT TOP 1 Category.ID FROM Category WHERE EXISTS( SELECT Goods.CategoryID FROM Goods WHERE Category.ID = Goods.CategoryID GROUP BY Goods.CategoryID HAVING COUNT(*) > 1 ) AND Category.ID IS NOT NULL

例えばこのようなデータに対してクエリを実行すると...  SELECT DISTINCT TOP 1 Category.ID FROM Category WHERE EXISTS( SELECT Goods.CategoryID FROM Goods WHERE Category.ID = Goods.CategoryID GROUP BY Goods.CategoryID HAVING COUNT(*) > 1 ) AND Category.ID IS NOT NULL EXISTSに引っかかる（Goodsを2個以上保有している）Categoryが無いため、結果は0件となる

SELECT DISTINCT TOP 1 Category.ID FROM Category WHERE EXISTS( SELECT Goods.CategoryID FROM Goods WHERE Category.ID = Goods.CategoryID GROUP BY Goods.CategoryID HAVING COUNT(*) > 1 ) AND Category.ID IS NOT NULL パンツがEXISTSに引っかかる（Goodsを2個以上保有している）ため、結果は1件となる

© ZOZO, Inc. 55 テーブル作成時のルール  • descriptionの入力必須化  • 外部キー制約登録を推奨  •
コード値を持つカラムは、descriptionに「【コード値】」と入力する  データカタログを整え続けるための仕組み作り 

ZOZOのデータカタログ内製事例と、 データカタログを整え続けるための仕組みづくりについて

ZOZOのデータカタログ内製事例と、 データカタログを整え続けるための仕組みづくりについて

More Decks by kenta yamamoto

Other Decks in Technology

Featured

Transcript

ZOZOのデータカタログ内製事例と、データカタログを整え続けるための仕組みづくりについて

ZOZOのデータカタログ内製事例と、データカタログを整え続けるための仕組みづくりについて