データをコネコネ！メール配信用データ生成の仕組み

by kappezoro

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

© ZOZO, Inc. https://zozo.jp/  4 ● ファッションEC  ● 1,500以上のショップ、8,400以上のブランドの取り扱い  ● 常時90万点以上の商品アイテム数と毎日平均2,600点以上の新着商品を掲載（2022年3月末時点）  ● ブランド古着のファッションゾーン「ZOZOUSED」や  コスメ専門モール「ZOZOCOSME」、靴の専門モール  「ZOZOSHOES」、ラグジュアリー＆デザイナーズゾーン  「ZOZOVILLA」を展開  ● 即日配送サービス  ● ギフトラッピングサービス  ● ツケ払いなど 

Slide 5

Slide 5 text

© ZOZO, Inc. https://wear.jp/  5 ● ファッションコーディネートアプリ  ● 1,600万ダウンロード突破、コーディネート投稿総数は1,200万件以上（2022年3月末時点）  ● ピックアップタグから最新のトレンドをチェック  ● コーディネート着用アイテムを公式サイトで購入可能  ● WEAR公認の人気ユーザーをWEARISTAと認定。モデル・タレント・デザイナー・インフルエンサーといった各界著名人も参加 

Slide 6

Slide 6 text

© ZOZO, Inc. 6 https://zozo.jp/zozoglass/  ● 自宅で簡単・高精度にご自身の顔の肌の色を計測できるフェイスカラー計測ツール ● ECにおけるコスメ購入時の課題であった「色選び」に関する不安や悩みを解消 ● 肌の色を構成する成分、ヘモグロビン量とメラニン量を画像から推定 ● コスメ専門モール「ZOZOCOSME」で取り扱うベースメイクの一部に対応 ● 計測者数110万人を突破（2022年1月末時点）

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

© ZOZO, Inc. 20 Digdag on GKE Autopilot 楽々スケール Digdag on GKE Autopilot の紹介とその運用Tips  ↓↓詳しくはこちらのテックブログに載ってます！↓↓ ● podが実行taskごとに立ち上がって実行 →並列で動かしても他の実行taskが影響を受けない！ ● digファイルでtaskごとのリソース設定可能 →重いtaskだけリソース上げればいい →コスト最適化！リソース設定これだけ！弊社社員からDigdag本家へContributeも... https://techblog.zozo.com/entry/digdag-on-gke-autopilot

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

© ZOZO, Inc. 25 1. BigQuery → PostgreSQLへ必要データを連携 2. PostgreSQL と SQL Serverデータからデータ抽出し配信用データ生成 PostgreSQL: - 前処理で各キャンペーンの配信対象者リストを格納 - パーソナライズ配信実績を格納 - アプリケーションで利用する各種実績集計値を格納 SQLServer: - 商品情報、対象者の詳細情報等

Slide 26

Slide 26 text

© ZOZO, Inc. 26 1. BigQuery → PostgreSQLへ必要データを連携 2. PostgreSQL と SQL Serverデータからデータ抽出し配信用データ生成 PostgreSQL: - 前処理で各キャンペーンの配信対象者リストを格納 - パーソナライズ配信実績を格納 - アプリケーションで利用する各種実績集計値を格納 SQLServer: - 商品情報、対象者の詳細情報等ここで問題発生

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Slide 32

Slide 32 text

Slide 33

Slide 33 text

Slide 34

Slide 34 text

Slide 35

Slide 35 text

Slide 36

Slide 36 text

Slide 37

Slide 37 text

Slide 38

Slide 38 text

Slide 39

Slide 39 text

Slide 40

Slide 40 text

© ZOZO, Inc. 40 クエリの冗長化を防げる、中間データを確認しやすい、too complex….. の不安解消メリットは？クエリの冗長化を防ぐメリットってなんなの？長く運用すれば共通ロジックの変更が発生する後の修正コストを下げるメリットありクエリをリファクタすれば後々の効率upにつながる ※PDCAが落ち着いてきた頃がオススメクエリ作っても継続的に使われるかわからないじゃん継続利用されるまで(結果が出るまで)はリファクタは借金してもよいそれほど使われなくなるクエリは多く出る最初からやっとくと追加改善はしやすくなる※個人の意見です