Upgrade to Pro — share decks privately, control downloads, hide ads and more …

データをコネコネ!メール配信用データ生成の仕組み

kappezoro
August 03, 2022

 データをコネコネ!メール配信用データ生成の仕組み

- 4月の登壇資料
https://speakerdeck.com/kappezoro/gorigori-bigquery

- テックブログ

楽々スケール Digdag on GKE Autopilot の紹介とその運用Tips
https://techblog.zozo.com/entry/digdag-on-gke-autopilot

オンプレDWHをBigQueryに移行した話
https://techblog.zozo.com/entry/migration-on-premise-dwh-etl-to-bigquery-digdag

リアルタイムマーケティングシステムの紹介とそのリプレイス計画
https://techblog.zozo.com/entry/real-time-marketing-system

- 採用募集リンク

マーケティングオートメーション(SRE)
https://hrmos.co/pages/zozotech/jobs/0000196

マーケティングオートメーション(バックエンド)
https://hrmos.co/pages/zozotech/jobs/0000197

kappezoro

August 03, 2022
Tweet

More Decks by kappezoro

Other Decks in Technology

Transcript

  1. © ZOZO, Inc. 今日話すこと
 2 • 自己紹介・会社紹介 • メール配信までの流れ ◦

    コネコネ①:BigQuery → ファイル(EMail SaaS) ◦ コネコネ②:PostgreSQL → BigQuery → PostgreSQL ◦ コネコネ③:BigQuery → 長く永いクエリ → BigQuery • 関連ブログ紹介・採用募集
  2. © ZOZO, Inc. 株式会社ZOZO
 技術本部 MA部 MA施策・運用改善ブロック 辻岡 温子
 2020年5月に入社

    MA(マーケティングオートメーション)に関わる メルマガ・Push配信等に必要なデータ抽出及び 配信システムの運用・開発を行っているバックエンドエンジニア 
 3
  3. © ZOZO, Inc. https://zozo.jp/
 4 • ファッションEC
 • 1,500以上のショップ、8,400以上のブランドの取り扱い
 •

    常時90万点以上の商品アイテム数と毎日平均2,600点以上の新着 商 品を掲載(2022年3月末時点)
 • ブランド古着のファッションゾーン「ZOZOUSED」や
 コスメ専門モール「ZOZOCOSME」、靴の専門モール
 「ZOZOSHOES」、ラグジュアリー&デザイナーズゾーン
 「ZOZOVILLA」を展開
 • 即日配送サービス
 • ギフトラッピングサービス
 • ツケ払い など

  4. © ZOZO, Inc. https://wear.jp/
 5 • ファッションコーディネートアプリ
 • 1,600万ダウンロード突破、コーディネート投稿総数は1,200万件以上 (2022年3月末時点)


    • ピックアップタグから最新のトレンドをチェック
 • コーディネート着用アイテムを公式サイトで購入可能
 • WEAR公認の人気ユーザーをWEARISTAと認定。モデル・タレント・デザ イナー・インフルエンサーといった各界著名人も参加

  5. © ZOZO, Inc. 6 https://zozo.jp/zozoglass/
 • 自宅で簡単・高精度にご自身の顔の肌の色を計測できる フェイスカラー計測ツール • ECにおけるコスメ購入時の課題であった「色選び」に関する

    不安や悩みを解消 • 肌の色を構成する成分、ヘモグロビン量とメラニン量を画像 から推定 • コスメ専門モール「ZOZOCOSME」で取り扱うベースメイク の一部に対応 • 計測者数110万人を突破(2022年1月末時点)
  6. © ZOZO, Inc. 11 • マス配信 ◦ 定期実行または配信施策に応じてスケジュール・配信 • パーソナライズ配信

    ◦ 特定条件の対象者に対して時間やチャネルを最適化した上で配信 MAのメール配信システムの種類について
  7. © ZOZO, Inc. 18 マスメール配信について • 配信ボリュームが多いため ◦ 1施策1csvだとSaaSのファイルサイズ規定上限超過 ◦

    ファイル分割配信x直列だとSLA超過 • 並列実行するとして ◦ 配信時のみスケールアウトしたい ◦ 配信時のみリソース増やしたい
  8. © ZOZO, Inc. 19 マスメール配信について • 配信ボリュームが多いため ◦ 1施策1csvだとSaaSのファイルサイズ規定上限超過 ◦

    ファイル分割配信x直列だとSLA超過 • 並列実行するとして ◦ 配信時のみスケールアウトしたい ◦ 配信時のみリソース増やしたい そこでDigdag On GKE
  9. © ZOZO, Inc. 20 Digdag on GKE Autopilot 楽々スケール Digdag

    on GKE Autopilot の紹介とその運用Tips
 ↓↓詳しくはこちらのテックブログに載ってます!↓↓ • podが実行taskごとに立ち上がって実行 →並列で動かしても他の実行taskが影響を受けない! • digファイルでtaskごとのリソース設定可能 →重いtaskだけリソース上げればいい →コスト最適化! リソース設定これだけ! 弊社社員からDigdag本家へContributeも... https://techblog.zozo.com/entry/digdag-on-gke-autopilot
  10. © ZOZO, Inc. 25 1. BigQuery → PostgreSQLへ必要データを連携 2. PostgreSQL

    と SQL Serverデータからデータ抽出し配信用データ生成 PostgreSQL: - 前処理で各キャンペーンの配信対象者リストを格納 - パーソナライズ配信実績を格納 - アプリケーションで利用する各種実績集計値を格納 SQLServer: - 商品情報、対象者の詳細情報等
  11. © ZOZO, Inc. 26 1. BigQuery → PostgreSQLへ必要データを連携 2. PostgreSQL

    と SQL Serverデータからデータ抽出し配信用データ生成 PostgreSQL: - 前処理で各キャンペーンの配信対象者リストを格納 - パーソナライズ配信実績を格納 - アプリケーションで利用する各種実績集計値を格納 SQLServer: - 商品情報、対象者の詳細情報等 ここで問題発生
  12. © ZOZO, Inc. 40 クエリの冗長化を防げる、中間データを確認しやすい、too complex….. の不安解消 メリットは? クエリの冗長化を防ぐメリットってなんなの? 長く運用すれば共通ロジックの変更が発生する

    後の修正コストを下げるメリットあり クエリをリファクタすれば後々の効率upにつながる ※PDCAが落ち着いてきた頃がオススメ クエリ作っても継続的に使われるかわからないじゃん 継続利用されるまで(結果が出るまで)はリファクタは借金してもよい それほど使われなくなるクエリは多く出る 最初からやっとくと追加改善はしやすくなる※個人の意見です