Tweet
Tweet

Slide 1

Slide 1 text

2024/08/29　 タイミーのBraze活用 ~ PUSH通知を活用したレコメンド ~

Slide 2

Slide 2 text

自己紹介 株式会社タイミー プロダクトマーケティングG 松本 華奈 ▼プロフィール 新卒でファッション通販サイトを運営する会社に入社し、PMとして キャリアをスタート。総合通販を運営する会社に転職後、マーケティ ングツール全般のシステム周りを担当したことでマーケティング職へ の関心が高まり、2024年4月にタイミーに入社。 現在はプロダクトマーケティングG内のCRM担当として従事。

Slide 3

Slide 3 text

目次 ● タイミーについて ● タイミーとBraze ● レコメンデーション施策

Slide 4

Slide 4 text

タイミーについて

Slide 5

Slide 5 text

No content

Slide 6

Slide 6 text

6

Slide 7

Slide 7 text

タイミーとBraze

Slide 8

Slide 8 text

導入1年半で作ったキャンバスとキャンペーンの合計… 2,000個超

Slide 9

Slide 9 text

Brazeの活用方法内訳 今まで ほぼアドホックな配信（作業者が マンパワーで対応していた💪） ⇩⇩⇩ 過去の配信を経て、結果のよかっ たもののオートメーション化を推 進中🤖 アドホック配信 オートメーション配信

Slide 10

Slide 10 text

カスタムアトリ ビュート カタログ オートメーション配信時のデータ構成 ワーカーに付随する情報 例）レコメンドデータ、顧 客属性情報など… クライアントの情報 例）店舗名、URL、 残募集数など… カスタムアト リビュート カタログ セレクション セレクション セレクション キャンペーン キャンバス キャンペーン

Slide 11

Slide 11 text

レコメンデーション施策

Slide 12

Slide 12 text

自己紹介 12 小関 俊祐（Shunsuke Ozeki）/ @ozeshun_ - お仕事 - 2022年にDSとしてタイミーに入社 - MLモデルの改善、ML pipelineの構築、 推薦API基盤の運用など幅広くやってます - 最近検索にも手を出し始めました - 趣味 - 野球全般。ロッテ、レンジャースが好き - 海外旅行 - 個人開発

Slide 13

Slide 13 text

目次 ● 施策の概要 ● 施策を実現したシステム ● 施策の効果検証 ● まとめ

Slide 14

Slide 14 text

施策の概要

Slide 15

Slide 15 text

施策の概要 直近で必要な稼働人数が足りていない店舗で、働いてくれそうなワーカーさんに 申し込みを訴求するPUSH配信をBraze経由で自動化する施策を行いました 明日の稼働が 埋まらなそう... 必要な人が集まった🙌 機械学習で働いてくれそうな ワーカーさんを予測 働ける お仕事ないかな 予測結果を連携 予測結果を元に PUSH配信 PUSH配信きっかけで 働きに行く

Slide 16

Slide 16 text

施策前に存在していた課題 1. 稼働が足りていない店舗があった時に、CSMからの依頼ベースでPUSH配信を人力で行っていた ので、工数が嵩んでいた 2. CSMからの依頼ベースでPUSH配信を行っていたので、稼働が埋まっていないのに何も施策を打 てていない店舗が存在していた 3. PUSH配信の対象のワーカーを手動で選んでいたので、溜まった稼働履歴などの豊富なデータを 活用出来ていなかった → 上記の課題を今回の機械学習を用いたPUSH配信の自動化によって解決しようとした

Slide 17

Slide 17 text

施策を実現したシステム

Slide 18

Slide 18 text

Brazeを活用したPUSH配信自動化システムの全体図 - BigQuery上に蓄積したワーカー・店舗のデータを抽出 - Vertex AI Pipelinesで予測モデルの構築・モデルによる予測を行い、BigQueryに予測結果を書き込む - 最後に「クラウドデータ取り込み」機能を使って、BigQueryからBrazeへ転送 BQ to Brazeへの連携が手軽な事もあり、 2週間足らずで実装できました 🙌

Slide 19

Slide 19 text

Brazeのクラウドデータ取り込み機能の注意点 1. 成功・失敗通知先に指定できるのがメールアドレスのみで、slackのchを直接指定できない - slackのインテグレーションからメールアドレスを発行すれば、slackに通知は飛ばせるが、失敗 時にメンションを飛ばすなどの工夫をするのがちょっと大変 - （私達はGASで実装しました） 2. 失敗を意図的に起こすことが難しいので、失敗通知のデバッグが出来ない - 取り込み元のデータを削除しても失敗と判定されないなど失敗の判定基準が寛容 - 失敗と判定されても Braze からは詳細なエラーメッセージが見れない 3. UPDATED_AT, EXTERNAL_ID以外に連携する情報は、PAYLOADカラムにJSON形式で格納する必要 がある → 1, 2については、良い方法をご存知の方がいらっしゃれば教えていただけると嬉しいです！ なければ今後の機能追加に期待しております！ 参考: クラウドデータ取り込み機能

Slide 20

Slide 20 text

施策の効果検証

Slide 21

Slide 21 text

実験設計 店舗を以下の群に分けて、1ヶ月間のABテストを実施した Test 群 - 今回のPUSH配信を適用する Control 群 - 何もしない 21

Slide 22

Slide 22 text

実験の結果 Test群において -　成果が出たこと - 以下の条件に当てはまる店舗において、KPIの向上が観測出来た - 周辺に居住しているワーカーが少なめな店舗 - 特殊な資格を必要とする店舗 - 成果がはっきりと出ず今後もっと深堀していきたいこと - 周辺に居住しているワーカーが多い店舗に対する効果的なPUSH配信の仕方 - どういったワーカーに PUSH が効果的なのか？ - どういったワーカーとクライアントの組み合わせに PUSH が効果的なのか？ 22

Slide 23

Slide 23 text

まとめ

Slide 24

Slide 24 text

まとめ 今回行った施策 - 直近で必要な稼働人数が足りていない店舗で、働いてくれそうなワーカーさんに 　　申し込みを訴求するPUSH配信をBraze経由で自動化する施策行った 施策をどう実現したか - Google Cloudのサービス（BigQuery, Vertex AI Pipelines, Cloud Composer)と Brazeを連携して、蓄積したデータとMLモデルを活用したPUSH配信を実現した 施策の結果 - 特定の性質を持つ店舗に対してKPIの向上が見られた 24