Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
タイミーのBraze活用 ~PUSH通知を活用したレコメンド~
Search
ozeshun
September 01, 2024
Technology
2
720
タイミーのBraze活用 ~PUSH通知を活用したレコメンド~
ozeshun
September 01, 2024
Tweet
Share
More Decks by ozeshun
See All by ozeshun
タイミーのレコメンドにおける ABテストの運用
ozeshun
4
690
タイミーにおける H3を活用したレコメンドの改善事例
ozeshun
5
3.7k
Other Decks in Technology
See All in Technology
組織内、組織間の資産保護に必要なアイデンティティ基盤と関連技術の最新動向
fujie
0
500
名刺メーカーDevグループ 紹介資料
sansan33
PRO
0
840
データエンジニアリング 4年前と変わったこと、 4年前と変わらないこと
tanakarian
2
340
All About Sansan – for New Global Engineers
sansan33
PRO
1
1.2k
今日からあなたもGeminiを好きになる
subaruhello
1
550
Introduction to Sansan for Engineers / エンジニア向け会社紹介
sansan33
PRO
5
39k
Expertise as a Service via MCP
yodakeisuke
1
140
Microsoft Defender XDRで疲弊しないためのインシデント対応
sophiakunii
3
400
OTel 公式ドキュメント翻訳 PJ から始めるコミュニティ活動/Community activities starting with the OTel official document translation project
msksgm
0
200
そもそも AWS FIS について。なぜ今 FIS のハンズオンなのか?などなど
kazzpapa3
2
110
TROCCO今昔
gtnao
0
210
SREを知らずに SREマネージャーになった話 / How I Became an SRE Manager Without Knowing What SRE Is
moneyforward
0
280
Featured
See All Featured
Intergalactic Javascript Robots from Outer Space
tanoku
271
27k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
15
1.6k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
29
2.8k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
10
990
Building Adaptive Systems
keathley
43
2.7k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
53
2.9k
How GitHub (no longer) Works
holman
314
140k
Designing Experiences People Love
moore
142
24k
Producing Creativity
orderedlist
PRO
346
40k
Rails Girls Zürich Keynote
gr2m
95
14k
Put a Button on it: Removing Barriers to Going Fast.
kastner
60
3.9k
Testing 201, or: Great Expectations
jmmastey
43
7.6k
Transcript
2024/08/29 タイミーのBraze活用 ~ PUSH通知を活用したレコメンド ~
自己紹介 株式会社タイミー プロダクトマーケティングG 松本 華奈 ▼プロフィール 新卒でファッション通販サイトを運営する会社に入社し、PMとして キャリアをスタート。総合通販を運営する会社に転職後、マーケティ ングツール全般のシステム周りを担当したことでマーケティング職へ の関心が高まり、2024年4月にタイミーに入社。
現在はプロダクトマーケティングG内のCRM担当として従事。
目次 • タイミーについて • タイミーとBraze • レコメンデーション施策
タイミーについて
None
6
タイミーとBraze
導入1年半で作ったキャンバスとキャンペーンの合計… 2,000個超
Brazeの活用方法内訳 今まで ほぼアドホックな配信(作業者が マンパワーで対応していた💪) ⇩⇩⇩ 過去の配信を経て、結果のよかっ たもののオートメーション化を推 進中🤖 アドホック配信 オートメーション配信
カスタムアトリ ビュート カタログ オートメーション配信時のデータ構成 ワーカーに付随する情報 例)レコメンドデータ、顧 客属性情報など… クライアントの情報 例)店舗名、URL、 残募集数など…
カスタムアト リビュート カタログ セレクション セレクション セレクション キャンペーン キャンバス キャンペーン
レコメンデーション施策
自己紹介 12 小関 俊祐(Shunsuke Ozeki)/ @ozeshun_ - お仕事 - 2022年にDSとしてタイミーに入社
- MLモデルの改善、ML pipelineの構築、 推薦API基盤の運用など幅広くやってます - 最近検索にも手を出し始めました - 趣味 - 野球全般。ロッテ、レンジャースが好き - 海外旅行 - 個人開発
目次 • 施策の概要 • 施策を実現したシステム • 施策の効果検証 • まとめ
施策の概要
施策の概要 直近で必要な稼働人数が足りていない店舗で、働いてくれそうなワーカーさんに 申し込みを訴求するPUSH配信をBraze経由で自動化する施策を行いました 明日の稼働が 埋まらなそう... 必要な人が集まった🙌 機械学習で働いてくれそうな ワーカーさんを予測 働ける お仕事ないかな
予測結果を連携 予測結果を元に PUSH配信 PUSH配信きっかけで 働きに行く
施策前に存在していた課題 1. 稼働が足りていない店舗があった時に、CSMからの依頼ベースでPUSH配信を人力で行っていた ので、工数が嵩んでいた 2. CSMからの依頼ベースでPUSH配信を行っていたので、稼働が埋まっていないのに何も施策を打 てていない店舗が存在していた 3. PUSH配信の対象のワーカーを手動で選んでいたので、溜まった稼働履歴などの豊富なデータを 活用出来ていなかった
→ 上記の課題を今回の機械学習を用いたPUSH配信の自動化によって解決しようとした
施策を実現したシステム
Brazeを活用したPUSH配信自動化システムの全体図 - BigQuery上に蓄積したワーカー・店舗のデータを抽出 - Vertex AI Pipelinesで予測モデルの構築・モデルによる予測を行い、BigQueryに予測結果を書き込む - 最後に「クラウドデータ取り込み」機能を使って、BigQueryからBrazeへ転送 BQ
to Brazeへの連携が手軽な事もあり、 2週間足らずで実装できました 🙌
Brazeのクラウドデータ取り込み機能の注意点 1. 成功・失敗通知先に指定できるのがメールアドレスのみで、slackのchを直接指定できない - slackのインテグレーションからメールアドレスを発行すれば、slackに通知は飛ばせるが、失敗 時にメンションを飛ばすなどの工夫をするのがちょっと大変 - (私達はGASで実装しました) 2. 失敗を意図的に起こすことが難しいので、失敗通知のデバッグが出来ない
- 取り込み元のデータを削除しても失敗と判定されないなど失敗の判定基準が寛容 - 失敗と判定されても Braze からは詳細なエラーメッセージが見れない 3. UPDATED_AT, EXTERNAL_ID以外に連携する情報は、PAYLOADカラムにJSON形式で格納する必要 がある → 1, 2については、良い方法をご存知の方がいらっしゃれば教えていただけると嬉しいです! なければ今後の機能追加に期待しております! 参考: クラウドデータ取り込み機能
施策の効果検証
実験設計 店舗を以下の群に分けて、1ヶ月間のABテストを実施した Test 群 - 今回のPUSH配信を適用する Control 群 - 何もしない
21
実験の結果 Test群において - 成果が出たこと - 以下の条件に当てはまる店舗において、KPIの向上が観測出来た - 周辺に居住しているワーカーが少なめな店舗 - 特殊な資格を必要とする店舗 -
成果がはっきりと出ず今後もっと深堀していきたいこと - 周辺に居住しているワーカーが多い店舗に対する効果的なPUSH配信の仕方 - どういったワーカーに PUSH が効果的なのか? - どういったワーカーとクライアントの組み合わせに PUSH が効果的なのか? 22
まとめ
まとめ 今回行った施策 - 直近で必要な稼働人数が足りていない店舗で、働いてくれそうなワーカーさんに 申し込みを訴求するPUSH配信をBraze経由で自動化する施策行った 施策をどう実現したか - Google Cloudのサービス(BigQuery, Vertex
AI Pipelines, Cloud Composer)と Brazeを連携して、蓄積したデータとMLモデルを活用したPUSH配信を実現した 施策の結果 - 特定の性質を持つ店舗に対してKPIの向上が見られた 24