Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
タイミーのBraze活用 ~PUSH通知を活用したレコメンド~
Search
ozeshun
September 01, 2024
Technology
2
450
タイミーのBraze活用 ~PUSH通知を活用したレコメンド~
ozeshun
September 01, 2024
Tweet
Share
More Decks by ozeshun
See All by ozeshun
タイミーのレコメンドにおける ABテストの運用
ozeshun
4
530
タイミーにおける H3を活用したレコメンドの改善事例
ozeshun
5
3.4k
Other Decks in Technology
See All in Technology
管理者しか知らないOutlookの裏側のAIを覗く#AzureTravelers
hirotomotaguchi
2
410
プロダクトエンジニア構想を立ち上げ、プロダクト志向な組織への成長を続けている話 / grow into a product-oriented organization
hiro_torii
1
200
【Developers Summit 2025】プロダクトエンジニアから学ぶ、 ユーザーにより高い価値を届ける技術
niwatakeru
2
1.4k
Developer Summit 2025 [14-D-1] Yuki Hattori
yuhattor
19
6.2k
リーダブルテストコード 〜メンテナンスしやすい テストコードを作成する方法を考える〜 #DevSumi #DevSumiB / Readable test code
nihonbuson
11
7.2k
全文検索+セマンティックランカー+LLMの自然文検索サ−ビスで得られた知見
segavvy
2
110
Developers Summit 2025 浅野卓也(13-B-7 LegalOn Technologies)
legalontechnologies
PRO
0
720
Moved to https://speakerdeck.com/toshihue/presales-engineer-career-bridging-tech-biz-ja
toshihue
2
740
一度 Expo の採用を断念したけど、 再度 Expo の導入を検討している話
ichiki1023
1
170
現場の種を事業の芽にする - エンジニア主導のイノベーションを事業戦略に装着する方法 -
kzkmaeda
2
2.1k
開発スピードは上がっている…品質はどうする? スピードと品質を両立させるためのプロダクト開発の進め方とは #DevSumi #DevSumiB / Agile And Quality
nihonbuson
2
2.9k
Building Products in the LLM Era
ymatsuwitter
10
5.5k
Featured
See All Featured
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
12
960
VelocityConf: Rendering Performance Case Studies
addyosmani
328
24k
Practical Orchestrator
shlominoach
186
10k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
356
29k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
7
630
Imperfection Machines: The Place of Print at Facebook
scottboms
267
13k
Principles of Awesome APIs and How to Build Them.
keavy
126
17k
The Straight Up "How To Draw Better" Workshop
denniskardys
232
140k
Designing Experiences People Love
moore
140
23k
Keith and Marios Guide to Fast Websites
keithpitt
411
22k
How STYLIGHT went responsive
nonsquared
98
5.4k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
226
22k
Transcript
2024/08/29 タイミーのBraze活用 ~ PUSH通知を活用したレコメンド ~
自己紹介 株式会社タイミー プロダクトマーケティングG 松本 華奈 ▼プロフィール 新卒でファッション通販サイトを運営する会社に入社し、PMとして キャリアをスタート。総合通販を運営する会社に転職後、マーケティ ングツール全般のシステム周りを担当したことでマーケティング職へ の関心が高まり、2024年4月にタイミーに入社。
現在はプロダクトマーケティングG内のCRM担当として従事。
目次 • タイミーについて • タイミーとBraze • レコメンデーション施策
タイミーについて
None
6
タイミーとBraze
導入1年半で作ったキャンバスとキャンペーンの合計… 2,000個超
Brazeの活用方法内訳 今まで ほぼアドホックな配信(作業者が マンパワーで対応していた💪) ⇩⇩⇩ 過去の配信を経て、結果のよかっ たもののオートメーション化を推 進中🤖 アドホック配信 オートメーション配信
カスタムアトリ ビュート カタログ オートメーション配信時のデータ構成 ワーカーに付随する情報 例)レコメンドデータ、顧 客属性情報など… クライアントの情報 例)店舗名、URL、 残募集数など…
カスタムアト リビュート カタログ セレクション セレクション セレクション キャンペーン キャンバス キャンペーン
レコメンデーション施策
自己紹介 12 小関 俊祐(Shunsuke Ozeki)/ @ozeshun_ - お仕事 - 2022年にDSとしてタイミーに入社
- MLモデルの改善、ML pipelineの構築、 推薦API基盤の運用など幅広くやってます - 最近検索にも手を出し始めました - 趣味 - 野球全般。ロッテ、レンジャースが好き - 海外旅行 - 個人開発
目次 • 施策の概要 • 施策を実現したシステム • 施策の効果検証 • まとめ
施策の概要
施策の概要 直近で必要な稼働人数が足りていない店舗で、働いてくれそうなワーカーさんに 申し込みを訴求するPUSH配信をBraze経由で自動化する施策を行いました 明日の稼働が 埋まらなそう... 必要な人が集まった🙌 機械学習で働いてくれそうな ワーカーさんを予測 働ける お仕事ないかな
予測結果を連携 予測結果を元に PUSH配信 PUSH配信きっかけで 働きに行く
施策前に存在していた課題 1. 稼働が足りていない店舗があった時に、CSMからの依頼ベースでPUSH配信を人力で行っていた ので、工数が嵩んでいた 2. CSMからの依頼ベースでPUSH配信を行っていたので、稼働が埋まっていないのに何も施策を打 てていない店舗が存在していた 3. PUSH配信の対象のワーカーを手動で選んでいたので、溜まった稼働履歴などの豊富なデータを 活用出来ていなかった
→ 上記の課題を今回の機械学習を用いたPUSH配信の自動化によって解決しようとした
施策を実現したシステム
Brazeを活用したPUSH配信自動化システムの全体図 - BigQuery上に蓄積したワーカー・店舗のデータを抽出 - Vertex AI Pipelinesで予測モデルの構築・モデルによる予測を行い、BigQueryに予測結果を書き込む - 最後に「クラウドデータ取り込み」機能を使って、BigQueryからBrazeへ転送 BQ
to Brazeへの連携が手軽な事もあり、 2週間足らずで実装できました 🙌
Brazeのクラウドデータ取り込み機能の注意点 1. 成功・失敗通知先に指定できるのがメールアドレスのみで、slackのchを直接指定できない - slackのインテグレーションからメールアドレスを発行すれば、slackに通知は飛ばせるが、失敗 時にメンションを飛ばすなどの工夫をするのがちょっと大変 - (私達はGASで実装しました) 2. 失敗を意図的に起こすことが難しいので、失敗通知のデバッグが出来ない
- 取り込み元のデータを削除しても失敗と判定されないなど失敗の判定基準が寛容 - 失敗と判定されても Braze からは詳細なエラーメッセージが見れない 3. UPDATED_AT, EXTERNAL_ID以外に連携する情報は、PAYLOADカラムにJSON形式で格納する必要 がある → 1, 2については、良い方法をご存知の方がいらっしゃれば教えていただけると嬉しいです! なければ今後の機能追加に期待しております! 参考: クラウドデータ取り込み機能
施策の効果検証
実験設計 店舗を以下の群に分けて、1ヶ月間のABテストを実施した Test 群 - 今回のPUSH配信を適用する Control 群 - 何もしない
21
実験の結果 Test群において - 成果が出たこと - 以下の条件に当てはまる店舗において、KPIの向上が観測出来た - 周辺に居住しているワーカーが少なめな店舗 - 特殊な資格を必要とする店舗 -
成果がはっきりと出ず今後もっと深堀していきたいこと - 周辺に居住しているワーカーが多い店舗に対する効果的なPUSH配信の仕方 - どういったワーカーに PUSH が効果的なのか? - どういったワーカーとクライアントの組み合わせに PUSH が効果的なのか? 22
まとめ
まとめ 今回行った施策 - 直近で必要な稼働人数が足りていない店舗で、働いてくれそうなワーカーさんに 申し込みを訴求するPUSH配信をBraze経由で自動化する施策行った 施策をどう実現したか - Google Cloudのサービス(BigQuery, Vertex
AI Pipelines, Cloud Composer)と Brazeを連携して、蓄積したデータとMLモデルを活用したPUSH配信を実現した 施策の結果 - 特定の性質を持つ店舗に対してKPIの向上が見られた 24