Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
タイミーのBraze活用 ~PUSH通知を活用したレコメンド~
Search
ozeshun
September 01, 2024
Technology
2
160
タイミーのBraze活用 ~PUSH通知を活用したレコメンド~
ozeshun
September 01, 2024
Tweet
Share
More Decks by ozeshun
See All by ozeshun
タイミーにおける H3を活用したレコメンドの改善事例
ozeshun
5
2.8k
Other Decks in Technology
See All in Technology
Oracle Base Database Service:サービス概要のご紹介
oracle4engineer
PRO
0
13k
事前準備が肝!AI活用のための業務改革
layerx
PRO
1
150
Zero Data Loss Autonomous Recovery Service サービス概要
oracle4engineer
PRO
0
3.2k
Developer Experienceを向上させる基盤づくりの取り組み事例集
coconala_engineer
0
110
難しいから面白い!医薬品×在庫管理ドメインの複雑性と向き合い、プロダクトの成長を支えるための取り組み / Initiatives to Support Product Growth
kakehashi
2
190
20240912 JJUGナイトセミナー
mii1004
0
130
自社開発した大規模言語モデルをどうプロダクションに乗せて運用していくか〜インフラ編〜
pfn
PRO
24
6.9k
OCI で始める!! Red Hat OpenShift / Get Started OpenShift on OCI
oracle4engineer
PRO
1
130
四国クラウドお遍路 2024 in 高知 オープニング
yukataoka
0
190
四国クラウドお遍路 2024 in 高知 エンディング
yukataoka
0
190
サイボウズ 開発本部採用ピッチ / Cybozu Engineer Recruit
cybozuinsideout
PRO
9
41k
EitherT_with_Future
aoiroaoino
1
1.1k
Featured
See All Featured
Optimising Largest Contentful Paint
csswizardry
29
2.8k
The Pragmatic Product Professional
lauravandoore
31
6.2k
Web Components: a chance to create the future
zenorocha
308
42k
Designing with Data
zakiwarfel
98
5k
Making the Leap to Tech Lead
cromwellryan
128
8.8k
Designing on Purpose - Digital PM Summit 2013
jponch
113
6.8k
Git: the NoSQL Database
bkeepers
PRO
425
64k
Thoughts on Productivity
jonyablonski
66
4.2k
Done Done
chrislema
180
16k
For a Future-Friendly Web
brad_frost
174
9.3k
GraphQLとの向き合い方2022年版
quramy
43
13k
Fashionably flexible responsive web design (full day workshop)
malarkey
401
65k
Transcript
2024/08/29 タイミーのBraze活用 ~ PUSH通知を活用したレコメンド ~
自己紹介 株式会社タイミー プロダクトマーケティングG 松本 華奈 ▼プロフィール 新卒でファッション通販サイトを運営する会社に入社し、PMとして キャリアをスタート。総合通販を運営する会社に転職後、マーケティ ングツール全般のシステム周りを担当したことでマーケティング職へ の関心が高まり、2024年4月にタイミーに入社。
現在はプロダクトマーケティングG内のCRM担当として従事。
目次 • タイミーについて • タイミーとBraze • レコメンデーション施策
タイミーについて
None
6
タイミーとBraze
導入1年半で作ったキャンバスとキャンペーンの合計… 2,000個超
Brazeの活用方法内訳 今まで ほぼアドホックな配信(作業者が マンパワーで対応していた💪) ⇩⇩⇩ 過去の配信を経て、結果のよかっ たもののオートメーション化を推 進中🤖 アドホック配信 オートメーション配信
カスタムアトリ ビュート カタログ オートメーション配信時のデータ構成 ワーカーに付随する情報 例)レコメンドデータ、顧 客属性情報など… クライアントの情報 例)店舗名、URL、 残募集数など…
カスタムアト リビュート カタログ セレクション セレクション セレクション キャンペーン キャンバス キャンペーン
レコメンデーション施策
自己紹介 12 小関 俊祐(Shunsuke Ozeki)/ @ozeshun_ - お仕事 - 2022年にDSとしてタイミーに入社
- MLモデルの改善、ML pipelineの構築、 推薦API基盤の運用など幅広くやってます - 最近検索にも手を出し始めました - 趣味 - 野球全般。ロッテ、レンジャースが好き - 海外旅行 - 個人開発
目次 • 施策の概要 • 施策を実現したシステム • 施策の効果検証 • まとめ
施策の概要
施策の概要 直近で必要な稼働人数が足りていない店舗で、働いてくれそうなワーカーさんに 申し込みを訴求するPUSH配信をBraze経由で自動化する施策を行いました 明日の稼働が 埋まらなそう... 必要な人が集まった🙌 機械学習で働いてくれそうな ワーカーさんを予測 働ける お仕事ないかな
予測結果を連携 予測結果を元に PUSH配信 PUSH配信きっかけで 働きに行く
施策前に存在していた課題 1. 稼働が足りていない店舗があった時に、CSMからの依頼ベースでPUSH配信を人力で行っていた ので、工数が嵩んでいた 2. CSMからの依頼ベースでPUSH配信を行っていたので、稼働が埋まっていないのに何も施策を打 てていない店舗が存在していた 3. PUSH配信の対象のワーカーを手動で選んでいたので、溜まった稼働履歴などの豊富なデータを 活用出来ていなかった
→ 上記の課題を今回の機械学習を用いたPUSH配信の自動化によって解決しようとした
施策を実現したシステム
Brazeを活用したPUSH配信自動化システムの全体図 - BigQuery上に蓄積したワーカー・店舗のデータを抽出 - Vertex AI Pipelinesで予測モデルの構築・モデルによる予測を行い、BigQueryに予測結果を書き込む - 最後に「クラウドデータ取り込み」機能を使って、BigQueryからBrazeへ転送 BQ
to Brazeへの連携が手軽な事もあり、 2週間足らずで実装できました 🙌
Brazeのクラウドデータ取り込み機能の注意点 1. 成功・失敗通知先に指定できるのがメールアドレスのみで、slackのchを直接指定できない - slackのインテグレーションからメールアドレスを発行すれば、slackに通知は飛ばせるが、失敗 時にメンションを飛ばすなどの工夫をするのがちょっと大変 - (私達はGASで実装しました) 2. 失敗を意図的に起こすことが難しいので、失敗通知のデバッグが出来ない
- 取り込み元のデータを削除しても失敗と判定されないなど失敗の判定基準が寛容 - 失敗と判定されても Braze からは詳細なエラーメッセージが見れない 3. UPDATED_AT, EXTERNAL_ID以外に連携する情報は、PAYLOADカラムにJSON形式で格納する必要 がある → 1, 2については、良い方法をご存知の方がいらっしゃれば教えていただけると嬉しいです! なければ今後の機能追加に期待しております! 参考: クラウドデータ取り込み機能
施策の効果検証
実験設計 店舗を以下の群に分けて、1ヶ月間のABテストを実施した Test 群 - 今回のPUSH配信を適用する Control 群 - 何もしない
21
実験の結果 Test群において - 成果が出たこと - 以下の条件に当てはまる店舗において、KPIの向上が観測出来た - 周辺に居住しているワーカーが少なめな店舗 - 特殊な資格を必要とする店舗 -
成果がはっきりと出ず今後もっと深堀していきたいこと - 周辺に居住しているワーカーが多い店舗に対する効果的なPUSH配信の仕方 - どういったワーカーに PUSH が効果的なのか? - どういったワーカーとクライアントの組み合わせに PUSH が効果的なのか? 22
まとめ
まとめ 今回行った施策 - 直近で必要な稼働人数が足りていない店舗で、働いてくれそうなワーカーさんに 申し込みを訴求するPUSH配信をBraze経由で自動化する施策行った 施策をどう実現したか - Google Cloudのサービス(BigQuery, Vertex
AI Pipelines, Cloud Composer)と Brazeを連携して、蓄積したデータとMLモデルを活用したPUSH配信を実現した 施策の結果 - 特定の性質を持つ店舗に対してKPIの向上が見られた 24