データサイエンティスト・プロジェクトマネージャー二人三脚の小売DX

リアルな世界でのユーザー体験を変える小売DXでは，インターネットサービスと異なるさまざまな障壁があります。例えば，施策を改善するための理想的なデータがない，施策の効果を測る手段が顧客と一致しない，施策実施のためのオペレーションの考慮が必要である，などです。本セッションでは，データサイエンティストとプロジェクトマネージャーが二人三脚で，ある小売企業のクーポン配布施策に取り組んだことについて話します。

link
https://speakerdeck.com/cyberagentdevelopers/puroziekutomaneziyaer-ren-san-jiao-falsexiao-mai-dx
https://ca-base-next.cyberagent.co.jp/2022/sessions/dx-data-science/
https://ca-base-next.cyberagent.co.jp/2022/sessions/ds-for-app-coupon/
https://speakerdeck.com/ko_fujita1/how-data-scientists-can-help-startups
https://www.cyberagent.co.jp/way/list/detail/id=24754

Transcript

1. 藤田 光明 @6km6km AI事業本部 小売セクター データサイエンティスト
2. 藤田 光明 @6km6km AI事業本部 小売セクター データサイエンティスト
3. これまでの経歴 インターネット広告配信プロダクトでの開発 小売の購買データを活用した広告プロダクトの立ち上げ 現在：小売アプリのグロース https://speakerdeck.com/ko_fujita1 https://www.cyberagent.co.jp/way/list/detail/id=24754
4. 小売企業との”協業DX”を加速中
5. 小売企業との”協業DX”を加速中 決算資料より抜粋
6. データサイエンスの観点で見ると... 小売にも展開したい！ データサイエンスで ビジネス貢献した実績
7. 「インターネットの当たり前」で考えてしまうと 小売企業との協業DXの障壁はたくさんある データが もらえない 店舗オペレー ション AIって 効果あるの？ とりあえず PoCだけ... ベンダーとの兼 ね合い 社内調整...
8. データサイエンティスト（DS）がよく直面する課題 • データはある！！（POSデータなど） • 施策に関するデータはない... ◦ 例：クーポン，チラシ，店舗内施策，割引，テレビ広告 ◦ あっても不十分だったり，まとまっていなかったり • 施策は「きれいな」実験がされているわけではない ◦ ランダム化（A/Bテスト）など インターネット（＝オンライン）と 小売（＝オフライン）の大きな違い
9. データサイエンティスト（DS）の役割を考えてみると... https://speakerdeck.com/ko_fujita1/how-data-scientists-can-help-startups DSが改善するのは意思決定
10. DSが改善するのは意思決定 意思決定の改善...施策の改善 施策のデータがない...施策の改善ができない？ DSの役割がない...?
11. 今日のテーマ DXプロジェクトを推進する二人三脚 プロジェクトマネージャー （PM） 今あるデータで やる！ 顧客と目線を 合わせる！ データサイエンティスト （DS）
12. 以降では ある小売アプリグロースの施策の1つとして クーポン配信の改善に取り組んだ話をします
13. 1. 今あるデータでやる （DSパート） 2. 顧客と目線を合わせる （PMパート） 目次
14. 1. 今あるデータでやる
15. Potential Outcome Framework 我々が改善したいもの Donald Rubin@Harvard 施策を実施したときの アウトカム 施策を実施しなかったときのア ウトカム 施策の効果
16. クーポンに置き換えると クーポンを付与 世界線Aのユーザ i さん ユーザ i さん 世界線Bのユーザ i さん 購入：2000円 購入：3000円 効果: 1000円
17. 根本問題: 改善したいものが観測できない クーポンを付与 世界線Aのユーザ i さん ユーザ i さん 世界線Bのユーザ i さん 購入：2000円 購入：3000円 同時に観測が できない
18. ユーザをランダムにグループ分けする = A/Bテストすると... クーポンを付与 Aグループのユーザ ユーザ全体 Bグループのユーザ 平均購入額：2000 円 平均購入額：3000 円 ランダム化
19. A/Bテストで平均的な改善の効果を観測できる クーポンを付与 Aグループのユーザ ユーザ全体 Bグループのユーザ 平均購入額：2000 円 平均購入額：3000 円 ランダム化 平均的な効果: 1000円
20. A/Bテストで平均的な改善の効果を観測できる クーポンを付与 Aグループのユーザ ユーザ全体 Bグループのユーザ 平均購入額：2000 円 平均購入額：3000 円 ランダム化 平均的な効果: 1000円 施策の改善には A/Bテスト(ランダムな)データがあるとベスト
21. ランダムにクーポンが配布される状況...？ あまりない 何かしらのルールに従って配布される • 全員に配布 • ポイントカード会員に配布 • 誕生日のユーザに配布 • 過去に対象商品を購買したユーザに配布 • ある地域でのみ配布 どうする...？
22. よくある失敗：ランダムなデータの必要性を叫ぶ ランダムなデータを集めるために， とりあえずクーポンをランダムに配る 実験をしてみましょう！ データサイエンティスト　
23. よくある失敗：ランダムなデータの必要性を叫ぶ 試行錯誤して知見が貯まってるのに なぜ今さらランダムに配る...？ 必要性を社内に説明できない... ランダムに配ったあとの改善だと 時間がかかる... 顧客
24. どうするか？ ランダムなデータ とりあえず実験
25. どうするか？ 今あるデータで何かできないか...？ ランダムなデータがないなら 因果推論を活用しよう！
26. 自然実験とは... ルール・ビジネスロジック・偶然などによって， あたかも施策が実験のように実施された状況を用いて，因果効果を推定する方法 たとえば • 特定のチャネル / エリアでのみクーポンが配布される • 過去購買額など閾値以上のユーザにのみクーポンが配布される • 誕生日のユーザにクーポンが配布される 自然実験的に配られたクーポンを探してみる
27. • 特定のチャネル / エリアでのみクーポンが配布される （差分の差分法） • 過去の購買額などの閾値以上のユーザにのみクーポンが配布される （回帰不連続デザイン） • 誕生日のユーザにクーポンが配布される （擬似的な “ランダム” データ） 因果推論で施策の効果を推定できるケースがある
28. • 特定のチャネル / エリアでのみクーポンが配布される（差分の差分法） • 過去の購買額などの閾値以上のユーザにのみクーポンが配布される（回帰不連続デザイン） • 誕生日のユーザにクーポンが配布される（擬似的な “ランダム” データ） 分析の詳細は兵頭さんのセッション 誕生日クーポンの例を紹介 https://ca-base-next.cyberagent.co.jp/2022/sessions/ds-for-app-coupon/
29. • 小売が運営するTwitterやポイ活サイトを見まくって，誕生日クーポンの存在を知る • POSデータ内に使われたクーポンのカラムはあるが，どのIDが誕生日クーポンなのか不明 • 実際にチームメンバーが店舗で購買してPOSを確認することでIDが判明 まずは，分析できる状態に 誰がいつどこで誕生日クーポンを使ったか ＆何を買ったのかがわかる →分析できる！
30. • 誕生日は擬似的なランダムイベント（＝A/Bテストをしている状況） ◦ クーポンの効果が推定できる！ ◦ アカデミックな分野でも効果の推定に誕生日が使われる（Angrist（1990）など） • クーポンの効果の分析（全体の効果，ユーザ属性 / RFMごとの効果） • ユーザに対するクーポンの効果を予測するアップリフトモデルを構築 分析・予測モデルの構築 Angrist, J. D. (1990). Lifetime Earnings and the Vietnam Era Draft Lottery: Evidence from Social Security Administrative Records. AER 兵頭さんスライドより
31. この分析・予測モデルは完璧ではない 予測できるもの 予測したいもの 介入の定義 クーポンを使ったときの効果 クーポンを配ったときの効果 対象ユーザ （共変量シフト） 誕生日クーポンを使うユーザ アプリを利用するユーザ 割引方式 X％割引 Y％ポイント付与 たとえば 予測できるもの ≠ 予測したいもの
32. • 完璧じゃないけど大間違いでもないはず（❌：完璧じゃないとやらない） • 定式化して，自分たちがどういう仮定を置いているのか整理 ◦ その仮定の妥当性をデータから検証できないか？ ◦ 顧客の肌感として妥当か？ が，やらないよりはマシ データから施策を提案する第一歩！
33. • 事前に期待値をすり合わせる • できれば，施策の適用はランダムに ◦ 施策の因果効果を評価しやすい ◦ 新しい施策なので顧客にとっても受け入れやすい 施策の実施と振り返り • 実験の結果を集計してレポートするだけでなく， ランダムなデータを使ってたくさんの 知見を提供する • 次回の施策のための仮説を洗い出す 施策の実施 施策の振り返り
34. • 施策の改善のための理想はランダムなデータ（A/Bテストデータ） • 理想のデータがなくても，自然実験を見つけて因果推論で施策の効果を推定する • 完璧ではないが，データを使った施策の第一歩が踏み出せる • 一度施策のPDCAを回して，データから知見が出てくると，今後の施策の幅も広がる 「今あるデータでやる」パートのまとめ
35. 2. 顧客と目線を合わせる
36. 網谷 龍太朗 2017年度 新卒入社 AI事業本部 アプリ運用センター プロダクトマネージャー @Ryutaro Amiya
37. 2017年 ・ビジネス新卒として入社 ・広告配信プロダクト立ち上げ×2　　　　 2018年 ・ロボット事業 立ち上げ ・AI企業との合弁会社 立ち上げ 2019年 ・AI×広告クリエイティブ最適化プロダクトPM ・AI関連の新規事業 立ち上げ（〜2021年） 2021年 ・アプリ運用センター（〜現職） 経歴
38. 取り組み初期から A/Bテスト！因果推論！ サイバーエージェント 顧客
39. A/Bテスト！因果推論！ サイバーエージェント 取り組み初期から 顧客
40. A/Bテスト ユーザからのクレーム経験 慎重にならざるを得ない
41. 因果推論 長年の試行錯誤による 独自分析・評価方法の確立
42. 他にも、、、 店舗オペレーション の調整 販促スケジュール への影響 反実仮想？？ マスのほうが 効果ある、、
43. インターネットの当たり前は小売 の当たり前じゃない A/B！ 因果推論！ 話が合わない ルールを知らない
44. A/B！ 因果推論！ 話が合わない ルールを知らない インターネットの当たり前は小売 の当たり前じゃない ドメイン知識を持っている小売と 目線を合わせる必要がある
45. ・小売の分析を完全トレース ・効果の定義の違いを把握 ・効果の定義を擦り合わせ ・オペ上実行可能なA/B提案 そのためにやったこと
46. 小売の分析を完全トレース 目の前で分析をしていただき 分析結果を再現
47. 効果の定義の違いを把握 因果推論 前後比較 同じ施策を 因果推論した場合の効果と比較
48. 効果の定義を擦り合わせ
49. オペ上実行可能なA/B提案 例えば... A　 ｜ 　B なし 割引 割引 ポイント倍 A　 ｜ 　B
50. A　 ｜ 　B なし 割引 割引 ポイント倍 A　 ｜ 　B オペ上実行可能なA/B提案 例えば...
51. ・小売の分析をトレース ・効果の定義の違いを把握 ・効果の定義を擦り合わせ ・オペ上実行可能なA/B提案 そのためにトライしたこと
52. A/Bテスト スタート！ 我々目線では初速 うまくいってそう...!
53. と思いきや，，，
54. 施策後のフィードバック 効果が小さくないか？ 今までのマーケティング施策と比較すると 成果を出すのに時間がかかりそう 小売側でも出来そうではないか？ CA側にお願いする意味は今のところ薄いかも 顧客
55. ・小売の分析をトレース ・効果の定義の違いを把握 ・効果の定義を擦り合わせ ・オペ上実行可能なA/B提案 そのためにトライしたこと
56. ・小売の分析をトレース　　◎ そのためにトライしたこと
57. ・小売の分析をトレース　　◎ ・効果の定義の違いを把握　◎ そのためにトライしたこと
58. ・小売の分析をトレース　　◎ ・効果の定義の違いを把握　◎ ・効果の定義を擦り合わせ　△ →全く足りなかった。評価基準の変更は大変 そのためにトライしたこと
59. ・小売の分析をトレース　　◎ ・効果の定義の違いを把握　◎ ・効果の定義を擦り合わせ　△ →全く足りなかった。評価基準の変更は大変 ・オペ上実行可能なA/B提案 ✖ →オペを変えるレベルの提案じゃないと意味ない そのためにトライしたこと
60. • 効果の定義を擦り合わせる　　　 効果の評価方法を更新しにいく気概 • 小売と協力してルールを学び， ルールを変える提案をする 協業DXでは
61. We’re Hiring!